Robots - ist hier was feul?

Probleme bei der regulären Arbeiten mit phpBB, Fragen zu Vorgehensweisen oder Funktionsweise sowie sonstige Fragen zu phpBB im Allgemeinen.
Forumsregeln
phpBB 2.0 hat das Ende seiner Lebenszeit überschritten
phpBB 2.0 wird nicht mehr aktiv unterstützt. Insbesondere werden - auch bei Sicherheitslücken - keine Patches mehr bereitgestellt. Der Einsatz von phpBB 2.0 erfolgt daher auf eigene Gefahr. Wir empfehlen einen Umstieg auf phpBB 3.1, welches aktiv weiterentwickelt wird und für welches regelmäßig Updates zur Verfügung gestellt werden.
Antworten
Benutzeravatar
Dominik Müller
Mitglied
Beiträge: 494
Registriert: 08.08.2004 19:04
Wohnort: Siegbach
Kontaktdaten:

Robots - ist hier was feul?

Beitrag von Dominik Müller »

Ist in meiner Robots.txt alles korrekt? Mir kommen da ein paar Einträge merkwürdig vor...

Code: Alles auswählen

DirectoryIndex index.php index.html index.htm

RewriteEngine On 

# prevent access from santy webworm a-e 
RewriteCond %{QUERY_STRING} ^(.*)highlight=\%2527 [OR] 
RewriteCond %{QUERY_STRING} ^(.*)rush=\%65\%63\%68 [OR] 
RewriteCond %{QUERY_STRING} ^(.*)rush=echo [OR] 
RewriteCond %{QUERY_STRING} ^(.*)wget\%20 [OR] 
RewriteCond %{QUERY_STRING} ^(.*)cmd= 
RewriteRule ^.*$ http://127.0.0.1/ [R,L] 

# prevent pre php 4.3.10 bug 
RewriteCond %{HTTP_COOKIE}% s:(.*):\%22test1\%22\%3b 
RewriteRule ^.*$ http://127.0.0.1/ [R,L] 

# prevent perl user agent (most often used by santy) 
RewriteCond %{HTTP_USER_AGENT} ^lwp.* [NC] 
RewriteRule ^.*$ http://127.0.0.1/ [R,L] 

# extended rewriting only for .html [thx to Caterham] 
RewriteRule !\.html$ - [L] 

# Short URL implementation [larsneo] 
RewriteCond %{REQUEST_URI} ^/forums\.html 
RewriteRule (.*) /index.php [R=301,L] 

RewriteCond %{REQUEST_URI} ^/index-mark\.html 
RewriteRule (.*) /index.php?mark=forums [L] 

RewriteCond %{REQUEST_URI} ^/index\.html 
RewriteRule (.*) /index.php [L] 

RewriteCond %{REQUEST_URI} ^/category([0-9]*)\.html 
RewriteRule (.*) /index.php?c=%1 [L] 

RewriteCond %{REQUEST_URI} ^/forum([0-9]*)-([0-9]*)-([0-9]*)\.html  
RewriteRule (.*) /viewforum.php?f=%1&topicdays=%2&start=%3 [L] 

RewriteCond %{REQUEST_URI} ^/forum([0-9]*)-([0-9]*)\.html  
RewriteRule (.*) /viewforum.php?f=%1&start=%2 [L] 

RewriteCond %{REQUEST_URI} ^/forum([0-9]*)-mark\.html 
RewriteRule (.*) /viewforum.php?f=%1&mark=topics [L] 

RewriteCond %{REQUEST_URI} ^/forum([0-9]*)\.html 
RewriteRule (.*) /viewforum.php?f=%1 [L] 

RewriteCond %{REQUEST_URI} ^/ptopic([0-9]*)\.html 
RewriteRule (.*) /viewtopic.php?t=%1&view=previous [L] 

RewriteCond %{REQUEST_URI} ^/ntopic([0-9]*)\.html 
RewriteRule (.*) /viewtopic.php?t=%1&view=next [L] 

RewriteCond %{REQUEST_URI} ^/ftopic([0-9]*)-([0-9]*)-([a-zA-Z]*)-([0-9]*)-([a-zA-Z0-9]*)\.html 
RewriteRule (.*) /viewtopic.php?t=%1&start=%2&postdays=%3&postorder=%4&highlight=%5 [L] 

RewriteCond %{REQUEST_URI} ^/ftopic([0-9]*)-([0-9]*)-([a-zA-Z]*)-([0-9]*)\.html 
RewriteRule (.*) /viewtopic.php?t=%1&postdays=%2&postorder=%3&start=%4 [L] 

RewriteCond %{REQUEST_URI} ^/ftopic([0-9]*)-([0-9]*)\.html 
RewriteRule (.*) /viewtopic.php?t=%1&start=%2 [L] 

RewriteCond %{REQUEST_URI} ^/ftopic([0-9]*)\.html 
RewriteRule (.*) /viewtopic.php?t=%1 [L] 

RewriteCond %{REQUEST_URI} ^/fpost([0-9]*)\.html 
RewriteRule (.*) /viewtopic.php?p=%1 [L] 

RewriteCond %{REQUEST_URI} ^/post-newtopic-([0-9]*)\.html 
RewriteRule (.*) /posting.php?mode=newtopic&f=%1 [L] 

RewriteCond %{REQUEST_URI} ^/post-reply-([0-9]*)\.html 
RewriteRule (.*) /posting.php?mode=reply&t=%1 [L] 

RewriteCond %{REQUEST_URI} ^/post-([a-z]*)-([0-9]*)\.html 
RewriteRule (.*) /posting.php?mode=%1&p=%2 [L] 

RewriteCond %{REQUEST_URI} ^/album\.html 
RewriteRule (.*) /album.php [L] 

RewriteCond %{REQUEST_URI} ^/albumpic([0-9]*)-([a-z]*)\.html 
RewriteRule (.*) /album_page.php?pic_id=%1&mode=%2 [L] 

RewriteCond %{REQUEST_URI} ^/albumpic([0-9]*)\.html 
RewriteRule (.*) /album_page.php?pic_id=%1 [L] 

RewriteCond %{REQUEST_URI} ^/palbum\.html 
RewriteRule (.*) /album_personal_index.php [L] 

RewriteCond %{REQUEST_URI} ^/palbum([0-9]*)\.html 
RewriteRule (.*) /album_personal.php?user_id=%1 [L] 

RewriteCond %{REQUEST_URI} ^/profile([0-9]*)\.html 
RewriteRule (.*) /profile.php\?mode=viewprofile&u=%1 [L] 

RewriteCond %{REQUEST_URI} ^/search-author-(.*)\.html 
RewriteRule (.*) /search.php\?search_author=%1 [L] 

RewriteCond %{REQUEST_URI} ^/search-([0-9]*)-([0-9]*)\.html 
RewriteRule (.*) /search.php\?search_id=%1&start=%2 [L] 

RewriteCond %{REQUEST_URI} ^/search-([a-zA-Z]*)\.html 
RewriteRule (.*) /search.php\?search_id=%1 [L] 

RewriteCond %{REQUEST_URI} ^/privmsg-([a-zA-Z]*)-([0-9]*)\.html 
RewriteRule (.*) /privmsg.php\?mode=%1&u=%2 [L] 

RewriteCond %{REQUEST_URI} ^/privmsg-([a-zA-Z]*)\.html 
RewriteRule (.*) /privmsg.php\?folder=%1 [L] 

RewriteCond %{REQUEST_URI} ^/register\.html 
RewriteRule (.*) /profile.php\?mode=register&agreed=true [L] 

RewriteCond %{REQUEST_URI} ^/profile-([a-zA-Z0-9]*)\.html 
RewriteRule (.*) /profile.php\?mode=%1 [L] 

RewriteCond %{REQUEST_URI} ^/map-([0-9]*)\.html 
RewriteRule (.*) /map.php\?highlight=%1 [L] 

RewriteCond %{REQUEST_URI} ^/map\.html 
RewriteRule (.*) /map.php [L] 

RewriteCond %{REQUEST_URI} ^/faq\.html 
RewriteRule (.*) /faq.php [L] 

RewriteCond %{REQUEST_URI} ^/search\.html 
RewriteRule (.*) /search.php [L] 

RewriteCond %{REQUEST_URI} ^/memberlist\.html 
RewriteRule (.*) /memberlist.php [L] 

RewriteCond %{REQUEST_URI} ^/groups\.html 
RewriteRule (.*) /groupcp.php [L] 

RewriteCond %{REQUEST_URI} ^/report\.html 
RewriteRule (.*) /report.php [L] 

RewriteCond %{REQUEST_URI} ^/online\.html 
RewriteRule (.*) /viewonline.php [L]

# Short-URLs sitemap.php 
RewriteCond %{REQUEST_FILENAME} /fsitemap([0-9]*)-([0-9]*).* 
RewriteRule (.*) /sitemap.php?f=%1&t=%2 

RewriteCond %{REQUEST_FILENAME} /fsitemap([0-9]*) 
RewriteRule (.*) /sitemap.php?f=all

# Standart Domain definieren
RewriteCond %{HTTP_HOST} !^www\.schildkroetenforum\.net$
RewriteRule ^(.*)$ http://www.schildkroetenforum.net/$1 [L,R=301]

RewriteCond %{REQUEST_URI} ptopic,([0-9]*).htm*
RewriteRule ^(.*) relocate.php?p=%1\#%2  [L]

RewriteCond %{REQUEST_URI} ftopic,([0-9]*).htm*
RewriteRule ^(.*) relocate.php?t=%1\#%2  [L]

RewriteCond %{REQUEST_URI} forum,([0-9]*).htm*
RewriteRule ^(.*) relocate.php?f=%1  [L] 
IPB_Flüchtling
Mitglied
Beiträge: 1862
Registriert: 23.12.2004 22:46

Beitrag von IPB_Flüchtling »

Hallo,

Deine robots.txt ist leider nicht korrekt. Eine robots.txt ist nämlich nach folgendem Schema aufgebaut:

Code: Alles auswählen

User-agent: Name_des_Robots
Disallow: /zu_sperrendes_Verzeichnis/
Disallow: /verbotene_Datei.html
Du könntest den von Dir geposteten Code aber unter Umständen als .htaccess verwenden.

Welche Einträge kommen Dir denn komisch vor? Funktioniert denn alles so, wie es sollte?

LG, IPB_Flüchtling
Benutzeravatar
Slytherin
Mitglied
Beiträge: 1771
Registriert: 11.03.2005 17:52
Wohnort: Hogwarts
Kontaktdaten:

Beitrag von Slytherin »

Antworten

Zurück zu „phpBB 2.0: Administration, Benutzung und Betrieb“