Optimale Robots.txt

[tom667]

Hallo zusammen!

Wenn ich mir in den Webmaster-Tools ansehe, welche Keywords Google für meine Seite relevant findet, tauchen da auch Foren spezifische Begriffe wie "Anmelden", "Wohnort" usw. auf. Kann man durch eine geschickte Konfiguration der Robots.txt dafür sorgen, dass Bots die Elemente des Forums, die nichts mit dem Inhalt zu tun haben, gar nicht zu sehen bekommt? Welche Bereiche muss man dann ausschließen?

Gruß
Tom

[redbull254]

Hallo erstmal,

so könnte zum Beispiel der Inhalt der robots.txt aussehen die Du ins Root-Verzeichnis von phpBB33 legst und unter den Webmaster-Tools bearbeiten kannst.

User-agent: *
Disallow: /ucp.php
Disallow: /faq.php
Disallow: /updatecheck/
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /viewbug.php

Ich habe wahrscheinlich schon einige Dateien ausgeschlossen die es bei Dir nicht gibt. Betrachte es nur als Muster.

[Dr.Death]

Hier mal eine etwas erweiterte robots.txt

User-agent: *
#Crawl-delay: 100
Disallow: /adm
Disallow: /cache
Disallow: /develop
Disallow: /docs
Disallow: /files
Disallow: /includes
Disallow: /install
Disallow: /language
Disallow: /store
Disallow: /styles
Disallow: /common.php
Disallow: /config.php
Disallow: /cron.php
Disallow: /download.php
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /memberlist.php
Disallow: /search.php

Wer möchte kann dadurch die Indizierungsrate der Bots ein wenig bremsen:

Einfach die Zeile:

Code: Alles auswählen

#Crawl-delay: 100

mit

Code: Alles auswählen

Crawl-delay: 100

ersetzen.

Ggf. könnte Ihr den Wert 100 beliebig anpassen ..... ( Der Bot darf nur alle 100 Sekunden eine Seite indizieren )