Seite 1 von 1
Optimale Robots.txt
Verfasst: 31.03.2011 11:39
von tom667
Hallo zusammen!
Wenn ich mir in den Webmaster-Tools ansehe, welche Keywords Google für meine Seite relevant findet, tauchen da auch Foren spezifische Begriffe wie "Anmelden", "Wohnort" usw. auf. Kann man durch eine geschickte Konfiguration der Robots.txt dafür sorgen, dass Bots die Elemente des Forums, die nichts mit dem Inhalt zu tun haben, gar nicht zu sehen bekommt? Welche Bereiche muss man dann ausschließen?
Gruß
Tom
Re: Optimale Robots.txt
Verfasst: 31.03.2011 12:41
von redbull254
Hallo erstmal,
so könnte zum Beispiel der Inhalt der robots.txt aussehen die Du ins Root-Verzeichnis von phpBB33 legst und unter den Webmaster-Tools bearbeiten kannst.
User-agent: *
Disallow: /ucp.php
Disallow: /faq.php
Disallow: /updatecheck/
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /viewbug.php
Ich habe wahrscheinlich schon einige Dateien ausgeschlossen die es bei Dir nicht gibt. Betrachte es nur als Muster.
Re: Optimale Robots.txt
Verfasst: 01.04.2011 13:32
von Dr.Death
Hier mal eine etwas erweiterte robots.txt
User-agent: *
#Crawl-delay: 100
Disallow: /adm
Disallow: /cache
Disallow: /develop
Disallow: /docs
Disallow: /files
Disallow: /includes
Disallow: /install
Disallow: /language
Disallow: /store
Disallow: /styles
Disallow: /common.php
Disallow: /config.php
Disallow: /cron.php
Disallow: /download.php
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /memberlist.php
Disallow: /search.php
Wer möchte kann dadurch die Indizierungsrate der Bots ein wenig bremsen:
Einfach die Zeile:
mit
ersetzen.
Ggf. könnte Ihr den Wert 100 beliebig anpassen ..... ( Der Bot darf nur alle 100 Sekunden eine Seite indizieren )