Seite 1 von 1
Wofür ist die robots.txt?
Verfasst: 18.11.2008 08:32
von LisaserstesForum
Hi, in meinem Error_log von der Domain sehe ich, dass ab und an versucht wird auf die Datei phpBB3/robots.txt versucht wird zuzugreifen, diese existiert aber nicht. Wofür ist die und woher bekomme ich die?
Verfasst: 18.11.2008 08:41
von powersilie
Verfasst: 18.11.2008 08:53
von LisaserstesForum
Hi Powersilie, heißt das, es reicht wenn ich eine robot.txt erstelle mit diesem Inhalt:
User-agent: *
?
Verfasst: 18.11.2008 11:06
von powersilie
Hallo Lisa!
Da bin ich überfragt, ich hab noch keine erstellt
Ich habs nur auch schon mal gelesen und wollte wissen, was das ist...
Leider, da kann ich Dir nicht weiterhelfen!
lg
Powersilie
Verfasst: 18.11.2008 11:27
von Andi1111
hallo, es kommt halt drauf an was du mit der rotots.txt erreichen willst, eigendlich braucht man keine, die bots schauen halt nur ob eine da ist. die ist aber unter umständen nutzlich um unnötigen traffic zu verhindern. ich habe im phpbb2 extrem viele zugriffe auf den kalender gehabt und den zugriff mit der robots.txt gesperrt. meine sieht da so aus:
User-agent: Googlebot
Disallow: /calendar.php
Disallow: /calendar_scheduler.php
Disallow: /tellafriend.php
User-agent: Slurp
Disallow: /calendar_scheduler.php
Disallow: /calendar.php
User-agent: *
Disallow: /calendar_scheduler.php
Disallow: /calendar.php
Verfasst: 18.11.2008 17:47
von bantu
Ich verschiebe das mal nach Coding und Technik. Mit phpBB hat es ja direkt nichts zu tun.
Verfasst: 18.11.2008 22:33
von hackepeter13
Andi1111 hat geschrieben:hallo, es kommt halt drauf an was du mit der rotots.txt erreichen willst, eigendlich braucht man keine, die bots schauen halt nur ob eine da ist. die ist aber unter umständen nutzlich um unnötigen traffic zu verhindern. ich habe im phpbb2 extrem viele zugriffe auf den kalender gehabt und den zugriff mit der robots.txt gesperrt. meine sieht da so aus:
User-agent: Googlebot
Disallow: /calendar.php
Disallow: /calendar_scheduler.php
Disallow: /tellafriend.php
User-agent: Slurp
Disallow: /calendar_scheduler.php
Disallow: /calendar.php
User-agent: *
Disallow: /calendar_scheduler.php
Disallow: /calendar.php
User-agent: *
Bezieht sich soweit ich noch weiß auf alle Suchmaschinen/Bots.
Auf jeden Fall auch auf Google, das weiß ich da ich im Google-Webmastertool (Web-Crawl -> URLs durch robots.txt eingeschränkt) angezeigt bekomme, das ich dem Bot den Zugriff unteranderem auch auf die tellafriend.php verbiete (je die Mod habe ich auch) oder auch die privmsg.php
Kurz um - du hast die beiden *.php Dateien für den Kalender doppelt gesperrt.
Verfasst: 18.11.2008 22:34
von Andi1111
bei google weiss ich es nicht, aber yahoo / slurp muss drin stehen sonst ignoriert der das.
Re: Wofür ist die robots.txt?
Verfasst: 30.11.2008 15:24
von Xwitz
LisaserstesForum hat geschrieben:Hi, in meinem Error_log von der Domain sehe ich, dass ab und an versucht wird auf die Datei phpBB3/robots.txt versucht wird zuzugreifen, diese existiert aber nicht. Wofür ist die und woher bekomme ich die?
Die ist für bots auf Speed, denn normale bots suchen eine robots.txt nicht woanders als unter domain.tld/robots.txt.
Die robots.txt (unter der url domain.tld/robots.txt) ist eine Datei, in der Empfehlungen/Bitten deklariert werden können, welche Inhalte von bots nicht gelesen werden sollen.