Wofür ist die robots.txt?

[LisaserstesForum]

Hi, in meinem Error_log von der Domain sehe ich, dass ab und an versucht wird auf die Datei phpBB3/robots.txt versucht wird zuzugreifen, diese existiert aber nicht. Wofür ist die und woher bekomme ich die?

[powersilie]

Hallo Lisa!

Schau mal:

http://de.wikipedia.org/wiki/Robots_Exclusion_Standard

http://de.selfhtml.org/diverses/robots.htm

Da ist es recht gut erklärt!

lg
Powersilie

[LisaserstesForum]

Hi Powersilie, heißt das, es reicht wenn ich eine robot.txt erstelle mit diesem Inhalt:

User-agent: *

?

[powersilie]

Hallo Lisa!

Da bin ich überfragt, ich hab noch keine erstellt

Ich habs nur auch schon mal gelesen und wollte wissen, was das ist...

Leider, da kann ich Dir nicht weiterhelfen!

lg
Powersilie

[Andi1111]

hallo, es kommt halt drauf an was du mit der rotots.txt erreichen willst, eigendlich braucht man keine, die bots schauen halt nur ob eine da ist. die ist aber unter umständen nutzlich um unnötigen traffic zu verhindern. ich habe im phpbb2 extrem viele zugriffe auf den kalender gehabt und den zugriff mit der robots.txt gesperrt. meine sieht da so aus:

User-agent: Googlebot
Disallow: /calendar.php
Disallow: /calendar_scheduler.php
Disallow: /tellafriend.php

User-agent: Slurp
Disallow: /calendar_scheduler.php
Disallow: /calendar.php


User-agent: *
Disallow: /calendar_scheduler.php
Disallow: /calendar.php

[bantu]

Ich verschiebe das mal nach Coding und Technik. Mit phpBB hat es ja direkt nichts zu tun.

[hackepeter13]

hallo, es kommt halt drauf an was du mit der rotots.txt erreichen willst, eigendlich braucht man keine, die bots schauen halt nur ob eine da ist. die ist aber unter umständen nutzlich um unnötigen traffic zu verhindern. ich habe im phpbb2 extrem viele zugriffe auf den kalender gehabt und den zugriff mit der robots.txt gesperrt. meine sieht da so aus:

User-agent: Googlebot
Disallow: /calendar.php
Disallow: /calendar_scheduler.php
Disallow: /tellafriend.php

User-agent: Slurp
Disallow: /calendar_scheduler.php
Disallow: /calendar.php


User-agent: *
Disallow: /calendar_scheduler.php
Disallow: /calendar.php

User-agent: *
Bezieht sich soweit ich noch weiß auf alle Suchmaschinen/Bots.
Auf jeden Fall auch auf Google, das weiß ich da ich im Google-Webmastertool (Web-Crawl -> URLs durch robots.txt eingeschränkt) angezeigt bekomme, das ich dem Bot den Zugriff unteranderem auch auf die tellafriend.php verbiete (je die Mod habe ich auch) oder auch die privmsg.php

Kurz um - du hast die beiden *.php Dateien für den Kalender doppelt gesperrt.

[Andi1111]

bei google weiss ich es nicht, aber yahoo / slurp muss drin stehen sonst ignoriert der das.

[Xwitz]

Hi, in meinem Error_log von der Domain sehe ich, dass ab und an versucht wird auf die Datei phpBB3/robots.txt versucht wird zuzugreifen, diese existiert aber nicht. Wofür ist die und woher bekomme ich die?

Die ist für bots auf Speed, denn normale bots suchen eine robots.txt nicht woanders als unter domain.tld/robots.txt.
Die robots.txt (unter der url domain.tld/robots.txt) ist eine Datei, in der Empfehlungen/Bitten deklariert werden können, welche Inhalte von bots nicht gelesen werden sollen.