Seite 1 von 1
robots.txt
Verfasst: 13.02.2005 21:49
von Martin Truckenbrodt
Hallo,
mit den Infos unter
http://de.selfhtml.org/diverses/robots.htm#allgemeines komme ich nicht so richtig klar (fehlender Praxisbezug).
Welche Rebots sollte ich berücksichtigen?
Gibt es irgendwo Vorlagen?
Gruß Martin
Verfasst: 13.02.2005 22:27
von Pyramide
Hier ist eine Vorlage:
Im Ernst: Wieso sollte es da Vorlagen geben? Immerhin hat doch jede Seite anderen Inhalt und was davon Suchmaschinen lesen sollen und was nicht ist doch individuell unterschiedlich.
Verfasst: 13.02.2005 22:44
von Martin Truckenbrodt
Hallo,
es geht mit nicht um die Inhalte, die auszuklammern sind, sondern darum welche Robots es z.B. so gibt.
P.S. Wieso so aggressiv?
Gruß Martin
Verfasst: 13.02.2005 22:55
von Pyramide
Martin Truckenbrodt hat geschrieben:es geht mit nicht um die Inhalte, die auszuklammern sind, sondern darum welche Robots es z.B. so gibt.
Wie gesagt - ich würde das ganze darauf basieren, was speziell für dich passend ist. Wenn z.B. Google deinen Server zu stark belastet, trägst du eben den ein. Anhaltspunkt sind dabei vor allem Log-Dateien bzw. daraus generierte Statistiken
Martin Truckenbrodt hat geschrieben:P.S. Wieso so aggressiv?
Wer ist aggressiv?
Verfasst: 18.02.2005 20:13
von Martin Truckenbrodt
Hallo,
ich habe mich des Themas nochmal angetan und habe dann Folgendes unter im Ausgangspost von mir genannten Link gefunden:
User-agent: *
Damit hat sich meine Frage erledigt.
Reicht, wenn die ich die Datei einmalig in die Root der Domain lege, oder?
Gruß Martin
Verfasst: 18.02.2005 20:18
von larsneo
Reicht, wenn die ich die Datei einmalig in die Root der Domain lege, oder?
ja.