robots.txt

[Martin Truckenbrodt]

Hallo,
mit den Infos unter http://de.selfhtml.org/diverses/robots.htm#allgemeines komme ich nicht so richtig klar (fehlender Praxisbezug).

Welche Rebots sollte ich berücksichtigen?

Gibt es irgendwo Vorlagen?

Gruß Martin

[Pyramide]

Hier ist eine Vorlage:

Code: Alles auswählen

Im Ernst: Wieso sollte es da Vorlagen geben? Immerhin hat doch jede Seite anderen Inhalt und was davon Suchmaschinen lesen sollen und was nicht ist doch individuell unterschiedlich.

[Martin Truckenbrodt]

Hallo,
es geht mit nicht um die Inhalte, die auszuklammern sind, sondern darum welche Robots es z.B. so gibt.

P.S. Wieso so aggressiv?

Gruß Martin

[Pyramide]

es geht mit nicht um die Inhalte, die auszuklammern sind, sondern darum welche Robots es z.B. so gibt.

Wie gesagt - ich würde das ganze darauf basieren, was speziell für dich passend ist. Wenn z.B. Google deinen Server zu stark belastet, trägst du eben den ein. Anhaltspunkt sind dabei vor allem Log-Dateien bzw. daraus generierte Statistiken

P.S. Wieso so aggressiv?

Wer ist aggressiv?

[Martin Truckenbrodt]

Hallo,
ich habe mich des Themas nochmal angetan und habe dann Folgendes unter im Ausgangspost von mir genannten Link gefunden:

User-agent: *

Damit hat sich meine Frage erledigt.

Reicht, wenn die ich die Datei einmalig in die Root der Domain lege, oder?

Gruß Martin

[larsneo]

Reicht, wenn die ich die Datei einmalig in die Root der Domain lege, oder?

ja.