Seite 1 von 1
Frage zu robots.txt
Verfasst: 29.05.2005 13:32
von Dominik Müller
Hallo zusammen,
was genau bewirkt es wenn ich folgende Befehle gebe ?
Disallow: /ptopic*.html$
Disallow: /ntopic*.html$
Disallow: /ftopic*asc*.html$
Und was bedeutet das *- und das $-Zeichen ??
Grüße
Dominik
Verfasst: 29.05.2005 13:34
von Markus67
Re: Frage zu robots.txt
Verfasst: 03.06.2005 15:20
von tarkan
hallo,
Dominik Müller hat geschrieben:Hallo zusammen,
was genau bewirkt es wenn ich folgende Befehle gebe ?
Disallow: /ptopic*.html$
Disallow: /ntopic*.html$
Disallow: /ftopic*asc*.html$
Und was bedeutet das *- und das $-Zeichen ??
das *-zeichen ist wohl ein platzhalter, damit sollen, so verstehe ich das, alles was mit n- oder ftopic zusammenhängt in ruhe gelassen werden, also würde demnach auch ein beitrag, der ftopic47.html heisst, nicht gespidert werden.
ist meine vermutung richtig? wenn ja, ist das empfehlenswert? werden dann demnach posts nicht gespidert, die im robots.txt diese anweisung haben?
ich habe die gleiche konstellation und bin daher sehr neugierig.
viele grüße
