Unimatrix_0 hat geschrieben:Moin,
eine robots.txt kann schon Sinn machen, bei meinem Projekt sieht sie vie folgt aus:
https://www.phpbb.de/support/pastebin.p ... iew&s=1552
Die erste Zeile sagt verschwindet alle und nur bei Google & MSN gibt's die Ausnahmen, dass diese sich alles ansehen dürfen, ausser ... - Ich habe eine gewisse Zeit auch mit dem Gedanken gespielt Yandex & Baidu zu erlauben - jedoch glaube ich nicht das aus diesen Regionen für mich relevanter Besuch kommt. Die kleinen "Wald & Wiesen"-Crawler möchte ich auch nicht auf meiner Seite haben, dies ist auch der Grund für die robots.txt, um schnell und einfach für ein Schutzprojekt die guten von den bösen Bots zu trennen.
Jeder Bot der nicht die robots.txt abfragt » BadBot
Jeder Bot, außer den beiden genannten, der weiter crawlt » BadBot
Und BadBots werden auf alle Fälle über Ihre IP(s) gesperrt und gerne auch über Ihren UA
Ich habe mir die Datei jetzt runter geladen...
muß ich noch Ihrgendwas in der Robots.txt für meine anderen (eigentlich html aber in php abgespeicherten)
Seiten ergänzen ?
