Ein Forum vor Spidern schützen mittels robots.txt?

[Elo]

Betrifft das Thema "Ein Forum vor Spidern schützen" unter:
http://www.phpbb.de/topic63121.html

Bevor das hier wirklich jemand glaubt:

Mittels der Datei robots.txt kann man Dateien und Verzeichnisse vor Spidern schützen.

Die Beachtung der robots.txt ist für spider/robots/harvestern ein kann und keinesfalls ein muss.

...zum anderen verhindert man, das bestimmte Inhalte suchbar gemacht werden.

Gewissen Robots/Harvestern gibt man durch die Angabe von Verzeichnissen und/oder Dateien in der robots.txt evtl. sogar noch Tipps, welche Verzeichnisse/Dateien es auf dem Server noch gibt, welche vielleicht gar in keiner *.html o.ä Datei verlinkt sind. Also Vorsicht mit dieser robots.txt

Also mein Tipp:
Einen wirklich wirksamen Schutz gibt es nur über die .htaccess.

Gruß,
elo

[larsneo]

Einen wirklich wirksamen Schutz gibt es nur über die .htaccess.

deshalb gibt es ja auch http://www.phpbb.de/viewtopic.php?t=54059

[Elo]

@larsneo,

Einen wirklich wirksamen Schutz gibt es nur über die .htaccess.

deshalb gibt es ja auch http://www.phpbb.de/viewtopic.php?t=54059

Genau so verärge ich auch mir nicht willkommende spider/harvester/downloadmanager. Allerdings gebe ich mich nicht mit der Rückgabe einer Fehlermeldung zufrieden, sondern lasse eine Seite mit generierten weiterführenen Links ausgeben.
Test
Die Wartezeit von 20 Sekunden auf diese Seite ist beabsichtigt. Ach bin ich böse

Als besonderes Schmankerl gibt es ab und an in diesen generierten Seiten einen Link zu einer Seite mit massenweiser Zufällig generierten und ungültigen eMailadressen. Dies für die von mir so geliebten Emailsammler unter den nicht willkommenden Besuchern
Test

Emailadressen sind im Forum nur registrierten Usern zugänglich und für in Beiträge angegebene eMailadressen habe ich eine passende kleine Modifikation:
http://www.phpbb.de/viewtopic.php?t=48329

Gruß,
elo