Sicheres Ausperren von Bots

[sylvanin]

Moin zusammen,

in meinem Forum wuselt immer mal wieder der Bot von Google rum, selten auch mal der Slurpbot. Ich möchte dies aber nicht, daher habe ich eine robots.txt ins Rootverzeichnis gepackt und entsprechenden Unterordner "disallowed":

User-agent: *
Disallow: /betreffendesverzeichnis/

User-agent: Googlebot
Disallow: /betreffendesverzeichnis/

Auch die Rechte der Bots im Forenbackend habe ich entsprechend beschnitten, dennoch tauchen die Bots immer mal wieder im Forum auf und scheinen auch Themen in den entsprechenden Unterforen zu lesen, was ich aber absolut nicht möchte. Das Testen der Botrechte im Forum hat ergeben, dass sie dies eigentlich nicht können dürften/sollten.

Stimmt da was an der Rechtevergabe nicht bzw. wurde die nicht ordnungsgemäß überschrieben oder stimmt was an der robots.txt nicht - oder woran könnte das noch liegen?

Für jede Hilfe vielen Dank im Voraus!

P.S.: Es geht mir hier nur um die "guten" Bots, dass man die "bösen" Bots kaum via robots.txt aussperren kann, ist mir bewusst.

[DeepSurfer]

Dann müsstest Du den Zugang für Gäste komplett sperren, die bekannten Bots kannste Du ja in deren Gruppenrecht aussperren.

Ansonsten ist nur ein vorgeschalteter .htaccess / Java oder php-Passwortabfrage das einzigste um Bots fern zu halten, was aber den Zugang Deiner User auch erschwert.

[sylvanin]

Ja reicht denn die robots.txt nicht aus um Google und Co. fernzuhalten? Überall wo ich Infos dazu las, wurde gesagt, dass dies idR ausreicht.

[DeepSurfer]

in der Regel reicht es auch aus,

ABER, Du suggerierst mit Deiner Frage ja schon ein generelles Ausschliessen von Suchmaschinen und da habe ich drauf geantwortet.
Wenn es Dir wirklich nur um den Google geht, sollte die -robots.txt- Reichen, denn das wird auch von Google in den Webmastertools propagiert.
http://www.google.com/support/webmaster ... wer=156449
Wobei schon im gleichen Absatz eine Aufhebung angemerkt ist.

Ob sich die vielen Untergruppen Spider von Google sich daran halten müsste expliziet nach geforscht werden. (Untergruppen Spider von Google ist z.b. der Spider von Yahoo, die ja ein Kooperation mit Google haben)

[sylvanin]

Hm, ok, dann erweiter ich einfach mal die .txt-Datei und schaue, ob das vielleicht was bringen könnte.

Könnte es denn sein, dass die Rechteeinstellungen der Bot-Gruppe im Backend des Forums nicht ordnungsgemäß gespeichert/überschrieben wurde, obwohl ich alles so eingestellt habe, dass Bots nix lesen können dürften? Hatte nämlich so ein ähnliches Problem mit dem Überschreiben der Gruppenrechte schon mal. Falls das sein könnte, wie kann ich das sonst noch (außer Rechtecheck direkt im Forum via. Rechteübernahme) überprüfen/beheben?

[DeepSurfer]

Ich gehe mal von aus das Du die Gruppenrechte für -Bots- so geändert hast das die das Forum nicht sehen und dementsprechend auch nicht lesen dürfen.

Wie gesagt handelt es sich um -Bots- (Spider/Crawler) im eigentlichen Sinne um -Gäste-, die bekannte Botliste ist nur ein Abgreifen der Headerinfos eines Zugriff auf den Webcontent, ist der Header in der Liste dann wird dieser von phpBB3 als BOTS definiert. (so auch bekannte IP der Suchmaschinen)
Ist der Header eines Spiders nicht in der Liste so ist er ein reiner Gast.

Daher auch mein Satz mit "Gäste komplett sperren".

Denke das der Zusammenhang nun ein wenig klarer ist.