phpBB.de

Moin,

verwende mal: 008. Dein Eintrag (008/0.83) ist falsch.
Wenn du dein Forum sperren möchtest, benötigst du weiterhin den Eintrag:Disallow: /phpbb3 wird nicht funktionieren.

LG

wie wäre es denn hiermit

User-agent: 80legs
Disallow: /

Das wäre auch falsch. Der Bot wird mit 008 angesprochen!
http://www.80legs.com/webcrawler.html

Also:

schnagga hat geschrieben:Das wäre auch falsch. Der Bot wird mit 008 angesprochen!
http://www.80legs.com/webcrawler.html

Also:

Code: Alles auswählen

User-agent: 008
Disallow: /

Gut, wenn ich das so in die robots.txt einfüge sollte also der gesammte Zugriff gesperrt sein. Richtig ?

So wird es sein .

zx9r-treiber hat geschrieben:Richtig ?

Ja, wenn die Bots sich an die robots.txt halten. Einige halten sich aber dennoch nicht dran. Also sperre ich z.B. den BingBot zusätzlich großzügig via ACP IP-Sperre aus. Sicher ist sicher.

nöööö, der ist vor wie nach bei mir unterwegs. Als Gast in der "Wer ist Online" . Auch ist er laut dieser Aufstellung in Bereichen unterwegs wo weder Gäste noch Bot Zugriff darauf haben. Er sieht sie also nicht mal aber greift darauf zurück. Das ist mehr als merkwürdig das ein Bot oder Gast auf Bereiche bzw Forum zugreifen kann die er nicht mal sehen kann da sie auf "nie" gesetzt sind.

Nun ein sperren als IP ist zwecklos. Da er zB 15 mal gleichzeitig zugreift und jedes mal eine andere IP benutzt.

Ich werde mal unseren Firmenanwalt darauf ansetzen .... mal schaun was der dazu sagt oder erreichen kann. (kostet mich ja nix)

Nachtrag .... bis jetzt sind es für heute schon über 800 Zugriffe
Laut seiner eigenen Webseite soll der Eintrag (wie hier ja schon beschrieben) in die Robot.txt dazu beitragen das der Webcrawaler nicht mehr auf die Seite Zugreift. Es dauert nur halt seine Zeit da er die Robot.txt nicht so oft überprüft. Auch gibt er an das er sehr viele Server am laufen hat und die Umstellung einiges an Zeit in anspruch nimmt und eine IP Sperrung sinnlos sei da jeder Zugriff eine eigene IP hat.

Deine robots.txt ist etwas...Besonderes .
Normalerweise spricht man einen Bot an und sagt ihm dann was er machen soll. Du versuchst, diverse Bots gleichzeitig anzusprechen. Diese Vorgehensweise ist mir nicht bekannt

Rede mit dem Bot und sag ihm dann was er machen soll, dann nimmst du den Nächsten Bot...usw. Das könnte dann so aussehen:

Sperr doch einfach den User-Agent per htaccess. Das geht fix, ist einfach und sehr wirkungsvoll.

modernist hat geschrieben:Sperr doch einfach den User-Agent per htaccess. Das geht fix, ist einfach und sehr wirkungsvoll.

Würde ich ja gerne machen ... gibt es hier eine Anleitung wie so etwas auszusehen hat