Bot / Crawl - cuill.com

gsxfan · Beitrag von **gsxfan** » 27.12.2007 12:09

4seven,

Du weisst schon, dass Du damit

deny from 38.99
deny from 64.1
deny from 208.36

ein paar tausend IP-Adressen erschlägst? Ich hab jetz keine Lust auszurechnen, wie viele das sind. Aber das ist doch des Guten etwas zu viel.

Uwe

4seven · Beitrag von **4seven** » 27.12.2007 12:28

Hallo gsxfan,

geht auch so:

Code: Alles auswählen

deny from 38.99.13
deny from 64.1.215
deny from 208.36.144

Das Script kann natürlich angepasst werden

Außerdem werden solche "ominösen Adressbereiche" (meist) nicht von "normalen" Usern zum Surfen benutzt und sind (meist) vernachlässigbar.

Meine Meinung (im Zweifelsfalle):
Wenn ich einen (non-proxy) Bot mit russischer oder amerikanischer IP blocke und dadurch möglicherweise 1000 mögliche Surfer in Kasachstan oder Kalifornien meine Seite nicht sehen können, ist das (für mich) durchaus verschmerzbar, wenn ich dadurch nicht mehr genervt werde.

lg
4seven

chris47803 · Beitrag von **chris47803** » 27.12.2007 20:28

Hallo!

Warum blockt ihr eigentlich diesen Crawler?

Laut meiner Recherche ist das ein guter Bot.

Gruß, Chris

mark2 · Beitrag von **mark2** » 27.12.2007 22:21

chris47803 hat geschrieben:Hallo!

Warum blockt ihr eigentlich diesen Crawler?

Laut meiner Recherche ist das ein guter Bot.

Gruß, Chris

Das mag sein aber mir ist er einfach zu aufdringlich geworden. Der schaut nicht kurz vorbei und geht wieder sondern durchwühlt die Seite stundenlang. Zudem ist keinem bekannt was er eigentlich macht und für wen der bot auf Datenjagt geht.

Aber weil du gerade von guten Bots redest. Gibt es eigentlich eine Seite oder Liste auf der die (Bösen) Bots genannt werden die man besser komplett sperren sollte?

gsxfan · Beitrag von **gsxfan** » 27.12.2007 22:37

Twiceler ist sehr neugierig, das stimmt. Und er "arbeitet" für ein Projekt ehemaliger Google-Mitarbeiter und kein Mensch weiss bis jetzt, ob und was das überhaupt einmal wird und wofür der jetzt schon Daten sammelt. Vielleicht ist das auch nur ein Testlauf und die Softwareentwickler wollen zeigen, was der kann, um die Technologie dann gut zu verkaufen. Und schon mit Datenbestand. Daher bin ich auch dafür, den auszusperren.

coolgalant · Beitrag von **coolgalant** » 23.02.2008 00:17

hab da mal n info mit allen IPs gefunden

http://www.cuill.com/twiceler/robot.html

greetz

coolgalant · Beitrag von **coolgalant** » 23.02.2008 09:32

moin leudde!

hab den bot über apc geblockt aber is immer noch aktiv.. (hab wbblite, ich denk da bin ich falsch)

oder hat da auch wer erfahrung im wbb?

greetz