Short URLs, Spider und der Traffic

[BZebra]

Habe schon folgenden Beitrag zu unerwünschten Bots gefunden und das auch installiert http://www.phpbb.de/viewtopic.php?p=300461#300461

Meine Frage jetzt aber: Bei mir spidert gerade fleißig http://ask.com (Ask Jeeves), der jetzt schon über 21.000 Hits generiert hat (habe nur knapp 24.000 Beiträge in 2.500 Themen).

Lohnt sich der Traffik denn überhaupt? Wirkt sich das, was Ask Jeeves da spidert auf andere für den deutschsprachigen Raum relevante Suchmaschinen überhaupt aus? Von uns sucht doch keiner bei Ask Jeeves!

Wieviel solcher Suchmaschinen die keiner kennt gibt es denn da draußen? Der Traffik, der summiert sich doch?!?!

[Nico Haase]

sperr askjeeves doch auch aus: wenn du den useragent hast, ergänz ihn in der liste. das wird die einfachste und wirksamste lösung sein

[BZebra]

Ich könnte jetzt im Moment die IP sperren ( 65.214.32.254 -> uu254.wc.ask.com) aber wie finde ich den User-Agent heraus?
Gehe mal davon aus, daß die wohl mehrere Bots haben und nicht immer der gleiche mein Board spidert?!

[larsneo]

Wieviel solcher Suchmaschinen die keiner kennt gibt es denn da draußen? Der Traffik, der summiert sich doch?!?!

sehr viele
http://www.web4free.at/Antispam

[BZebra]

Hab hier was gefunden: http://www.abakus-internet-marketing.de ... html#76355

Mozilla/2.0 (compatible; Ask Jeeves/Teoma) soll es wohl sein,

Ich habs jetzt mal mit

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} ^AskJeeves [OR]

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} ^Ask\ Jeeves [OR]

und

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} ^Jeeves [OR]

versucht, zeigt alles keine Wirkung.

[BZebra]

Jep, hab ihn bei mir in der Datenbank gefunden, der User-Agent heißt Mozilla/2.0 (compatible; Ask Jeeves/Teoma).

Wie blocke ich den jetzt?

[Nico Haase]

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} ^Jeeves^ [OR] 

vielleicht?

[BZebra]

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} ^Jeeves^ [OR] 

vielleicht?

Nein, er macht unbeirrt weiter.

Habs eben mal mit Opera probiert
Useragent: Opera/7.54 (Windows NT 5.1; U) [en]

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} ^Opera [OR] 

Da hats funktioniert.

[Nico Haase]

ersetze mal

Code: Alles auswählen

RewriteRule ^.* - [F,L]

durch

Code: Alles auswählen

RewriteRule ^.*$ http://127.0.0.1/ [L,R=301]

[BZebra]

Ach, jetzt hab ich den Short URLs MOD deinstalliert, jetzt isser weg, jetzt mag er uns nicht mehr.