Seite 1 von 1

Short URLs, Spider und der Traffic

Verfasst: 04.01.2005 16:02
von BZebra
Habe schon folgenden Beitrag zu unerwünschten Bots gefunden und das auch installiert http://www.phpbb.de/viewtopic.php?p=300461#300461

Meine Frage jetzt aber: Bei mir spidert gerade fleißig http://ask.com (Ask Jeeves), der jetzt schon über 21.000 Hits generiert hat (habe nur knapp 24.000 Beiträge in 2.500 Themen).

Lohnt sich der Traffik denn überhaupt? Wirkt sich das, was Ask Jeeves da spidert auf andere für den deutschsprachigen Raum relevante Suchmaschinen überhaupt aus? Von uns sucht doch keiner bei Ask Jeeves!

Wieviel solcher Suchmaschinen die keiner kennt gibt es denn da draußen? Der Traffik, der summiert sich doch?!?!

Verfasst: 04.01.2005 16:08
von Nico Haase
sperr askjeeves doch auch aus: wenn du den useragent hast, ergänz ihn in der liste. das wird die einfachste und wirksamste lösung sein

Verfasst: 04.01.2005 16:23
von BZebra
Ich könnte jetzt im Moment die IP sperren ( 65.214.32.254 -> uu254.wc.ask.com) aber wie finde ich den User-Agent heraus?
Gehe mal davon aus, daß die wohl mehrere Bots haben und nicht immer der gleiche mein Board spidert?!

Verfasst: 04.01.2005 16:30
von larsneo
Wieviel solcher Suchmaschinen die keiner kennt gibt es denn da draußen? Der Traffik, der summiert sich doch?!?!
sehr viele :roll:
http://www.web4free.at/Antispam

Verfasst: 04.01.2005 17:00
von BZebra
Hab hier was gefunden: http://www.abakus-internet-marketing.de ... html#76355

Mozilla/2.0 (compatible; Ask Jeeves/Teoma) soll es wohl sein,

Ich habs jetzt mal mit

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} ^AskJeeves [OR]

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} ^Ask\ Jeeves [OR]
und

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} ^Jeeves [OR]
versucht, zeigt alles keine Wirkung.

:-?

Verfasst: 04.01.2005 17:05
von BZebra
Jep, hab ihn bei mir in der Datenbank gefunden, der User-Agent heißt Mozilla/2.0 (compatible; Ask Jeeves/Teoma).

Wie blocke ich den jetzt?

Verfasst: 04.01.2005 20:23
von Nico Haase

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} ^Jeeves^ [OR] 
vielleicht?

Verfasst: 04.01.2005 21:12
von BZebra
Nico Haase hat geschrieben:

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} ^Jeeves^ [OR] 
vielleicht?
Nein, er macht unbeirrt weiter. :-?

Habs eben mal mit Opera probiert
Useragent: Opera/7.54 (Windows NT 5.1; U) [en]

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} ^Opera [OR] 
Da hats funktioniert.

Verfasst: 04.01.2005 21:18
von Nico Haase
ersetze mal

Code: Alles auswählen

RewriteRule ^.* - [F,L]
durch

Code: Alles auswählen

RewriteRule ^.*$ http://127.0.0.1/ [L,R=301]

Verfasst: 04.01.2005 22:10
von BZebra
Ach, jetzt hab ich den Short URLs MOD deinstalliert, jetzt isser weg, jetzt mag er uns nicht mehr. :wink: