Crawler überfallen Forum

[tts]

Hi,

Ich meine es ist zwar gut, wenn ein Forum von Suchmaschinen gecrawlt wird, aber das was in meinem Forum abgeht, geht eindeutig zu weit.

Mein Forum ist nicht sonderlich stark frequntiert, aber bei maximale User online steht "25".
Und wenn ich die IP's zurückverfolge komme ich immer bei Google oder Yahoo raus. Was kann man machen, um die Suchmaschinen aus dieser Angabe fern zu halten und kann man vielleicht eine extra Statistik machen, was für Crawler oder wieviel da waren?


THX

[SteveHH]

Hallo !

Google kommt normalerweise nur einmal pro Zeit ... Wenn Du einen Bot hast, der 40, 50 oder noch öfter zur gleichen Zeit drinnen ist (bei mir waren letzten Freitag 90 (!!!) Bots geichzeitig drinnen!), dann ist es in der Regel der inktomi-Slurp, der für yahoo durch die Gegend surft..
Wenn dir diese Bots nichts ausmachen, dann lässt Du es einfach so laufen (ich habe da zum Beispiel kein Prob mit) oder Du blockst die entsprechenden Bots einfach per .htaccess-datei.
Als letzte Möglichkeit gibt es einen erweiterungs-Mod für die User-Anzeige, in der Mods angezeigt werden. Ich weiss aber leider im moment nicht, wie dieser heisst.

Gruß,

Steve

[tts]

Nach genaueren Recherchen sind ist die Yahoo-Bots. Ich meine ich habe auch kein ernstes Problem, damit da eine hohe Anzahl an Usern, die online waren gut aussieht und gecrawlt werden auch gut ist. Hat mich aber gewundert, dass Yahoo zu solchen Maßnahnem greift.

Ich glaube die Mod wars: ShowBotsInOnlineList -> gleich mal testen

[larsneo]

zumindestens microsoft und yahoo bots kann man via robots.txt oftmals ein wenig einzähmen: Bots einzähmen.
(tante-g unterstützt die direktive leider nicht, man kann den googlebot aber über die webmastertools einbremsen)