viel zu viel traffic!?

[winstown]

hallo,
also in meinem forum hat sich von einem tag auf den anderen mein traffic volumen verdoppelt, obwohl ich weder mehr user noch höhere aktivität registrieren kann. seit dem hat sich das fast nochmal verdoppelt, also schon fast 1gb am tag, wobei es früher ca. 300-400mb waren

habe mir mal die logs heruntergeladen und musste feststellen das über 90% der logs durch den googlebot entstehen, ist das möglich?

vllt liegt es ja an den subid's und wie könnte man diese abstellen, denn die kommen bei mir irgendwie nicht jedes mal...?

falls hier keine tipps kommen die hilfreich sein werden, mach ich den forenzugang aus testzwecken nur für registrierte user und dann mal weiterschaun

bitte aber erstmal hilfe ohne gleich diese maßnahme zu ergreifen

danke im voraus,
winstown

[Miriam]

Irgendwie kann ich mir nicht vorstellen, dass GoogleBot an dem traffic schuld sein soll... Zumindest nicht in diesem Ausmaß.
baue mal eine robots.txt und schiebe sie in Dein Forums-Root. Sperre damit die SpiderBots aus.

Inhalt der robots.txt

Code: Alles auswählen

User-agent: *
Disallow: /

Beobachte nun Deinen Traffic.

[CatZe]

hiho,

doch doch, kann schon sein

Robots/Spiders (Suchmaschinen) (Top 10)

Googlebot 62161+18 549.33 MB
MSNBot 1266+50 54.58 MB
Inktomi Slurp 708+476 6.05 MB
GigaBot 844+171 47.30 MB
AskJeeves 342+14 2.93 MB
Unknown robot (identified by 'crawl') 189+10 9.84 MB
EchO! 154 558.58 KB
Alexa (IA Archiver) 58+12 1.64 MB
Unknown robot (identified by 'robot') 40+13 2.46 MB
MSIECrawler 16 641.47 KB

Stats eines relativ kleinen Forums .... und wenn google-bot seinen Rappel hat, dann kann das durchaus auch noch wesentlich hoeher klettern

[Fähnchen]

Mache doch mal ein Reverse-Lookup der IP-Adresse des Bots: www.nwtools.com

Wo Googlebot drauf steht muss nicht immer Googlebot drin sein.

[Xwitz]

@ winstown, Board-Suche benutzen und mit z.B. Traffic googlebot füttern. Verursacht der bot auch den Traffic?

[winstown]

jo hab gesucht und auch einiges gefunden aber halt nicht genau das was ich gesucht habe...

meint ihr die robots.txt hilft?

[Xwitz]

Die von Miriam? Ja, dann sparst Du nicht nur den Traffic von den bots sondern bald auch den von den Besuchern, die jetzt noch über Suchmaschinen kommen. Du solltest Dir Grundlagenwissen aneignen.

Verursacht nun der bot den Traffic oder nicht?

[winstown]

hmm achso das stellt die suchmaschienen ganz ab?

aber wenn sich das so drastisch von einem tag auf den anderen verändert, kann das doch nicht nur daran liegen, oder?
bloß ist bei den logs fast nur googlebot verzeichnet

wenn das alles besucher wären, würden ja auch die einnahmen steigen, was leider nicht der fall ist

danke schonmal für die schnellen antworten

[Miriam]

Dann musst Du eben die robots.txt wieder weglassen.....
Zum Testen für einen Tag wird das doch wohl mal gehen. G00gle oder jede andere Suchmaschine wird Dich nicht gleich herabstufen, wenn sie Dich für einen Tag nicht durchforsten dürfen.

[Xwitz]

hmm achso das stellt die suchmaschienen ganz ab?

aber wenn sich das so drastisch von einem tag auf den anderen verändert, kann das doch nicht nur daran liegen, oder?

Woran, an der robots.txt? Nein, es kann nicht an dieser robots.txt liegen, die Du nicht hast.

Verursacht nun der bot den Traffic oder nicht?