Seite 1 von 1
Googleboot.com-----Datentransfer
Verfasst: 29.10.2005 18:51
von Gert
Hi Leuts.....
hab nen enormen Datentransfer das ich bei meinem Hoster wohl draufzahlen kann
Verursacht wird dieser wohl durch googleboot.com..........was kann man da tun?
Gruss Gert
Verfasst: 29.10.2005 19:01
von Reyx
Googlebot aussperren (IP auflösen oder Hostnamen prüfen)... wenn es denn wirklich der Googlebot ist!
Verfasst: 29.10.2005 20:33
von Gert
Hi.....
denke schon das es Googleboot is
Top 30 von 7087 Rechnern (IP-Adressen)
- # Anfragen Dateien kb Besuche Rechnername
1 33919 5.10% 32753 8.11% 1930262 22.88% 19 0.34% crawl-66-249-65-51.googlebot.com
2 30843 4.64% 13732 3.40% 44364 0.53% 139 2.50% range42-207.shlink.ch
3 28511 4.29% 19774 4.90% 779182 9.24% 2 0.04% crawl-66-249-72-231.googlebot.com
4 24936 3.75% 23347 5.78% 1364043 16.17% 6 0.11% crawl-66-249-66-148.googlebot.com
5 19389 2.92% 13819 3.42% 592205 7.02% 2 0.04% crawl-66-249-72-142.googlebot.com
6 17988 2.71% 17254 4.27% 1037591 12.30% 10 0.18% crawl-66-249-65-8.googlebot.com
7 9905 1.49% 3670 0.91% 14669 0.17% 70 1.26% 217-162-108-66.dclient.hispeed.ch
8 8918 1.34% 1388 0.34% 8634 0.10% 36 0.65% 217-162-224-210.dclient.hispeed.ch
9 8141 1.22% 6447 1.60% 330971 3.92% 0 0.00% crawl-66-249-72-35.googlebot.com
10 7204 1.08% 6903 1.71% 344611 4.09% 20 0.36% crawl-66-249-65-67.googlebot.com
Gruss Gert
Verfasst: 29.10.2005 21:47
von Mihil
Das gleiche "Problem" habe ich auch. Der MSN Bot ist so gut wie laufend auf dem Board, der Googlebot ca. 2 mal am Tag. Gestern haben die beiden Bots etwa 150 MB verbraucht.
Bannen würde ich die IPs allerdings nicht, sonst fliegst du aus Google...

Verfasst: 29.10.2005 22:29
von Reyx
Was denn dann? Entweder du bannst sie und lebst mit deinem niedrigeren bis nicht vorhandenen Ranking, oder du wertest mal die IPs aus, um zu sehen ob da wirklich alles, was vorgibt Google zu sein, auch Google ist.
Ansonsten hilft vielleicht eine eingeschränkte Sperre, so dass z.B. nur jeder zehnte Zugriff vom Googlebot geblockt wird, wenn der letzte weniger als x Minuten zurückliegt...