Googleboot.com-----Datentransfer

[Gert]

Hi Leuts.....

hab nen enormen Datentransfer das ich bei meinem Hoster wohl draufzahlen kann

Verursacht wird dieser wohl durch googleboot.com..........was kann man da tun?

Gruss Gert

[Reyx]

Googlebot aussperren (IP auflösen oder Hostnamen prüfen)... wenn es denn wirklich der Googlebot ist!

[Gert]

Hi.....

denke schon das es Googleboot is

Top 30 von 7087 Rechnern (IP-Adressen)

• # Anfragen Dateien kb Besuche Rechnername
  
  1 33919 5.10% 32753 8.11% 1930262 22.88% 19 0.34% crawl-66-249-65-51.googlebot.com
  2 30843 4.64% 13732 3.40% 44364 0.53% 139 2.50% range42-207.shlink.ch
  3 28511 4.29% 19774 4.90% 779182 9.24% 2 0.04% crawl-66-249-72-231.googlebot.com
  4 24936 3.75% 23347 5.78% 1364043 16.17% 6 0.11% crawl-66-249-66-148.googlebot.com
  5 19389 2.92% 13819 3.42% 592205 7.02% 2 0.04% crawl-66-249-72-142.googlebot.com
  6 17988 2.71% 17254 4.27% 1037591 12.30% 10 0.18% crawl-66-249-65-8.googlebot.com
  7 9905 1.49% 3670 0.91% 14669 0.17% 70 1.26% 217-162-108-66.dclient.hispeed.ch
  8 8918 1.34% 1388 0.34% 8634 0.10% 36 0.65% 217-162-224-210.dclient.hispeed.ch
  9 8141 1.22% 6447 1.60% 330971 3.92% 0 0.00% crawl-66-249-72-35.googlebot.com
  10 7204 1.08% 6903 1.71% 344611 4.09% 20 0.36% crawl-66-249-65-67.googlebot.com

Gruss Gert

[Mihil]

Das gleiche "Problem" habe ich auch. Der MSN Bot ist so gut wie laufend auf dem Board, der Googlebot ca. 2 mal am Tag. Gestern haben die beiden Bots etwa 150 MB verbraucht.

Bannen würde ich die IPs allerdings nicht, sonst fliegst du aus Google...

[Reyx]

Was denn dann? Entweder du bannst sie und lebst mit deinem niedrigeren bis nicht vorhandenen Ranking, oder du wertest mal die IPs aus, um zu sehen ob da wirklich alles, was vorgibt Google zu sein, auch Google ist.

Ansonsten hilft vielleicht eine eingeschränkte Sperre, so dass z.B. nur jeder zehnte Zugriff vom Googlebot geblockt wird, wenn der letzte weniger als x Minuten zurückliegt...