Google Bot verursacht extrem viel Traffic?

[leopittoni]

Hallo!

So sieht der Traffic-Verbrauch meines Forums aus... ca. 250 Besucher/Tag:

Mai: 17 GB
Juni: 32GB
Juli: 132 GB

Das sehe ich in der Statistik von Plesk, kann auch sein, dass 132 GB die Summe ist... Trotzdem: Sooo viel?!?!

In der Logfile sehe ich: tausende von Zugriffe vom Google Bot! Immer auf die Registrier-Seite, da alle Foren nur für Members ersichtlich sind!

Kann es sein, dass es der Google-Bot ist, der so viel Traffic erzeugt?

Wenn ja: Wie kann ich den aussperren?

Danke! Léo

[Boecki91]

Vielleicht sind es Spam-Bots die sagen sie wären ein Googlebot

[leopittoni]

Hmm, das gibts?

Ok, wie kann ich denn allgemein alle Bots von meiner Seite fern halten?

Danke, Léo

[Boecki91]

Mit einem htaccess File die IPs blockieren. -> googlen

[leopittoni]

htaccess?

Habe mal eine robots.txt in das phpBB Verzeichnis getan.

User-Agent: *
Disallow: /

Sollte klappen, oder?

Danke, Léo

[Boecki91]

Ja bei allen "guten" Bots klappt das, aber ob deine 132 GB wirklich von einem "gutem" stammen?

[leopittoni]

Hmm, habe eigentlich den CrackerTracker... Der "schmeisst" doch die "bösen" raus. sollte...

Mal schauen was rauskommt.

Léo

[Boecki91]

Ja das macht der CrackerTracker er ist DIE Wunderwaffe, nur auf Ihn ist blind Verlass. Das Erklährt deine zig GB Trafik auch.


Ironie?
Ich, nieee

[leopittoni]

Die access_log von heute hat auch schon 53'000 Einträge...

Etwa so siehts aus, nur noch viel länger...

Code: Alles auswählen

66.249.71.237 - - [31/Jul/2008:05:00:14 +0200] "GET /map.php?map=3&highlight=1491&self=-1&zoom=2&offset_long=8.832564&offset_lat=0.48017562076743&sid=a148c15f2195e2f9684eadb6221bc454 HTTP/1.1" 302 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.237 - - [31/Jul/2008:05:00:15 +0200] "GET /login.php?redirect=map.php&sid=440d4b1b5fffcf94008ea28ae2eecba3 HTTP/1.1" 200 16542 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.237 - - [31/Jul/2008:05:00:16 +0200] "GET /map.php?map=3&highlight=1491&self=-1&zoom=2&offset_long=7.5190032&offset_lat=6.5345638826186&sid=ab3593a0a8e1b94696578a09edd50903 HTTP/1.1" 302 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.237 - - [31/Jul/2008:05:00:16 +0200] "GET /login.php?redirect=map.php&sid=5b0508ced286ecf09647557217c9b835 HTTP/1.1" 200 16542 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.238 - - [31/Jul/2008:05:00:16 +0200] "GET /map.php?map=3&highlight=1425&zoom=6&offset_long=2.5365312&offset_lat=3.507369751693&sid=abcc403f10f849449d39dc41077d4279 HTTP/1.1" 302 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.237 - - [31/Jul/2008:05:00:16 +0200] "GET /login.php?redirect=map.php&sid=b42ba3ab3c1a4ad5349ad0044593ad5a HTTP/1.1" 200 16542 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.237 - - [31/Jul/2008:05:00:17 +0200] "GET /map.php?map=3&highlight=1491&self=-1&zoom=3&offset_long=2.26476&offset_lat=6.3257918735892&sid=417436afc79b5ce182cfb39ecae33dd4 HTTP/1.1" 302 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.237 - - [31/Jul/2008:05:00:17 +0200] "GET /login.php?redirect=map.php&sid=36aaef89baf296d163ac08f5cd87b9c9 HTTP/1.1" 200 16542 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.238 - - [31/Jul/2008:05:00:19 +0200] "GET /map.php?map=3&highlight=1491&self=-1&zoom=4&offset_long=0&offset_lat=0.062631602708742&sid=212c4dee705b58fe2f09202956232605 HTTP/1.1" 302 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.238 - - [31/Jul/2008:05:00:19 +0200] "GET /login.php?redirect=map.php&sid=b1ad70290f344a9d4b2efb5d202b5454 HTTP/1.1" 200 16542 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.238 - - [31/Jul/2008:05:00:20 +0200] "GET /map.php?map=3&highlight=1491&zoom=6&offset_long=4.8012912&offset_lat=3.48649255079&sid=659cd26d6588a51c23ec1ff268302b5f HTTP/1.1" 302 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.238 - - [31/Jul/2008:05:00:21 +0200] "GET /login.php?redirect=map.php&sid=db30e494f54dc566e0d5734704a2d615 HTTP/1.1" 200 16542 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.238 - - [31/Jul/2008:05:00:21 +0200] "GET /map.php?map=3&highlight=1491&zoom=6&offset_long=1.5400368&offset_lat=1.8371936794582&sid=5e651be1b8e06d2fe8312df127fa57c1 HTTP/1.1" 302 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.238 - - [31/Jul/2008:05:00:22 +0200] "GET /login.php?redirect=map.php&sid=594520c2a2c3773482864f45b4287a14 HTTP/1.1" 200 16542 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.238 - - [31/Jul/2008:05:00:22 +0200] "GET /map.php?map=3&highlight=1491&zoom=7&offset_long=1.4494464&offset_lat=0.70982483069977&sid=6dfea8d7ae6d08c79153515a75d1f0d3 HTTP/1.1" 302 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.238 - - [31/Jul/2008:05:00:22 +0200] "GET /login.php?redirect=map.php&sid=14830780c558af43607754995e2acdd5 HTTP/1.1" 200 16542 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.238 - - [31/Jul/2008:05:00:23 +0200] "GET /map.php?map=3&highlight=2356&zoom=6&offset_long=1.9929888&offset_lat=-0.83508803611734&sid=bd1bb58cbf3442166c970afd60b5082f HTTP/1.1" 302 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.239 - - [31/Jul/2008:05:00:24 +0200] "GET /map.php?map=3&highlight=1491&zoom=6&offset_long=9.964944&offset_lat=2.5052641083522&sid=c51e490097162694c27b32424dcdb582 HTTP/1.1" 302 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.237 - - [31/Jul/2008:05:00:24 +0200] "GET /login.php?redirect=map.php&sid=ce89a4d36e2b493e30f0658af0209488 HTTP/1.1" 200 16542 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.239 - - [31/Jul/2008:05:00:24 +0200] "GET /login.php?redirect=map.php&sid=d9e7133266a28518295644ca0fde2880 HTTP/1.1" 200 16542 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Also immer login.php oder map.php... Obwohl: map.php ist nur für Registrierte ersichtlich, sonst wird man auf die Login.php weitergeleitet...

Naja... Ist das Google??

Léo

[leopittoni]

Ok,... kein Wunder. Google ist wohl der Übeltäter:

Anzahl der täglich gecrawlten Seiten
Maximal 22'254


Täglich heruntergeladene Datenmenge in KB
Maximal 1'844'504

1.75 GB täglich!!! Durch Google Bot?!

Und der sieht doch nur das Index und die Login-Seite!!

Was läuft da falsch??

Gruss! Léo