Seite 1 von 2
Google Bot verursacht extrem viel Traffic?
Verfasst: 31.07.2008 16:54
von leopittoni
Hallo!
So sieht der Traffic-Verbrauch meines Forums aus... ca. 250 Besucher/Tag:
Mai: 17 GB
Juni: 32GB
Juli: 132 GB
Das sehe ich in der Statistik von Plesk, kann auch sein, dass 132 GB die Summe ist... Trotzdem: Sooo viel?!?!
In der Logfile sehe ich: tausende von Zugriffe vom Google Bot! Immer auf die Registrier-Seite, da alle Foren nur für Members ersichtlich sind!
Kann es sein, dass es der Google-Bot ist, der so viel Traffic erzeugt?
Wenn ja: Wie kann ich den aussperren?
Danke! Léo
Verfasst: 31.07.2008 17:16
von Boecki91
Vielleicht sind es Spam-Bots die sagen sie wären ein Googlebot
Verfasst: 31.07.2008 17:18
von leopittoni
Hmm, das gibts?
Ok, wie kann ich denn allgemein alle Bots von meiner Seite fern halten?
Danke, Léo
Verfasst: 31.07.2008 17:26
von Boecki91
Mit einem htaccess File die IPs blockieren. -> googlen
Verfasst: 31.07.2008 17:32
von leopittoni
htaccess?
Habe mal eine robots.txt in das phpBB Verzeichnis getan.
User-Agent: *
Disallow: /
Sollte klappen, oder?
Danke, Léo
Verfasst: 31.07.2008 17:36
von Boecki91
Ja bei allen "guten" Bots klappt das, aber ob deine 132 GB wirklich von einem "gutem" stammen?
Verfasst: 31.07.2008 17:38
von leopittoni
Hmm, habe eigentlich den CrackerTracker... Der "schmeisst" doch die "bösen" raus. sollte...
Mal schauen was rauskommt.
Léo
Verfasst: 31.07.2008 17:40
von Boecki91
Ja das macht der CrackerTracker er ist DIE Wunderwaffe, nur auf Ihn ist blind Verlass. Das Erklährt deine zig GB Trafik auch.
Ironie?
Ich, nieee
Verfasst: 31.07.2008 17:47
von leopittoni
Die access_log von heute hat auch schon 53'000 Einträge...
Etwa so siehts aus, nur noch viel länger...
Code: Alles auswählen
66.249.71.237 - - [31/Jul/2008:05:00:14 +0200] "GET /map.php?map=3&highlight=1491&self=-1&zoom=2&offset_long=8.832564&offset_lat=0.48017562076743&sid=a148c15f2195e2f9684eadb6221bc454 HTTP/1.1" 302 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.237 - - [31/Jul/2008:05:00:15 +0200] "GET /login.php?redirect=map.php&sid=440d4b1b5fffcf94008ea28ae2eecba3 HTTP/1.1" 200 16542 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.237 - - [31/Jul/2008:05:00:16 +0200] "GET /map.php?map=3&highlight=1491&self=-1&zoom=2&offset_long=7.5190032&offset_lat=6.5345638826186&sid=ab3593a0a8e1b94696578a09edd50903 HTTP/1.1" 302 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.237 - - [31/Jul/2008:05:00:16 +0200] "GET /login.php?redirect=map.php&sid=5b0508ced286ecf09647557217c9b835 HTTP/1.1" 200 16542 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.238 - - [31/Jul/2008:05:00:16 +0200] "GET /map.php?map=3&highlight=1425&zoom=6&offset_long=2.5365312&offset_lat=3.507369751693&sid=abcc403f10f849449d39dc41077d4279 HTTP/1.1" 302 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.237 - - [31/Jul/2008:05:00:16 +0200] "GET /login.php?redirect=map.php&sid=b42ba3ab3c1a4ad5349ad0044593ad5a HTTP/1.1" 200 16542 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.237 - - [31/Jul/2008:05:00:17 +0200] "GET /map.php?map=3&highlight=1491&self=-1&zoom=3&offset_long=2.26476&offset_lat=6.3257918735892&sid=417436afc79b5ce182cfb39ecae33dd4 HTTP/1.1" 302 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.237 - - [31/Jul/2008:05:00:17 +0200] "GET /login.php?redirect=map.php&sid=36aaef89baf296d163ac08f5cd87b9c9 HTTP/1.1" 200 16542 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.238 - - [31/Jul/2008:05:00:19 +0200] "GET /map.php?map=3&highlight=1491&self=-1&zoom=4&offset_long=0&offset_lat=0.062631602708742&sid=212c4dee705b58fe2f09202956232605 HTTP/1.1" 302 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.238 - - [31/Jul/2008:05:00:19 +0200] "GET /login.php?redirect=map.php&sid=b1ad70290f344a9d4b2efb5d202b5454 HTTP/1.1" 200 16542 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.238 - - [31/Jul/2008:05:00:20 +0200] "GET /map.php?map=3&highlight=1491&zoom=6&offset_long=4.8012912&offset_lat=3.48649255079&sid=659cd26d6588a51c23ec1ff268302b5f HTTP/1.1" 302 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.238 - - [31/Jul/2008:05:00:21 +0200] "GET /login.php?redirect=map.php&sid=db30e494f54dc566e0d5734704a2d615 HTTP/1.1" 200 16542 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.238 - - [31/Jul/2008:05:00:21 +0200] "GET /map.php?map=3&highlight=1491&zoom=6&offset_long=1.5400368&offset_lat=1.8371936794582&sid=5e651be1b8e06d2fe8312df127fa57c1 HTTP/1.1" 302 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.238 - - [31/Jul/2008:05:00:22 +0200] "GET /login.php?redirect=map.php&sid=594520c2a2c3773482864f45b4287a14 HTTP/1.1" 200 16542 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.238 - - [31/Jul/2008:05:00:22 +0200] "GET /map.php?map=3&highlight=1491&zoom=7&offset_long=1.4494464&offset_lat=0.70982483069977&sid=6dfea8d7ae6d08c79153515a75d1f0d3 HTTP/1.1" 302 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.238 - - [31/Jul/2008:05:00:22 +0200] "GET /login.php?redirect=map.php&sid=14830780c558af43607754995e2acdd5 HTTP/1.1" 200 16542 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.238 - - [31/Jul/2008:05:00:23 +0200] "GET /map.php?map=3&highlight=2356&zoom=6&offset_long=1.9929888&offset_lat=-0.83508803611734&sid=bd1bb58cbf3442166c970afd60b5082f HTTP/1.1" 302 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.239 - - [31/Jul/2008:05:00:24 +0200] "GET /map.php?map=3&highlight=1491&zoom=6&offset_long=9.964944&offset_lat=2.5052641083522&sid=c51e490097162694c27b32424dcdb582 HTTP/1.1" 302 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.237 - - [31/Jul/2008:05:00:24 +0200] "GET /login.php?redirect=map.php&sid=ce89a4d36e2b493e30f0658af0209488 HTTP/1.1" 200 16542 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.71.239 - - [31/Jul/2008:05:00:24 +0200] "GET /login.php?redirect=map.php&sid=d9e7133266a28518295644ca0fde2880 HTTP/1.1" 200 16542 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Also immer login.php oder map.php... Obwohl: map.php ist nur für Registrierte ersichtlich, sonst wird man auf die Login.php weitergeleitet...
Naja... Ist das Google??
Léo
Verfasst: 31.07.2008 17:54
von leopittoni
Ok,... kein Wunder. Google ist wohl der Übeltäter:
Anzahl der täglich gecrawlten Seiten
Maximal 22'254
Täglich heruntergeladene Datenmenge in KB
Maximal 1'844'504
1.75 GB täglich!!! Durch Google Bot?!
Und der sieht doch nur das Index und die Login-Seite!!
Was läuft da falsch??
Gruss! Léo