Seite 3 von 5
Re: sprunghafter Anstieg: Besucherrekord
Verfasst: 05.02.2012 17:35
von schnagga
Das ist natürlich immer der sicherste Weg
Es sollte aber auch funktionieren, einen Bot, der eine robots.txt beachtet, per robots.txt zu sperren.
Man muss ja nicht gleich mit Kanonen auf arme Bots schießen
Re: sprunghafter Anstieg: Besucherrekord
Verfasst: 05.02.2012 17:41
von zx9r-treiber
Nun, aber dieser hier ist recht hartnäckig. Andere halten sich ja an die Robots.txt .... nur der halt nicht. Ich habe ihn bereits vor 1 Jahr dort aufgenommen .... wie man merkt ohne Erfolg zu haben.
Nachtrag =
Wenn ich eine .htaccess erstelle (Speichern als ANSI Kodierung) und die im obersten ROOT ablege =
so wird mir dieser crawler gezeigt =
Code: Alles auswählen
Mozilla/5.0 (compatible; 008/0.83; http://www.80legs.com/webcrawler.html) Gecko/2008032620
Das würde ich in die .htaccess schreiben =
Code: Alles auswählen
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^80legs.com
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^008
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^80legs.com/webcrawler.html
welcher von denen wäre denn richtig? ich bin leider noch nicht so fitt in der Materie
Nachtrag 2 =
Hab es einfach ausprobiert, geht irgend wie nicht .... der crawler macht lustig weiter
Re: sprunghafter Anstieg: Besucherrekord
Verfasst: 05.02.2012 20:38
von hackepeter13
Hast du auch mal Versuchst den Client per deny zu blocken?
http://www.homepage-performance.de/htaccess-deny.html
Ansonsten gibt es
hier auch noch viel dazu zu lesen.
Re: sprunghafter Anstieg: Besucherrekord
Verfasst: 05.02.2012 21:17
von zx9r-treiber
Ich hab ja aus deinem "hier" Link meine Weißheit auch gefunden und übernommen und einen .htaccess geschrieben. Die bringt überhaupt nix ... der crawler macht lustig weiter.
Dein erster Vorschlag setz voraus, das der crawler ehrlich ist um ihn zu Blockieren.
Aber ich weiß beim besten willen nicht wie ich die Anweisungen richtig umsetze. So weit ist mein Fachwissen absolut nicht.
Ich glaub das wird etwas für die Jobbörse oder einen IP Spezialisten hier vor Ort ... das wird mir im moment zu hoch und zu viel, die Zeit habe ich jetzt nicht.
Re: sprunghafter Anstieg: Besucherrekord
Verfasst: 05.02.2012 21:19
von BNa
BNa hat geschrieben:zx9r-treiber hat geschrieben:Richtig ?
Ja, wenn die Bots sich an die robots.txt halten. Einige halten sich aber dennoch nicht dran. Also sperre ich z.B. den BingBot zusätzlich großzügig via ACP IP-Sperre aus. Sicher ist sicher.
Habe es ja schon geschrieben. Einfach den Bot IP-Bereich im ACP sperren. Jeder Bot hat eine oder mehrere festgelegte IP-Bereiche, diese einfach großzügig sperren.
Re: sprunghafter Anstieg: Besucherrekord
Verfasst: 05.02.2012 21:36
von modernist
Ich würde es mit
Code: Alles auswählen
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} 80legs [NC]
RewriteRule ^.*$ - [F,L]
versuchen.
^80.. oder ^008 kann nicht funktionieren, da der User-Agent mit Mozilla anfängt und nicht mit 80 oder 008.
Du könntest natürlich auch den exakten User-Agent ausschließen mit
Code: Alles auswählen
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/5.0\ \(compatible;\ 008/0.83;\ http://www.80legs.com/webcrawler.html\)\ Gecko/2008032620\.*$ [NC]
Im Test funktionierte das bei mir.
Re: sprunghafter Anstieg: Besucherrekord
Verfasst: 05.02.2012 21:43
von BNa
modernist hat geschrieben:Im Test funktionierte das bei mir.
das aber auch nur, wenn es ein sauberer, guter Bot ist. Viele der unredlichen Bots ändern diese Angaben dynamisch. Aber macht mal. Ist ja euer Board.
Re: sprunghafter Anstieg: Besucherrekord
Verfasst: 05.02.2012 21:47
von modernist
Es geht zx9r-treiber doch genau um diesen User-Agent, der derzeit bei ihm für Ärger sorgt.
Bei Änderungen sucht er sich halt die Teile des UA heraus, die gleichbleiben und schaut, daß es keine gängigen Teile anderer UAs sind wie z.B. "Mozilla/5.0", allein diesen Teil sperrt man lieber nicht.
Re: sprunghafter Anstieg: Besucherrekord
Verfasst: 05.02.2012 21:55
von BNa
Genehmigt, hier noch 2 andere Varianten
Code: Alles auswählen
Mozilla/5.0 (compatible; 008/0.83; http://www.80legs.com/spider.html) Gecko/2008032620
Mozilla/5.0 (compatible; 008/0.83; http://www.80legs.com/spider.html;) Gecko/2008032620
Mozilla/5.0 (compatible; 008/0.83; http://www.80legs.com/webcrawler.html) Gecko/2008032620
Weitere Infos
http://www.thevirtualworkforce.com/Craw ... legsSpider
http://www.webmasterworld.com/search_en ... 955343.htm
http://www.webseiten-infos.de/bots-mitt ... lockieren/
http://www.phpbb.com/community/viewtopi ... &t=2055325
Re: sprunghafter Anstieg: Besucherrekord
Verfasst: 05.02.2012 22:39
von zx9r-treiber
Gut, ich werde is nun mit =
Code: Alles auswählen
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} 80legs [NC]
RewriteRule ^.*$ - [F,L]
als .htaccess ausprobieren.
Muß diese .htaccess in das Hauptroot Verzeichniss ?
(also nicht in das Root von phpBB3 sondern ganz oben ins Hauptverzeichniss wo auch die Robots.txt steht)
Nachtrag =
Habe beide versionen getestet
Code: Alles auswählen
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} 80legs [NC]
RewriteRule ^.*$ - [F,L]
ewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/5.0\ \(compatible;\ 008/0.83;\ http://www.80legs.com/webcrawler.html\)\ Gecko/2008032620\.*$ [NC]
RewriteRule ^.*$ - [F,L]
beide ohne Erfolg denn sie müsten sofort (oder sehr schnell) gesperrt sein. Aber die Zugriffe wechseln recht schnell zwischen 4 bis 20 gleichzeitig.
