sprunghafter Anstieg: Besucherrekord

[schnagga]

Das ist natürlich immer der sicherste Weg

Es sollte aber auch funktionieren, einen Bot, der eine robots.txt beachtet, per robots.txt zu sperren.
Man muss ja nicht gleich mit Kanonen auf arme Bots schießen

[zx9r-treiber]

Nun, aber dieser hier ist recht hartnäckig. Andere halten sich ja an die Robots.txt .... nur der halt nicht. Ich habe ihn bereits vor 1 Jahr dort aufgenommen .... wie man merkt ohne Erfolg zu haben.

Nachtrag =

Wenn ich eine .htaccess erstelle (Speichern als ANSI Kodierung) und die im obersten ROOT ablege =
so wird mir dieser crawler gezeigt =

Code: Alles auswählen

Mozilla/5.0 (compatible; 008/0.83; http://www.80legs.com/webcrawler.html) Gecko/2008032620

Das würde ich in die .htaccess schreiben =

Code: Alles auswählen

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^80legs.com

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^008

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^80legs.com/webcrawler.html

welcher von denen wäre denn richtig? ich bin leider noch nicht so fitt in der Materie

Nachtrag 2 =

Hab es einfach ausprobiert, geht irgend wie nicht .... der crawler macht lustig weiter

[hackepeter13]

Hast du auch mal Versuchst den Client per deny zu blocken?
http://www.homepage-performance.de/htaccess-deny.html

Ansonsten gibt es hier auch noch viel dazu zu lesen.

[zx9r-treiber]

Ich hab ja aus deinem "hier" Link meine Weißheit auch gefunden und übernommen und einen .htaccess geschrieben. Die bringt überhaupt nix ... der crawler macht lustig weiter.

Dein erster Vorschlag setz voraus, das der crawler ehrlich ist um ihn zu Blockieren.
Aber ich weiß beim besten willen nicht wie ich die Anweisungen richtig umsetze. So weit ist mein Fachwissen absolut nicht.

Ich glaub das wird etwas für die Jobbörse oder einen IP Spezialisten hier vor Ort ... das wird mir im moment zu hoch und zu viel, die Zeit habe ich jetzt nicht.

[BNa]

Richtig ?

Ja, wenn die Bots sich an die robots.txt halten. Einige halten sich aber dennoch nicht dran. Also sperre ich z.B. den BingBot zusätzlich großzügig via ACP IP-Sperre aus. Sicher ist sicher.

Habe es ja schon geschrieben. Einfach den Bot IP-Bereich im ACP sperren. Jeder Bot hat eine oder mehrere festgelegte IP-Bereiche, diese einfach großzügig sperren.

[modernist]

Ich würde es mit

Code: Alles auswählen

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} 80legs [NC]
RewriteRule ^.*$ - [F,L]

versuchen.

^80.. oder ^008 kann nicht funktionieren, da der User-Agent mit Mozilla anfängt und nicht mit 80 oder 008.
Du könntest natürlich auch den exakten User-Agent ausschließen mit

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} ^Mozilla/5.0\ \(compatible;\ 008/0.83;\ http://www.80legs.com/webcrawler.html\)\ Gecko/2008032620\.*$ [NC]

Im Test funktionierte das bei mir.

[BNa]

Im Test funktionierte das bei mir.

das aber auch nur, wenn es ein sauberer, guter Bot ist. Viele der unredlichen Bots ändern diese Angaben dynamisch. Aber macht mal. Ist ja euer Board.

[modernist]

Es geht zx9r-treiber doch genau um diesen User-Agent, der derzeit bei ihm für Ärger sorgt.
Bei Änderungen sucht er sich halt die Teile des UA heraus, die gleichbleiben und schaut, daß es keine gängigen Teile anderer UAs sind wie z.B. "Mozilla/5.0", allein diesen Teil sperrt man lieber nicht.

[BNa]

Genehmigt, hier noch 2 andere Varianten

Code: Alles auswählen

    Mozilla/5.0 (compatible; 008/0.83; http://www.80legs.com/spider.html) Gecko/2008032620
    Mozilla/5.0 (compatible; 008/0.83; http://www.80legs.com/spider.html;) Gecko/2008032620
    Mozilla/5.0 (compatible; 008/0.83; http://www.80legs.com/webcrawler.html) Gecko/2008032620

Weitere Infos
http://www.thevirtualworkforce.com/Craw ... legsSpider
http://www.webmasterworld.com/search_en ... 955343.htm
http://www.webseiten-infos.de/bots-mitt ... lockieren/
http://www.phpbb.com/community/viewtopi ... &t=2055325

[zx9r-treiber]

Gut, ich werde is nun mit =

Code: Alles auswählen

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} 80legs [NC]
RewriteRule ^.*$ - [F,L]

als .htaccess ausprobieren.

Muß diese .htaccess in das Hauptroot Verzeichniss ?
(also nicht in das Root von phpBB3 sondern ganz oben ins Hauptverzeichniss wo auch die Robots.txt steht)

Nachtrag =

Habe beide versionen getestet

Code: Alles auswählen

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} 80legs [NC]
RewriteRule ^.*$ - [F,L]

ewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/5.0\ \(compatible;\ 008/0.83;\ http://www.80legs.com/webcrawler.html\)\ Gecko/2008032620\.*$ [NC]
RewriteRule ^.*$ - [F,L]

beide ohne Erfolg denn sie müsten sofort (oder sehr schnell) gesperrt sein. Aber die Zugriffe wechseln recht schnell zwischen 4 bis 20 gleichzeitig.