sprunghafter Anstieg: Besucherrekord

[Dr.Death]

Hiho,

auch wir wurden Opfer des 80legs WebCrawlers

Die Lösung brachte folgender Eintrag in die .htaccess

Code: Alles auswählen

    RewriteEngine On

    RewriteCond %{HTTP_USER_AGENT} 80legs [NC]
    RewriteRule ^/* http://www.80legs.com/webcrawler.html [L]

    RewriteCond %{HTTP_USER_AGENT} 008 [NC]
    RewriteRule ^/* http://www.80legs.com/webcrawler.html [L]

Siehe dazu auch: http://www.lpi-clan.de/viewtopic.php?f=1&t=4490

[PatrickS3]

Der von BNa beschriebene Eintrag für die htaccess

Code: Alles auswählen

SetEnvIfNoCase User-Agent "Mozilla/5\.0 \(compatible; 008/0\.83; http\://www\.80legs\.com/spider\.html;\)" bad_bota
SetEnvIfNoCase User-Agent "Mozilla/5\.0 \(compatible; 008/0\.83; http\://www\.80legs\.com/webcrawler\.html;\)" bad_botb
SetEnvIfNoCase User-Agent "Mozilla/5\.0 \(compatible; 008/0\.83; http\://www\.80legs\.com/spider\.html\)" bad_botc
SetEnvIfNoCase User-Agent "Mozilla/5\.0 \(compatible; 008/0\.83; http\://www\.80legs\.com/webcrawler\.html\)" bad_botd

<Limit GET POST PUT HEAD>
order allow,deny
allow from all
deny from env=bad_bota
deny from env=bad_botb
deny from env=bad_botc
deny from env=bad_botd
</Limit>

So er ist wieder da. Diesmal mit .85 statt .83. Frage, kann ich das jetzt einfach erweitern, nach diesem Muster?

Code: Alles auswählen

SetEnvIfNoCase User-Agent "Mozilla/5\.0 \(compatible; 008/0\.83; http\://www\.80legs\.com/spider\.html;\)" bad_bota
SetEnvIfNoCase User-Agent "Mozilla/5\.0 \(compatible; 008/0\.83; http\://www\.80legs\.com/webcrawler\.html;\)" bad_botb
SetEnvIfNoCase User-Agent "Mozilla/5\.0 \(compatible; 008/0\.83; http\://www\.80legs\.com/spider\.html\)" bad_botc
SetEnvIfNoCase User-Agent "Mozilla/5\.0 \(compatible; 008/0\.83; http\://www\.80legs\.com/webcrawler\.html\)" bad_botd
SetEnvIfNoCase User-Agent "Mozilla/5\.0 \(compatible; 008/0\.85; http\://www\.80legs\.com/spider\.html;\)" bad_bote
SetEnvIfNoCase User-Agent "Mozilla/5\.0 \(compatible; 008/0\.85; http\://www\.80legs\.com/webcrawler\.html;\)" bad_botf
SetEnvIfNoCase User-Agent "Mozilla/5\.0 \(compatible; 008/0\.85; http\://www\.80legs\.com/spider\.html\)" bad_botg
SetEnvIfNoCase User-Agent "Mozilla/5\.0 \(compatible; 008/0\.85; http\://www\.80legs\.com/webcrawler\.html\)" bad_both
<Limit GET POST PUT HEAD>
order allow,deny
allow from all
deny from env=bad_bota
deny from env=bad_botb
deny from env=bad_botc
deny from env=bad_botd
deny from env=bad_bote
deny from env=bad_botf
deny from env=bad_botg
deny from env=bad_both
</Limit> 

Patrick

[BNa]

Na klar, einfach ändern und gut

[PatrickS3]

Danke. Hat geklappt.

[sepp71]

Hallo zusammen,

ich greife dieses Thema mal wieder auf, da auch mein Board von einem aggressiven Bot (allerdings nicht 80legs) lahmgelegt wurde.
Bei der Recherche im Web bin ich hier auf eine Anleitung gestoßen, zu der sehr umfangreicher Code aus "Pastebin" zum Aussperren einer offenbar großen Zahl von Bots gehört.

Code: Alles auswählen

SetEnvIfNoCase ^User-Agent$ .*(aesop_com_spiderman|alexibot|backweb|bandit|batchftp|bigfoot) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(black.?hole|blackwidow|blowfish|botalot|buddy|builtbottough|bullseye) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(capture|fetch|finder|harvest|Java|larbin|libww|library|link|nutch|Retrieve) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(cheesebot|cherrypicker|chinaclaw|collector|copier|copyrightcheck|crawl) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(cosmos|crescent|curl|custo|da|diibot|disco|dittospyder|dragonfly) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(drip|easydl|ebingbong|ecatch|eirgrabber|emailcollector|emailsiphon) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(emailwolf|erocrawler|exabot|eyenetie|filehound|flashget|flunky) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(frontpage|getright|getweb|go.?zilla|go-ahead-got-it|gotit|grabnet) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(grafula|harvest|hloader|hmview|httplib|httrack|humanlinks|ilsebot) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(infonavirobot|infotekies|intelliseek|interget|iria|jennybot|jetcar) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(joc|justview|jyxobot|kenjin|keyword|larbin|leechftp|lexibot|lftp|libweb) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(likse|linkscan|linkwalker|lnspiderguy|lwp|magnet|mag-net|markwatch) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(mata.?hari|memo|microsoft.?url|midown.?tool|miixpc|mirror|missigua|mrsputnik) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(mister.?pix|moget|mozilla.?newt|nameprotect|navroad|backdoorbot|nearsite) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(net.?vampire|netants|netcraft|netmechanic|netspider|nextgensearchbot) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(attach|nicerspro|nimblecrawler|npbot|octopus|offline.?explorer) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(offline.?navigator|openfind|outfoxbot|pagegrabber|papa|pavuk) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(pcbrowser|php.?version.?tracker|pockey|propowerbot|prowebwalker) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(psbot|pump|queryn|recorder|realdownload|reaper|reget|true_robot) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(repomonkey|rma|internetseer|sitesnagger|siphon|slysearch|smartdownload) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(snake|snapbot|snoopy|sogou|spacebison|spankbot|spanner|sqworm|superbot) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(scraper|siphon|spider|tool|superhttp|surfbot|asterias|suzuran|szukacz|takeout|teleport) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(telesoft|the.?intraformant|thenomad|tighttwatbot|titan|urldispatcher) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(turingos|turnitinbot|urly.?warning|vacuum|vci|voideye|whacker) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(widow|wisenutbot|wwwoffle|xaldon|xenu|zeus|zyborg|anonymouse) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(craftbot|download|extract|stripper|sucker|ninja|clshttp|webspider|leacher|coll?ector|grabber|webpictures) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(libwww-perl|aesop_com_spiderman) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(libwww-perl|Purebot|Sosospider|AboutUsBot|Johnny5|Python-urllib|Yeti|TurnitinBot) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(GoScraper|Kehalim|DoCoMo|SurveyBot|spbot|BDFetch|EasyDL|CamontSpider|Chilkat|Z?mEu) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(GoScraper|Kehalim|DoCoMo|SurveyBot|spbot|BDFetch|EasyDL|CamontSpider|Chilkat|Z?mEu) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*web(zip|emaile|enhancer|fetch|go.?is|auto|bandit|clip|copier|master|reaper|sauger|site.?quester|whack) HTTP_SAFE_BADBOT

<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=HTTP_SAFE_BADBOT
</Limit>

Ehrlich gesagt ist mir die lange Liste dann doch ein wenig suspekt, allerdings ist mir kein einziger der Botnamen positiv bekannt.
Hat sich von Euch schon jemand umfassender mit dem Thema beschäftigt? Lohnt es sich, die htaccess so aufzublasen?

Vielen Dank!
Sepp

[schnagga]

Moin,

böse Bots sind natürlich ständig unterwegs.
In meinen Logs finde ich aber gerade keine außergewöhnliche Zugriffe?!
Hast du mal mehr Infos, welcher Bot bei dir so "trommelt".

LG

[Kirk]

Wenn es um einen Bot handelt, dann mach es doch zb. so: http://www.lpi-clan.de/viewtopic.php?p=20171

[Talk19zehn]

Hi, wie kann ich mich denn von jenem "Gast" befreien: SemrushBot - inetnum: 46.229.164.0 - 46.229.164.255
Das funktioniert nicht:

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} ^SemrushBot [NC]
RewriteRule ^/* http://www.semrush.com/bot.html [L]

Danke und LG

Edit: 02.03.2015, 18:39 --> das greift

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} SemrushBot [NC]
RewriteRule ^/* http://www.semrush.com/bot.html [L]

Gruß