phpBB.de

phpBB.de - Die deutsche phpBB-Community
https://www.phpbb.de/community/

sprunghafter Anstieg: Besucherrekord

https://www.phpbb.de/community/viewtopic.php?t=211714

Seite 5 von 5

Re: sprunghafter Anstieg: Besucherrekord

Verfasst: 18.04.2012 11:30
von Dr.Death
Hiho,

auch wir wurden Opfer des 80legs WebCrawlers :-?

Die Lösung brachte folgender Eintrag in die .htaccess

Code: Alles auswählen

    RewriteEngine On

    RewriteCond %{HTTP_USER_AGENT} 80legs [NC]
    RewriteRule ^/* http://www.80legs.com/webcrawler.html [L]

    RewriteCond %{HTTP_USER_AGENT} 008 [NC]
    RewriteRule ^/* http://www.80legs.com/webcrawler.html [L]
Siehe dazu auch: http://www.lpi-clan.de/viewtopic.php?f=1&t=4490

Re: sprunghafter Anstieg: Besucherrekord

Verfasst: 15.08.2013 15:46
von PatrickS3
PatrickS3 hat geschrieben: Der von BNa beschriebene Eintrag für die htaccess

Code: Alles auswählen

SetEnvIfNoCase User-Agent "Mozilla/5\.0 \(compatible; 008/0\.83; http\://www\.80legs\.com/spider\.html;\)" bad_bota
SetEnvIfNoCase User-Agent "Mozilla/5\.0 \(compatible; 008/0\.83; http\://www\.80legs\.com/webcrawler\.html;\)" bad_botb
SetEnvIfNoCase User-Agent "Mozilla/5\.0 \(compatible; 008/0\.83; http\://www\.80legs\.com/spider\.html\)" bad_botc
SetEnvIfNoCase User-Agent "Mozilla/5\.0 \(compatible; 008/0\.83; http\://www\.80legs\.com/webcrawler\.html\)" bad_botd

<Limit GET POST PUT HEAD>
order allow,deny
allow from all
deny from env=bad_bota
deny from env=bad_botb
deny from env=bad_botc
deny from env=bad_botd
</Limit>
So er ist wieder da. Diesmal mit .85 statt .83. Frage, kann ich das jetzt einfach erweitern, nach diesem Muster?

Code: Alles auswählen

SetEnvIfNoCase User-Agent "Mozilla/5\.0 \(compatible; 008/0\.83; http\://www\.80legs\.com/spider\.html;\)" bad_bota
SetEnvIfNoCase User-Agent "Mozilla/5\.0 \(compatible; 008/0\.83; http\://www\.80legs\.com/webcrawler\.html;\)" bad_botb
SetEnvIfNoCase User-Agent "Mozilla/5\.0 \(compatible; 008/0\.83; http\://www\.80legs\.com/spider\.html\)" bad_botc
SetEnvIfNoCase User-Agent "Mozilla/5\.0 \(compatible; 008/0\.83; http\://www\.80legs\.com/webcrawler\.html\)" bad_botd
SetEnvIfNoCase User-Agent "Mozilla/5\.0 \(compatible; 008/0\.85; http\://www\.80legs\.com/spider\.html;\)" bad_bote
SetEnvIfNoCase User-Agent "Mozilla/5\.0 \(compatible; 008/0\.85; http\://www\.80legs\.com/webcrawler\.html;\)" bad_botf
SetEnvIfNoCase User-Agent "Mozilla/5\.0 \(compatible; 008/0\.85; http\://www\.80legs\.com/spider\.html\)" bad_botg
SetEnvIfNoCase User-Agent "Mozilla/5\.0 \(compatible; 008/0\.85; http\://www\.80legs\.com/webcrawler\.html\)" bad_both
<Limit GET POST PUT HEAD>
order allow,deny
allow from all
deny from env=bad_bota
deny from env=bad_botb
deny from env=bad_botc
deny from env=bad_botd
deny from env=bad_bote
deny from env=bad_botf
deny from env=bad_botg
deny from env=bad_both
</Limit>
Patrick

Re: sprunghafter Anstieg: Besucherrekord

Verfasst: 15.08.2013 16:04
von BNa
Na klar, einfach ändern und gut :wink:

Re: sprunghafter Anstieg: Besucherrekord

Verfasst: 15.08.2013 16:06
von PatrickS3
Danke. Hat geklappt.

Aggressive Bots aussperren

Verfasst: 12.12.2013 21:21
von sepp71
Hallo zusammen,

ich greife dieses Thema mal wieder auf, da auch mein Board von einem aggressiven Bot (allerdings nicht 80legs) lahmgelegt wurde.
Bei der Recherche im Web bin ich hier auf eine Anleitung gestoßen, zu der sehr umfangreicher Code aus "Pastebin" zum Aussperren einer offenbar großen Zahl von Bots gehört.

Code: Alles auswählen

SetEnvIfNoCase ^User-Agent$ .*(aesop_com_spiderman|alexibot|backweb|bandit|batchftp|bigfoot) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(black.?hole|blackwidow|blowfish|botalot|buddy|builtbottough|bullseye) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(capture|fetch|finder|harvest|Java|larbin|libww|library|link|nutch|Retrieve) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(cheesebot|cherrypicker|chinaclaw|collector|copier|copyrightcheck|crawl) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(cosmos|crescent|curl|custo|da|diibot|disco|dittospyder|dragonfly) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(drip|easydl|ebingbong|ecatch|eirgrabber|emailcollector|emailsiphon) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(emailwolf|erocrawler|exabot|eyenetie|filehound|flashget|flunky) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(frontpage|getright|getweb|go.?zilla|go-ahead-got-it|gotit|grabnet) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(grafula|harvest|hloader|hmview|httplib|httrack|humanlinks|ilsebot) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(infonavirobot|infotekies|intelliseek|interget|iria|jennybot|jetcar) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(joc|justview|jyxobot|kenjin|keyword|larbin|leechftp|lexibot|lftp|libweb) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(likse|linkscan|linkwalker|lnspiderguy|lwp|magnet|mag-net|markwatch) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(mata.?hari|memo|microsoft.?url|midown.?tool|miixpc|mirror|missigua|mrsputnik) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(mister.?pix|moget|mozilla.?newt|nameprotect|navroad|backdoorbot|nearsite) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(net.?vampire|netants|netcraft|netmechanic|netspider|nextgensearchbot) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(attach|nicerspro|nimblecrawler|npbot|octopus|offline.?explorer) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(offline.?navigator|openfind|outfoxbot|pagegrabber|papa|pavuk) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(pcbrowser|php.?version.?tracker|pockey|propowerbot|prowebwalker) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(psbot|pump|queryn|recorder|realdownload|reaper|reget|true_robot) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(repomonkey|rma|internetseer|sitesnagger|siphon|slysearch|smartdownload) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(snake|snapbot|snoopy|sogou|spacebison|spankbot|spanner|sqworm|superbot) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(scraper|siphon|spider|tool|superhttp|surfbot|asterias|suzuran|szukacz|takeout|teleport) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(telesoft|the.?intraformant|thenomad|tighttwatbot|titan|urldispatcher) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(turingos|turnitinbot|urly.?warning|vacuum|vci|voideye|whacker) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(widow|wisenutbot|wwwoffle|xaldon|xenu|zeus|zyborg|anonymouse) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(craftbot|download|extract|stripper|sucker|ninja|clshttp|webspider|leacher|coll?ector|grabber|webpictures) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(libwww-perl|aesop_com_spiderman) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(libwww-perl|Purebot|Sosospider|AboutUsBot|Johnny5|Python-urllib|Yeti|TurnitinBot) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(GoScraper|Kehalim|DoCoMo|SurveyBot|spbot|BDFetch|EasyDL|CamontSpider|Chilkat|Z?mEu) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*(GoScraper|Kehalim|DoCoMo|SurveyBot|spbot|BDFetch|EasyDL|CamontSpider|Chilkat|Z?mEu) HTTP_SAFE_BADBOT
SetEnvIfNoCase ^User-Agent$ .*web(zip|emaile|enhancer|fetch|go.?is|auto|bandit|clip|copier|master|reaper|sauger|site.?quester|whack) HTTP_SAFE_BADBOT

<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=HTTP_SAFE_BADBOT
</Limit>
Ehrlich gesagt ist mir die lange Liste dann doch ein wenig suspekt, allerdings ist mir kein einziger der Botnamen positiv bekannt.
Hat sich von Euch schon jemand umfassender mit dem Thema beschäftigt? Lohnt es sich, die htaccess so aufzublasen?

Vielen Dank!
Sepp

Re: sprunghafter Anstieg: Besucherrekord

Verfasst: 13.12.2013 19:09
von schnagga
Moin,

böse Bots sind natürlich ständig unterwegs.
In meinen Logs finde ich aber gerade keine außergewöhnliche Zugriffe?!
Hast du mal mehr Infos, welcher Bot bei dir so "trommelt".

LG

Re: sprunghafter Anstieg: Besucherrekord

Verfasst: 13.12.2013 19:48
von Kirk
Wenn es um einen Bot handelt, dann mach es doch zb. so: http://www.lpi-clan.de/viewtopic.php?p=20171

Re: Crawler SemrushBot aussperren

Verfasst: 02.03.2015 00:51
von Talk19zehn
Hi, wie kann ich mich denn von jenem "Gast" befreien: SemrushBot - inetnum: 46.229.164.0 - 46.229.164.255
Das funktioniert nicht:

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} ^SemrushBot [NC]
RewriteRule ^/* http://www.semrush.com/bot.html [L]
Danke und LG

Edit: 02.03.2015, 18:39 --> das greift

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} SemrushBot [NC]
RewriteRule ^/* http://www.semrush.com/bot.html [L]
Gruß
Alle Zeiten sind UTC+02:00
Seite 5 von 5

Powered by phpBB® Forum Software © phpBB Limited

Deutsche Übersetzung durch phpBB.de