Bot Bytespider (ursprünglich: [3.3] Spider/Robots)

[sepp71]

abgetrennt von: viewtopic.php?t=246492

Eines meiner Boards (Shared Webhosting) geht aktuell wegen übermäßiger Bot-Zugriffe ziemlich in die Knie.
Wenn ich die Log-Auswertung des Hosters richtig interpretiere, ist es ein Bot der dort als "fake Bytespider" identifiziert wird. Ich vermute mal, er tut so, als sei er Bytespider, ist es aber nicht. Daher könnte ich auf beide Bots verzichten, würde ihnen also gern den Zugang verwehren und vermute, dass der http-header irgendwo "bytespider" enthält.

Wenn ich es richtig verstanden habe, werden die hinterlegten/bekannten Bots in phpBB ja irgendwie erkannt und dann entsprechend zugeordnet. Kann man diese Liste irgendwie ergänzen?
Mein (fake) Bytespider scheint nicht dabei zu sein.
Sepp

[LukeWCS]

Eines meiner Boards (Shared Webhosting) geht aktuell wegen übermäßiger Bot-Zugriffe ziemlich in die Knie.

Hallo

Da dein Anliegen nichts mit dem von TomLB zu tun hat, habe ich das Thema geteilt.

Was deine Frage angeht: Du kannst im ACP die Bot Liste erweitern:

ACP > System > ALLGEMEINE FUNKTIONEN > Spiders/Robots

Den UserAgent kannst du im Access Log deines Webservers finden.

Aber das wird dir in deinem speziellen Fall gar nichts bringen, denn wenn der Bot dein Board beeinträchtigt, dann musst du den Bot schon an der "Haustür" abwimmeln. Das heisst per .htaccess. In der Bot Liste geht es primär um die seriösen Bots unter Kontrolle zu halten, gegen die unseriösen ist das aber nicht das richtige Werkzeug.

[Kirk]

Mit diesem Bytespider hatte auch schon zu tun gehabt, hab in der .htaccess nach RewriteEngine on folgendes eingetragen:

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} Bytespider [NC]
RewriteRule ^.*$ - [F,L]

Seit dem hab ich Ruhe.

[sepp71]

Super, vielen Dank für die schnelle Hilfe!
Noch eine Frage: RewriteRule ^.*$ - [F,L] leitet dahin zurück, wo die Anfrage hergekommen ist, oder?

Sepp

[Dr.Death]

Nein.... siehe https://httpd.apache.org/docs/2.4/rewrite/flags.html

F -->

Using the [F] flag causes the server to return a 403 Forbidden status code to the client.

L -->

The [L] flag causes mod_rewrite to stop processing the rule set. In most contexts, this means that if the rule matches, no further rules will be processed.

[sepp71]

Danke für diese Aufklärung!
Sepp