Seite 1 von 1

Robot Black List

Verfasst: 14.06.2015 07:10
von Lonley
Hallo!

Habe seite in paar Tagen einen Dauergast bei mir, ein Robot namens: Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)
Der gute Bott kommt aus Amsterdam. Hab nun mal nach ihm gesucht und man sagt er wäre echt bösartig. Wie kann ich den Herrn bzw. seine Kollegen von der Blacklist ausschließen, gibts da eine Möglichkeit?

Grüße Lonley

Re: Robot Black List

Verfasst: 15.06.2015 15:19
von redbull254
Hallo erstmal,
Lonley hat geschrieben: Wie kann ich den Herrn bzw. seine Kollegen von der Blacklist ausschließen, gibts da eine Möglichkeit?
Du meinst wohl eher, den Bot auf eine "Blacklist" zu setzen. Ihn runter zu nehmen würde ihm ja gerade jede Freiheit geben. Setze den Bot im ACP in die Bot/Spider-Liste, dann kannst Du ihn über die Berechtigungen zumindest den "Content" entziehen. Wenn er nichts mehr zu lesen bekommt, haut der von allein ab.

Re: Robot Black List

Verfasst: 15.06.2015 19:32
von Dr.Death
Hi,

wenn Du diesen "bösen" Bot komplett ausschliessen möchtest, wäre ein .htaccess im Foren Root Verzeichnis hilfreich:

Code: Alles auswählen

RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} AhrefsBot [NC]
RewriteRule ^/* https://ahrefs.com/robot/ [L]
Mit der o.g. Erweiterung deiner .htaccess Datei wird jeder Besuch des "bösen" Bots auf sich selbst verwiesen :-)

Siehe auch: http://wiki.selfhtml.org/wiki/Webserver/mod_rewrite

Re: Robot Black List

Verfasst: 15.06.2015 19:55
von redbull254
Dr.Death hat geschrieben:
wenn Du diesen "bösen" Bot komplett ausschliessen möchtest, wäre ein .htaccess im Foren Root Verzeichnis hilfreich:
Kein Robot ist verbindlich verpflichtet, sich an den Exclusion-Standard zu halten, auch wenn es die meisten tun. Hoffen wir mal, dass er das auch tut. Schaden kann es sicher nicht. :)

Re: Robot Black List

Verfasst: 15.06.2015 22:14
von Dr.Death
Die RewriteRule ist keine robots.txt :geek: 8)

Re: Robot Black List

Verfasst: 15.06.2015 22:55
von waldkatze
Alternative in der .htaccess geht auch so:

# ahrefs.com (BOT) (Niederlande)
deny from 5.10.83
deny from 37.58.100

So blocke ich schon etliche Jahre alle Unerwünschten. Meine .htaccess ist inzwischen 0,5 MB groß aber ich habe Ruhe vor diesen Spinnern.
Wenn du ganze Länder blocken möchtest, guckst du hier: https://www.countryipblocks.net/country_selection.php

Re: Robot Black List

Verfasst: 17.06.2015 12:47
von Lonley
Vielen Dank für Eure Hilfe! :)