Bestimmte Gast Bots per .htaccess aussperren

[AYYILDIZLAR]

Hallo,

Ich stelle die letzten 14 Tage bei uns im Forum sehr viele Gast-Besuche von PixraySeeker fest. Die sind andauernd da und halten sich nicht immer an die robots.txt. Dieser Gast ist mir persönlich inzwischen lästig, diesen über IP zu Sperren bringt rein gar nichts. Den die Verfügen anscheinend über 1000'de von verschiedenen Servern mit verschiedenen IP Adressen. Jetzt habe ich die letzten Tage mal gegoogelt und ein wenig über diesen Gast versucht rauszufinden. Über den Job von diesem Gast will ich gar nicht reden, ist auch nicht das Problem. Was mir einfach gegen den Strich geht, ist das sie sich nicht an die robots.txt halten und das sie mir meine Besucherstatistiken durcheinander bringen. Ich würde gerne dieses unterbinden. Wie gesagt, ich habe mich da die letzten Tage ein wenig über Google durchgelesen und einige Beiträge gelesen, wo es inzwischen zig andere Foren bzw Blogs usw genauso ergeht. Hier ein für mich wichtiger Beitrag über diese Problematik Crawler Terror.
Ich würde gerne dieses auch bei uns im Forum anwenden und zwar per htaccess. Ich wollte jetzt die Lösung per .htacces vom Blogeigentümer hier nicht reinposten, da ich nicht weiß ob das ok wäre.
Nur ich weiß nicht genau, wo diese .htaccess datei abgelegt wird. Die Kommentarmöglichkeiten zu dem Beitrag sind auch eingestellt.
Nun meine Frage an die Code-Spezialisten oder an die wo das Problem auf eine andere Art gelöst haben bzw eine Lösung für phpBB3 Foren hätten. Wie kann man dieses Gast Crawler Problem lösen bzw den Zugang zum Forum unterbinden? Also wie könnte so ein Code aussehen um dem Gast Bot den Zugang zu verweigern?
Es wäre schön, wenn mir da jemand ein Lösungsweg zeigen könnte.

Grüße aus dem leicht verregneten Spessart

[BNa]

Ab hier lesen: viewtopic.php?p=1260742#p1260742

[Mahony]

Hallo
Schon gelesen? --> http://www.barrierefreie-webloesungen.d ... schutz.php

Grüße: Mahony

[BNa]

Die sind andauernd da und halten sich nicht immer an die robots.txt.

In dem von mir verlinkten Topic wird ferner klar, das es auch genügend Bots gibt, die sich garnicht daran halten.

[modernist]

Ich kann nur den Schutz per htaccess empfehlen.
Ich habe einmal diverse IP-Bereiche von Hetzner geblockt (die sind schließlich kein ISP) und zusätzlich noch den Useragent, nachdem mir dieser Bot vor einiger Zeit auch mal auffiel. Mit den hier genannten IPs für Piraxy sähe es so aus:

Code: Alles auswählen

order deny,allow
deny from 46.4.0.0/16
deny from 176.9.0.0/16
deny from 188.40.0.0/16
deny from 78.46.0.0/15
deny from 88.198.0.0/16

RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} "Pixray-Seeker" [NC]
RewriteRule ^.*$ - [F,L]

Wer sich nicht benimmt, wird eben gesperrt. Basta!

[AYYILDIZLAR]

Hallo,

@BNa
Danke für den Link mit dem tollen Beitrag von euch. Bei dem Beitrag sehe ích nur, das etwas in includes/functions.php eingefügt wird und gut ist. Der ungewünschte "Gast" kriegt nur den leeren Inhalt(was heißt bitte der leere Inhalt?)angezeigt? Aber wo bitte trage ich den Gast bzw Bot ein z.B. PixraySeeker? Muss man nicht den Gast in dem Fall PixraySeeker mit dem Namen erstmal irgendwo benennen, das dieser auch dann erkannt wird und der leere Inhalt angezeigt wird.

@Mahony
Ich war zwar auf der selben Seite von dem netten Herrn, wo ich die ganzen Infos habe doch den Link hatte ich noch nicht. Vielen Dank für den Hinweis, werde ich mir später daheim in Ruhe mal durchlesen.

@modernist
Ich hatte ja auch an einen Schutz per .htaccess gedacht, da ich bei Google fast nur erfolg versprechende Lösungen mit .htaccess gefunden habe. Meine Frage - wird dann dieser .htaccess Datei einfach im root als .htaccess abgelegt mit dem Inhalt der Code Dateien von dir? Ich denke mal, das dann bei Bedarf die neuen IP's einfach dran gehongen werden.

Grüße aus dem Spessart

[modernist]

Ja, die htaccess kommt direkt unter root/. Eigentlich solltest du da auch schon eine haben, die du dann entsprechend ergänzen kannst.
Weiter IPs mit deny from an den Block ranhängen, wobei dieser Block recht am Anfang vor irgendwelchen umfangreichen Rewrite-Regeln stehen sollte.
Wenn du Rewrite-Conditions ergänzt, und die alle die gleiche RewriteRule haben, dann vergiß nicht ein ,OR, außer bei der letzten Bedingung. Also z.B.:

Code: Alles auswählen

RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} "Pixray-Seeker" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} badbot [NC]
RewriteRule ^.*$ - [F,L]

Du kannst die Standard 403-Meldung des Servers ausgeben lassen oder aber du ergänzt noch selbst einen Text:

Code: Alles auswählen

ErrorDocument 403 "You have no power here! Begone, before somebody drops a house on you."

Du kannst natürlich auch auf die piraxy-Seite umleiten oder sonstwohin.

[BNa]

Aber wo bitte trage ich den Gast bzw Bot ein z.B. PixraySeeker? Muss man nicht den Gast in dem Fall PixraySeeker mit dem Namen erstmal irgendwo benennen, das dieser auch dann erkannt wird und der leere Inhalt angezeigt wird.

Ist alles in dem sehr einfachen Code (mein gesetzter Link) für die functions.php beschrieben, bzw. geht daraus hervor.
Einfach einen Teil des User Agents, wie er Dir als Admin unter Wer ist online? angezeigt wird, eintragen.
Hier nochmal als Beispiel. Leerer Inhalt heisst keinen Inhalt > Leer.

Öffne

includes/functions.php

Finde

Code: Alles auswählen

/**
* @ignore
*/
if (!defined('IN_PHPBB'))
{
    exit;
}  

Dahinter füge ein

Code: Alles auswählen

// no Pixray
$useragent = @$_SERVER['HTTP_USER_AGENT'];

if (strchr($useragent,'Pixray'))
{ 
     exit;
}
// no Pixray     

Der Code ist so einfach, wie es nur sein kann und heisst übersetzt:
Wenn der Name des User Agents das Wort Pixray enthält, parse kein weiteres php.

[AYYILDIZLAR]

Hallo,

Vielen lieben dank an euch zwei für eure ausführliche Erklärung um für mein Problem mit dem "Gast" eine Lösung zu finden.

Ich habe mich letzten Endes dazu entschlossen den Code einzufügen. Obwohl ich von Anfang an sehr viel über .htaccess gelesen habe und ehrlich gesagt diesen auch umsetzen wollte, entschloss ich mich doch den Code in der includes/functions.php einzufügen.
Warum ich das tat, kann man eigentlich von meinem ersten Posting rauslesen

Dieser Gast ist mir persönlich inzwischen lästig, diesen über IP zu Sperren bringt rein gar nichts. Den die Verfügen anscheinend über 1000'de von verschiedenen Servern mit verschiedenen IP Adressen

Da ich mir gerne die Arbeit ersparen würde, immer wieder neu auftretende IP's von dem "Gast" nachträglich in die .htaccess eintragen zu müssen, habe ich jetzt die includes/functions.php bearbeitet und den Code eingefügt. So erhoffe ich mir das der "Gast" wo den Namen Pixray trägt immer wieder ins Niemandsland (leere Seite) weitergeleitet wird.
Wie gesagt, recht herzlichen Dank an euch. Danke

Grüße aus dem Spessart wo langsam aber sicher aus dem Winterschlaf erwacht

[darkonia]

danke BNA für den Tip, genau der gleiche Crawler hat mich nun auch einige Tage genervt und dein Code hilft sehr