[3.3] Ungewünschte Besucher-Rekorde

[LukeWCS]

Ich habe aktuell die Statistik der User Agents meines Forums ausgewertet und dabei ein für mich bisher unbekanntes Verhalten entdeckt. Der komplette User Agent String lautet:

"Mozilla/5.0 (compatible; crawler)"

Von diesem gingen in den letzten 30 Tagen 71k Hits aus. Also habe ich mir das Access Log eines Tages angeschaut und festgestellt, dass dieser gezielt die Downloads von phpBB ansteuert und sonst nichts anderes. Zuerst dachte ich, dass da ein Bot aggressiv alle Downloads sammelt, derer er habhaft werden kann. Dann fiel mir auf, das manche Downloads mehrfach aufgerufen wurden und ich habe meine Suche über alle 30 Tage ausgeweitet und dabei hat sich herausgestellt, dass die erfolgreichen Downloads tatsächlich jeden Tag zigfach neu geholt werden.

Somit ist klar, dass das kein Bot ist der DLs sammelt (jedenfalls nicht als einzigen Zweck), sondern hier effektiv versucht wird, die Seite zu stören.

[chris1278]

Man könnte es versuchen mittels Cloudflare.

Allerdings geht das nur wenn man auch den Namensserver der Domain ändern kann. Dies muss man zwangsläufig beim Provider machen wo die Domain registriert ist.

Die meisten Provider die Webspace mit frei Auswählbarer Domain anbieten können das. Das geht leider nicht via Forum selber.

Der Vorteil ist das die Anfragen über einen Cloudflare Server laufen und man darüber steuern kann welche bots die seite sehen oder nicht.

[Steve Wuppertal]

Keine Frage, mittels Cloudflare oder vergleichbaren Diensten sicherlich bequem lösbar...
Allerdings ist dann auch eine Änderung der Datenschutzrichtlinie erforderlich (welcher alle User zustimmen müssen, wenn sie weiter mitspielen wollen) und die User (natürlich auch der Admin) müssen damit klarkommen, das z.B. auch die PNs über einen US-Server laufen und dort ggf. mitgeschnitten werden

Wenn es auch ohne Proxy-Dienst geht, versuche ich das erst mal...
Cloudflare wäre für mich das letzte Mittel.

[hydroman]

Hallo zusammen,

ich habe im Moment das gleiche Problem, das im Moment Bots mein Forum "überrennen".
Leider war das so schlimm geworden, dass mein Provider meine Domain vorübergehend gesperrt hat.
Ich habe die Sperrung aufheben dürfen, aber nach nicht einmal 24h kam es zum selben Effekt.
Im Moment ist mein Forum (phpBB Version 3.3.15) deaktiviert um eine weitere Sperrung von meinem Provider zu umgehen.

Ich habe nun hier viel nachgelesen, aber außer das mir nun der Kopf raucht, bin ich noch nicht wirklich weitergekommen.

Es fällt zwar immer der Begriff "Cloudflare" aber da ja die IP-Adresse von meinem Forum bereits bekannt ist, wird Cloudflare mir im Moment nicht weiterhelfen... außer ich bekomme einen neue IP-Adresse für den Server, wovon ich aber nicht ausgehe.
Auch die Einwände von "Steve Wuppertal" sind nicht von der Hand zu weisen. Ich würde es auch gerne erst einmal anders lösen bevor ich auf Cloudflare zurückgreifen muss...

Ich gebe es zu, ich bin nicht gerade "Fit" was die Bearbeitung von PHP-Skripten und der .htaccess angeht.
Daher bitte ich Euch um Euer Verständnis wenn ich hier einige "Dumme" Fragen stellen sollte...

Was kann ich denn am besten machen, damit ich mein Forum wieder "online" bringen und die SPAM-Welle zumindest soweit unter Kontrolle bringen kann, ohne das mein Forum wieder vom Provider gesperrt wird?

Ich habe auch mal etwas von dem Projekt "Honey Pot" gelesen. Würde das denn etwas bringen?

[Steve Wuppertal]

Wenn du Cloudflare nutzen möchtest, dann leitest du quasi den Traffic zwischen deinen Besuchern und deinem Server über Cloudflare um.
Cloudflare filtert dann die Anfragen und sortiert die Bots aus.
Ob die IP deines Servers bekannt ist oder nicht, spielt dabei keine Rolle.

Vorteil: Du hast vermutlich mit relativ wenig Aufwand ruhe vor den KI-Bots
Nachteil: Alles was dein Server ausliefert, wird über CLoudflare geleitet (US-Server mit Standort USA).
Da dies auch die Privaten Nachrichten betrifft, ist hier eine Anpassung der Datenschutzrichtlinie, sowie der Zustimmung deiner User und der Abschluss einer Datenschutzvereinbarung bzw. Auftragsdatendingsbums... zwingend erforderlich !

PS: Neben den oben von mir genannten "Alternativen", gibt es auch noch: https://www.phpbb.com/community/viewtopic.php?t=2662765
(ob das gut oder schlecht ist, kann ich nicht sagen... hab es noch nicht getestet)


Um dein Forum wieder online zu bringen:
- .htaccess anpassen und dort alle User-Agents älterer Browser-Versionen aussperren (Edge, Chrome, Firefox), sowie die bekannten Bots aussperren
- eine Extension installieren, welche zumindest dafür sorgt, das die Bots sich nicht zu lange in deinem Forum austoben und die Serverlast nicht über Tage hinweg am Limit halten
Bsp.: https://www.phpbb.com/customise/db/exte ... _to_guest/ (Nur die ersten 3 Beiträge für Gäste und Bots lesbar machen)

Ungetestet (könnte ggf. helfen):
https://www.phpbb.com/community/viewtopic.php?t=2664637
https://www.phpbb.com/community/viewtopic.php?t=2662765


Was helfen würde, wäre eine Extension, welche die maximalen Zugriffe eines Besuchers (Gast, Bot, KI-Crawler) auf das Forum (pro Tag) limitiert.
Hab so etwas mal in einer andern Forensoftware gesehen...
Nach einer bestimmten Anzahl an Beitragsaufrufen bzw. Themenaufrufen (z.B. 5) war schluss und man musste sich registrieren oder nach 24 Stunden wieder kommen.
Das würde zumindest dafür sorgen, das die KI-Bots gezwungen sind sich permanent innerhalb kürzester Zeit eine andere IP, einen anderen User-Agent zu verschaffen (und irgendwann sind die mit ihren Möglichkeiten am Ende..)
Gleichzeitig würde ein KI-Bot so zumindest etwas eingebremst.

[Joe Kolade]

Ungetestet (könnte ggf. helfen):
https://www.phpbb.com/community/viewtopic.php?t=2664637

Stop Bad Bots habe ich über einen Zeitraum von fast vier Wochen getestet. Ich stand auch im Kontakt zum Autor Chico Gois, um diverse Probleme zu erörtern. Leider ist die Erweiterung relativ fehlerbehaftet. In seiner letzten Antwort hat mir Chico Gois mitgeteilt, das Projekt - also Stop Bad Bots vorerst auf Eis zu legen.

Ich habe auch mal etwas von dem Projekt "Honey Pot" gelesen. Würde das denn etwas bringen?

Weitere Infos hierzu findet man unter https://www.phpbbguru.net/community/vie ... hp?t=52187

Gruß Joe

[hydroman]

Ob die IP deines Servers bekannt ist oder nicht, spielt dabei keine Rolle.

Ich meinte damit auch, dass die IP-Adresse im Moment noch bei den SPAM-Bots bekannt sind und somit an Cloudflare vorbei weiterhin auf mein Forum zugreifen können ...

Nachteil: Alles was dein Server ausliefert, wird über CLoudflare geleitet (US-Server mit Standort USA).
Da dies auch die Privaten Nachrichten betrifft, ist hier eine Anpassung der Datenschutzrichtlinie, sowie der Zustimmung deiner User und der Abschluss einer Datenschutzvereinbarung bzw. Auftragsdatendingsbums... zwingend erforderlich !

Das ist ja genau das, was mich noch von Cloudflare abhält. Das und noch einige Gründe mehr, aber das tut hier nichts zur Sache.

Ich werde mal versuchen die .htaccess anzupassen.

Wenn die Extension "Stop Bad Bods" auf Eis liegt, brauche ich mir dann ja erstmal keine Gedanken darüber zu machen.
Schade, aber nun ja.

Ich werde mir mal die Extension "AnubisBB" anschauen. Vielleicht ist das ja was ...

Danke erst einmal für Eure Rückmeldungen.

[Steve Wuppertal]

Ich meinte damit auch, dass die IP-Adresse im Moment noch bei den SPAM-Bots bekannt sind und somit an Cloudflare vorbei weiterhin auf mein Forum zugreifen können ...

Ja nö...
Du teilst Cloudflare ja nicht deine URL mit, sondern du leitet den Traffic vom Server direkt über Cloudflare (du musst Cloudflare als Umleitung direkt bei deinem Hoster hinterlegen / eintragen).
Von daher läuft jeder Zugriff auf den Webserver zwangsweise über Cloudflare.
Das ist eben ein Reverse-Proxy-Dienst.

[chris1278]

Aber hier ist das Problem. Wie willst du den Benutzer da um Erlaubnis fragen! Das Einzige, was man da machen kann, ist den Benutzer mitteilen, dass die Webseite über Cloudflare geht.

[Steve Wuppertal]

Zum Beispiel mit dieser Extension https://github.com/phpbb-de/phpbb-ext-tou
Mit der kannst du deine Datenschutzrichtlinie und die Nutzungsbedingungen editieren, sowie eine Art Versionierung hinterlegen (jeder user, welcher der neuesten Version noch nicht zugestimmt hat, muss dies tun um weiter am Forum teilnehmen zu können).