[3.3] Ungewünschte Besucher-Rekorde

[cpg]

Moin,

ich weiß, es gibt einen alten Artikel mit einem ähnlichen Thema.
Die damals behandelten Probleme greifen bei mir nicht; denn ich stelle fest, dass es fast eine Explosion von "Lesenden Spammern" gibt bei mir im Forum.
Bisher waren Gruppen relativ einfach auszuschließen, aber es hat sich gewandelt, weil es eine Unzahl von verschiedenen IP-Adressen gibt und unter denen kein "gemeinsamer Nenner" zu finden ist - höchstens mal zwei oder drei.

Ich möchte euch gerne nach euren Erfahrungen fragen: erlebt ihr ähnliche Phänomene?
Wenn ja, wie seid ihr damit umgegangen?

Ich habe jetzt erstmal den lesenden Zugang für Gäste gesperrt, aber die Lesespammer tauchen immer noch auf.
So werde ich weiter tüfteln.

Gruß
cpg

[DocSommer]

Unser Forum spackt heute auch rum, zeigt oft nur ne weißte Seite (selbst mit Debug Modus).
Laut 1&1 Performance Monitor werden wir heute ziemlich überrannt, vermutlich crawlt da etwas aggresiv und sprengt die zur Verfügungh stehenden Kapazitäten unseres Hostings.

[ externes Bild ]

Zugang sperren bringt vermutlich nur begrenzt etwas, die Zugriffe von Bots/Crawlern kosten ja trotzdem Ressourcen.


Edit:

Ich hab jetzt mal ne frisierte htaccess im Einsatz:

https://phpbb.hifikabin.me.uk/viewtopic.php?p=324

Danke an hifikabin

AdHoc ändert es nix am Problem, mal schauen...

Edit2:

Hab auch mal die Robots.txt frisiert - die wurde zuletzt 2003 angefasst

Über 50% der Zugriffe stammen von GPT und Barkrowler. Ich hab jetzt nur noch Google und Bing erlaubt und hoffe, dass sich der Rest daran hält.

[LukeWCS]

@cpg

Das ist ein leider schon seit einiger Zeit anhaltendes, konstantes Problem und hat nach meinen bisherigen Erkenntnissen unter anderem mit höchst aggressiv operierenden KI Bots zu tun, die teilweise rücksichtslos alles crawlen, was sie erwischen können und dabei auch klare "Verbote" (wie robots.txt) munter ignorieren. Eine weitere vermutete Ursache sind gezielte Angriffe (Störungen).

Auch wir hier sind davon betroffen und Mungo musste schon mehrmals Gegenmassnahmen einleiten.

Hier einiger Lesestoff, das Thema (gestartet im Mai 2025) hat mittlerweile 35 Seiten.

What is going on? Is this some kind of widespread attack?

[DocSommer]

Oha, ich hab jetzt auch mal versucht eine Testdomain mit Cloudflare zu schützen, das klappt im Wesentlichen auch allerdings schmeißt mir Ionos dann das SSL Zertifikat raus..

Das SSL-Zertifikat kann nur für Domains genutzt werden, die IONOS-Nameserver verwenden. Um IONOS-Nameserver für xyz.net einzustellen, wählen Sie 'IONOS-Nameserver verwenden' im Bereich 'DNS-Einstellungen'.

[LukeWCS]

Hi Doc

Hab auch mal die Robots.txt frisiert - die wurde zuletzt 2003 angefasst

Diese Datei kann man getrost vergessen, was die ganzen kriminellen Aktivitäten angeht, da hilft das kein Bisschen. An diese Datei halten sich nur seriöse SuFu Bots. Und bei den seriösen Bots ist es auch nicht wirklich notwendig die hart auszusperren, weil die relativ resourcen-schonend vorgehen und das Crawling phasen- bzw- wellenweise durchführen. Im Gegensatz zu den KI Bots, die aggressiv vorgehen nach dem Motto: Alles scannen was ich in kürzester Zeit kriegen kann und nach mir die Sintflut. Trotzdem kann man natürlich auch die seriösen SuFu Bots aus bestimmten Ländern "höflich" per robots.txt abweisen, z.B. von Ländern die schlicht nicht zur eigenen Zielgruppe passen.

Über 50% der Zugriffe stammen von GPT und Barkrowler. Ich hab jetzt nur noch Google und Bing erlaubt und hoffe, dass sich der Rest daran hält.

Da ist meine bisherige Erfahrung, das solche Hitlisten etwas sehr individuelles und subjektives sind. Bei mir z.B. ist der mit Abstand schlimmste Bot Bytespider der mit riesigem Abstand vor allen anderen liegt. GPT kommt bei mir erst auf Platz 5 und ist im Vergleich zu anderen schon fast "kuschelig". Trotzdem produziert auch GPT bei weitem zuviel Traffic. Wäre es nur der alleine, würde der gar nicht auffallen. Aber die KI Bots sind halt gleich rudelweise unterwegs, weil jeder ein Stück vom Kuchen abhaben will und in der Summe ist das alles schlicht eine einzige massive Störung.

[cpg]

Moin,

selbst Heise hat das Thema der "Dezentraliserung" aufgegriffen:
Wikipedia: Bot-Traffic tarnt sich zunehmend als menschlich

Link zum Artikel: https://www.heise.de/news/Wikipedia-Bot ... 78492.html

Es ist schade, dass so viel Zeit in Abwehrarbeit investiert werden muss.

Gruß
cpg

[LukeWCS]

Ich weiß nicht, ob der Link zum Artikel hier erwünscht ist.

Spricht doch nichts dagegen, erst Recht nicht von so renommierten Institutionen wie Heise. Bei solchen Themen wie diesem hier, gehts ja darum Lösungen zu finden und da sind Infoquellen hilfreich. Dazu gehört auch das verlinkte .com Thema. Dort hat man auch noch kein ultimatives Werkzeug gefunden, das für alle geeignet ist. Selbst Cloudflare ist nicht immer und nicht für jeden eine Lösung, da es eben auch ggf. Hürden hat und für manche evtl. gar nicht in Frage kommt.

Es ist schade, dass so viel Zeit in Abwehrarbeit investiert werden muss.

Allerdings!

[Passat]

Das Problem habe ich auch.
Bei mir kommt ein Großteil dieser Zugriffe aus Brasilien und Vietnam.

Das ging so weit, das der php-Server ausgestiegen ist und das Forum nur noch einen Fehler 500 gemeldet hat.
Erst durch das Abschalten von php-boost (ein php-Cache) war das Forum wieder erreichbar.

Ich habe versucht, Länder per .htaccess zu sperren, aber anscheinend unterstützt der Provider diese .htaccess-Einträge nicht, denn die haben keine Wirkung.
Und über die IP-Adressen kann man es auch nicht sperren, denn dann wird die .htaccess so groß, das der Webserver die nicht mehr verarbeiten kann.

Angefangen hat der Kram so ca. November 2024, als die ersten KI-Maschinen online gegangen sind.
Insbesondere Perplexity kümmert sich einen Dreck um die robots.txt und Metaanweisungen in den .html-Dateien.
Und Perplexity tarnt sich als normaler Benutzer mit Standard Browserstrings und nutzt tausende von IP-Adressbereichen, sowohl IPv4 als auch IPv6.

Ich hoffe, das die KI-Blase platzt und diese ganzen Firmen pleite gehen!
Da die kein wirklich tragfähiges Geschäftsmodell für ihren Dreckskram haben, versuchen die, ihren Kram überall mit Gewalt rein zu drücken!

[Wolkenbruch]

@Passat:

Die Lösung habe ich im weiter oben verlinkten Thema bei phpBB.com gefunden. Das Mitglied @Blacktiger63 hat mir bei der Umsetzung geholfen.
Es war alles andere als einfach. Es funktioniert jetzt seit einigen Tagen ohne externe CDN!

Hier ⇨ findest du meine Lösung auf phpBB.com

[Steve Wuppertal]

habe bei mir über die .htaccess alle Chrome Versionen in User-Agents älter als Version 130 ausgesperrt (das war eine der Gemeinsamkeiten bei der KI-Bot Invasion).
Das hat nur 24 Stunden gedauert und die KI-Bot Flut hat den User-Agent auf Edge geändert (jeder Besucher der über 300 mit einer anderen Edge Version und unterschiedlichen Betriebssystemen).

Die wechseln den User-Agent schneller als du mit dem editieren der .htaccess nachkommst...

Leider bringen auch Extensions wie https://www.phpbb.com/customise/db/exte ... _to_guest/ keinen nachhaltigen Erfolg...
Habe bereits beobachtet wie ein KI-Bot innerhalb kürzester Zeit seinen User-Agent als googlebot getarnt hat um zum Beispiel die genannte Extension zu überwinden (i.d.R. gibt man dem Googlebot die Möglichkeit das Forum zu betreten und alle Beiträge zu indexieren).
Einziger Lichtblick ist, wenn sich der KI-Bot als Googlebot tarnt, kann er nur noch mit einer begrenzten Anzahl an Instanzen gleichzeitig agieren (der Googlebot ist ja in der Liste der Bots im Forum eingetragen.

In wie weit z.B. diese Extension "https://www.phpbb.com/community/viewtopic.php?t=2664637" hilfreich ist, kann ich noch nicht beurteilen (setzte sie nicht ein).