Seite 1 von 2

[3.3] Eingetragene neue Bots haben mein Forum fast lahm gelegt

Verfasst: 05.06.2026 06:43
von Tommy Herrmann
Moin,

Ich hatte zunehmend Probleme mit meinem Forum:

https://www.mobirise-tutorials.com/Forum/

… nachdem ich die unten aufgeführten Bots in meinem Forum zusätzlich eingetragen hatte, sodass diese eben auch als "Mitglieder" sichtbar wurden, wenn sie aktiv waren.

Name → Eingetragen als

ChatGPT [Bot] → GPTBot
Apple AI [Bot] → Applebot
OpenAI [Bot] → ChatGPT-User
TikTok [Bot] → Bytespider
Claude [Bot] → ClaudeBot
Meta-Platforms [Bot] → Meta-ExternalAgent
Perplexity AI [Bot] → PerplexityBot

Hier ein Screenshot meiner Spider-Bots:
https://www.mobirise-tutorials.com//ima ... iviert.jpg

Einer oder mehrere dieser Bots haben die Performance von meinem Forum derartig verlangsamt, dass eine Benutzung fast unmöglich wurde - bis hin zum kompletten Versagen des Seitenaufrufs.

Gestern habe ich die oben genannten Bots alle entfernt (deaktiviert) und das Forum war sofort wieder blitzschnell.

Ich habe noch etwa 20 weitere registrierte Bots im Forum. Diese sind jedoch schon immer vorhanden, wurden von der Software standardmäßig angelegt und haben nie Probleme verursacht.

Eigentlich sollte das doch egal sein, ob diese Bots mein Forum als "Gäste" oder als eingetragene "Bots" crawlen. Anscheinend gibt es aber einen entscheidenden Unterschied, der das verursacht hat.

Hat jemand eine Idee dazu?

Re: [3.3] Eingetragene neue Bots haben mein Forum fast lahm gelegt

Verfasst: 05.06.2026 10:26
von Kirk
Hallo
Warum blockst du diese nicht in der .htacces z. B. damit: https://phpbb.hifikabin.me.uk/viewtopic.php?p=324#p324 oder du inst. dir diese EXT: https://www.phpbb.com/community/viewtopic.php?t=2662765

Re: [3.3] Eingetragene neue Bots haben mein Forum fast lahm gelegt

Verfasst: 05.06.2026 11:52
von Tommy Herrmann
Ja - vielen Dank für die Hinweise.

Der eigentlich Grund, warum das reine Deaktivieren dieser Bots im Adminbereich der Software genau diese Bots ausgesperrt hat, würde mich aber interessieren.

Eigentlich dürfte das doch gar keine Auswirkungen haben. Ist diese Spiders/Robots Liste nicht nur zur Anzeige gedacht? Sie hat aber, wie jetzt erwiesen, auch einen Einfluss auf das Crawlen.

Aktiviere ich die oben genannten Bots verlangsamt sich meine Performance sofort. Da muss doch ein Bug der Software vorliegen?!


Ich habe die LOG Datei vom 02.06.2026 mal an ChatGPT geschickt und diese Antwort (Auszug) erhalten:

ChatGPT hat geschrieben:
Ja. In dieser IONOS-LOG-Datei ist der wahrscheinlichste Übeltäter GPTBot / OpenAI, nicht Claude, Perplexity, Meta oder TikTok.

Die Datei umfasst den 02.06.2026 von 00:00 bis 23:59 Uhr und enthält insgesamt ca. 74.254 Requests, davon ca. 35.212 auf /Forum/.

Auffällige Bots im Forum
Bot / User-Agent-Gruppe Requests im Forum Einschätzung
GPTBot / OpenAI 5.751 klar auffälligster AI-Bot
Aranet-SearchBot 2.970 ebenfalls sehr stark
SERankingBacklinksBot 2.451 sehr stark, aber kein AI-Bot aus Deiner Liste
Applebot 1.408 auffällig, aber deutlich weniger als GPTBot
ClaudeBot 159 eher unkritisch in dieser Datei
TikTok / Bytespider 150 eher unkritisch fürs Forum
Meta / Facebook 17 unkritisch
PerplexityBot 3 unkritisch

Mein Fazit aus genau dieser Datei:

Wenn einer Deiner neu eingetragenen AI-Bots das Forum ausgebremst hat, dann war es sehr wahrscheinlich GPTBot, also der OpenAI/GPTBot-Eintrag.

Warum GPTBot auffällt

GPTBot hat nicht nur viele Requests gemacht, sondern auch ungünstige phpBB-Bereiche aufgerufen:

/Forum/search.php 1.210 Requests
/Forum/ucp.php 909 Requests
/Forum/app.php/help/faq 632 Requests
/Forum/app.php/feed/topics 619 Requests
/Forum/memberlist.php 546 Requests
/Forum/viewtopic.php 513 Requests

Re: [3.3] Eingetragene neue Bots haben mein Forum fast lahm gelegt

Verfasst: 05.06.2026 14:15
von LukeWCS
Hallo Tommy
Tommy Herrmann hat geschrieben: 05.06.2026 06:43 Eigentlich sollte das doch egal sein, ob diese Bots mein Forum als "Gäste" oder als eingetragene "Bots" crawlen.
Nein. Hast du dich noch nie gefragt, wozu die Gruppe "Bots" innerhalb der Berechtigungen dient? Ein Bot ist etwas anders als ein Gast und beide werden von phpBB auch unterschiedlich gehandhabt.
Tommy Herrmann hat geschrieben: 05.06.2026 11:52 Ist diese Spiders/Robots Liste nicht nur zur Anzeige gedacht?
Nein, die Anzeige ist lediglich eine sekundäre Eigenschaft. Der primäre Zweck der Kategorisierung der Bots ist Steuerung und Kontrolle.
Tommy Herrmann hat geschrieben: 05.06.2026 11:52 Aktiviere ich die oben genannten Bots verlangsamt sich meine Performance sofort. Da muss doch ein Bug der Software vorliegen?!
Es ist nicht gleich ein Bug bei phpBB vorhanden, wenn sich das mal nicht so verhält, wie man erwartet. Wäre das tatsächlich ein generelles Problem, hätten das tausende andere auch und es gäbe sowohl hier als auch auf .com entsprechende viele Meldungen dazu. Und ich habe in meinem LB übrigens aktuell über 100 Bots eingetragen.

Grundsätzlich gilt bei Bots:
  • Wird ein Bot nicht als solcher bei phpBB eingetragen, hat man über ihn keine Kontrolle.
  • Wird ein Bot bei phpBB gelöscht, verliert man die Kontrolle über ihn.
  • Wird ein Bot bei phpBB deaktiviert, verliert man die Kontrolle über ihn.
In allen 3 Fällen wird ein Bot dann als Gast behandelt.

Warum das bei dir sofort solche Auswirkungen hat, muss man klären. Denn das exakte Gegenteil von dem was du hier beschreibst wäre normal: in dem Moment wo ein Bot gelöscht oder deaktiviert wird, verliert man die Kontrolle über ihn und das kann sich dann negativ auf die Performance auswirken.

Was mir aber bei dir schon mal aufgefallen ist: ich habe mich mal als Bot ausgegeben und mir dein Forum angeschaut. Ein Bot kann bei dir zusätzlich die folgenden 4 Kategorien und Foren (in gekürzter Form) sehen und hat dafür auch alle lesenden Zugriffsrechte:

Neue Mitglieder - New Members
> Vorstellungen...
Vorstellung Eurer Projekte > Meine Seite vorstellen
> Meine...
Job-Angebote
> Angebote...
Off Topic
> Plauderkasten...

Das ist sicher so nicht gedacht gewesen, oder? Du solltest dir also mal die besagten Kategorien und Foren genauer anschauen, da gewährst du Bots mehr Rechte als Gästen.

Re: [3.3] Eingetragene neue Bots haben mein Forum fast lahm gelegt

Verfasst: 05.06.2026 14:36
von Tommy Herrmann
Danke für eure Hilfe !!!

Nein - das ist so eigentlich nicht gewollt und schluckt sicher auch Perfomance.

Ehrlich gesagt habe ich mich um die Bots noch nie gekümmert, nur habe ich in letzter Zeit enorm viele "Besucher" - manchmal über 19.000 innerhalb von 10 Minuten.

Ich hatte eben vor einiger Zeit gedacht, dass man heutzutage vielleicht die wichtigen KI Bots mit aufnehmen sollte und dann hat ChatGPT das bei mir verursacht.

Ich kann mich nicht entsinnen für die Bots irgendetwas eingestellt zu haben. Ich denke ich habe das so übernommen, wie es per Default damals (im Jahr 2020) eingestellt war.

Ich habe gerade schon geguckt, finde aber wohl nicht die richtige Stelle. Wie und wo (ganz genau bitte) müsste ich die Bots denn aus diesen Bereichen aussperren?

Re: [3.3] Eingetragene neue Bots haben mein Forum fast lahm gelegt

Verfasst: 05.06.2026 14:54
von Wolkenbruch
Ich möchte hier gerne meine aktuelle, für Hostinger (LiteSpeed) optimierte .htaccess teilen. Ich hatte in der Vergangenheit mit erheblichem Bot-Traffic zu kämpfen und konnte diesen mit den folgenden Regeln und IP-Sperren (u. a. Stop Forum Spam Toxic IPs, veraltete Browser-Scraper und Alibaba-Netzwerke) vollkommen reduzieren.

Die Konfiguration läuft bei mir stabil unter phpBB 3.3.16 und beinhaltet zudem wichtige Sicherheits-Header. Denkt bitte daran, bei einer Übernahme die Platzhalter-Domain muster.com durch eure eigene Domain zu ersetzen.

Vielleicht hilft es dem einen oder anderen, sein Forum ebenfalls etwas abzusichern. Feedback oder Ergänzungen sind natürlich gerne gesehen.

Code: Alles auswählen

# Hostinger / LiteSpeed – optimierte .htaccess (Mai 2026 - Stable)
# Für phpBB 3.3.16 auf Hostinger Business (Server Litauen)
# Schutz gegen Bot-Attacken + Sicherheits-Header

RewriteEngine On

# === Leere User-Agents sofort stoppen ===
RewriteCond %{HTTP_USER_AGENT} ^$
RewriteRule ^ - [F,L]

# === Scraper-Blocker ===
SetEnvIfNoCase User-Agent "googlebot" ALLOW_GOOGLE=1
SetEnvIfNoCase User-Agent "bingbot" ALLOW_BING=1
SetEnvIfNoCase User-Agent "Googlebot-Mobile" ALLOW_GOOGLE=1

# Block alles unter Chrome/130 mit Integer-Vergleich
RewriteCond %{HTTP_USER_AGENT} "Chrome/([0-9]+)\." [NC]
RewriteCond %1 -lt130
RewriteRule ^ - [F,L]

# AhrefsBot blockieren
RewriteCond %{HTTP_USER_AGENT} ahrefsbot [NC]
RewriteRule ^ - [F,L]

# === HTTPS + www erzwingen ===
RewriteCond %{HTTPS} off [OR]
RewriteCond %{HTTP_HOST} ^muster\.com$ [NC]
RewriteRule ^(.*)$ https://www.muster.com/$1 [R=301,L]

# === Sicherheits-Header ===
<IfModule mod_headers.c>
    Header always set Strict-Transport-Security "max-age=31536000; includeSubDomains; preload"
    Header always set X-Content-Type-Options "nosniff"
    Header always set X-Frame-Options "SAMEORIGIN"
    Header always set Referrer-Policy "strict-origin-when-cross-origin"
    Header always set Permissions-Policy "geolocation=(), microphone=(), camera=(), interest-cohort=(), fullscreen=(self), payment=()"
    Header always set Content-Security-Policy "default-src 'self'; img-src * data:; style-src 'self' 'unsafe-inline'; script-src 'self' 'unsafe-inline' 'unsafe-eval'; frame-src 'self' https://www.youtube.com https://youtube.com https://player.vimeo.com; connect-src 'self'"
</IfModule>

# Kein Caching von PHP-Dateien
<FilesMatch "\.php$">
    Header always set Cache-Control "no-cache, no-store, must-revalidate"
    Header always set Pragma "no-cache"
    Header always set Expires "0"
</FilesMatch>

# === Schutz sensibler Dateien ===
<Files ~ "^(config\.php|common\.php|composer\.json|composer\.lock)$">
    Require all denied
</Files>

# === phpBB SEO-URLs ===
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)$ app.php [QSA,L]

# === Stop Forum Spam Toxic IPs ===
<IfModule mod_authz_core.c>
    Require all granted
    Require not ip 5.9.182.96/28
    Require not ip 5.188.48.0/24
    Require not ip 5.188.210.0/23
    Require not ip 23.106.64.0/19
    Require not ip 23.106.192.0/20
    Require not ip 45.204.209.0/24
    Require not ip 46.118.115.0/24
    Require not ip 46.161.9.0/24
    Require not ip 46.161.11.0/24
    Require not ip 91.200.12.0/22
    Require not ip 91.210.104.0/22
    Require not ip 91.211.90.0/24
    Require not ip 103.81.182.0/24
    Require not ip 109.200.1.0/24
    Require not ip 109.200.2.0/23
    Require not ip 109.200.4.0/22
    Require not ip 109.200.8.0/21
    Require not ip 109.200.16.0/20
    Require not ip 146.185.223.0/24
    Require not ip 156.245.246.0/24
    Require not ip 176.227.192.0/19
    Require not ip 178.159.37.0/24
    Require not ip 185.177.72.0/24
    Require not ip 188.143.232.0/23
    Require not ip 188.143.234.0/24
    Require not ip 193.201.224.0/24
    Require not ip 194.26.29.0/24
    Require not ip 212.129.0.0/18
    Require not ip 216.131.114.0/24
    # Neu: Alibaba Cloud / ChinaNet
    Require not ip 47.79.0.0/16
    Require not ip 47.82.0.0/16
    Require not ip 47.88.0.0/16
    Require not ip 47.92.0.0/16
    Require not ip 47.94.0.0/16
    Require not ip 47.96.0.0/16
    Require not ip 47.98.0.0/16
    Require not ip 47.99.0.0/16
</IfModule>

# === Sonstiges ===
Options -MultiViews
Eine hervorragende Hilfe ist die Erweiterung Auto Purge Guest Sessions. Sie ist leicht zu handhaben und kann individuell eingestellt werden. Für mich persönlich, eine der besten Erweiterungen dieses Jahres für phpBB.

Re: [3.3] Eingetragene neue Bots haben mein Forum fast lahm gelegt

Verfasst: 05.06.2026 15:17
von Tommy Herrmann
Hallo,

Vielen Dank, ich werde mir Deine Datei sichern und bei Bedarf testen...

Re: [3.3] Eingetragene neue Bots haben mein Forum fast lahm gelegt

Verfasst: 05.06.2026 17:24
von LukeWCS
Tommy Herrmann hat geschrieben: 05.06.2026 14:36 Nein - das ist so eigentlich nicht gewollt und schluckt sicher auch Perfomance.
Trägt dazu bei, ja. Auf je mehr Foren/Themen die Bots zugreifen können, desto grösser natürlich die Last. Allerdings erklärt das trotzdem nicht, warum das bei dir solche gravierende Ausmasse annimmt, wenn du die besagten Bots aktiviert hast. Aber behebe erstmal das Rechte-Problem und dann sehen wir weiter. Gemacht werden muss es ja eh.
Ehrlich gesagt habe ich mich um die Bots noch nie gekümmert, nur habe ich in letzter Zeit enorm viele "Besucher" - manchmal über 19.000 innerhalb von 10 Minuten.
Das Problem ist schon seit Jahren und es trifft absolut jeden früher oder später. Genau darauf zielte Kirks erste Antwort ab und auch die von Wolkenbruch. Grundsätzlich gilt: es gibt keine ultimative perfekte Lösung die das massive Bot Problem per Knopfdruck löst. Da ist Handarbeit und regelmässige Pflege angesagt.
Ich kann mich nicht entsinnen für die Bots irgendetwas eingestellt zu haben. Ich denke ich habe das so übernommen, wie es per Default damals (im Jahr 2020) eingestellt war.
Naja nicht so ganz. Wenn du ein Forum erstellst, wird das ja nicht mit "Default" Berechtigungen bestückt, sondern du selbst musst Gruppen hinzufügen. Wenn da also die Bots Gruppe vorhanden ist, dann hast du sie auch selber hinzugefügt. :wink:
Wie und wo (ganz genau bitte) müsste ich die Bots denn aus diesen Bereichen aussperren?
ACP > Berechtigungen > Forenrechte

Da musst du dir der Reihe nach bei allen 4 genannten Bereichen sowohl die Kategorie als auch das Forum auswählen und auf "Absenden" klicken. Dann entfernst du dort in "Gruppen verwalten" (obere rechte Box) ganz einfach die "Bots" Gruppe.

Re: [3.3] Eingetragene neue Bots haben mein Forum fast lahm gelegt

Verfasst: 06.06.2026 05:52
von Tommy Herrmann
Moin,

ja vielen Dank nochmals für die Hilfe.

An dieser Stelle vom ACP war ich tatsächlich schon ewig nicht mehr und ich denke ich habe die Bots jetzt auch da raus geworfen.

Ich bin wohl der Ansicht gewesen, dass es reicht diese Bereiche nur für Mitglieder zugänglich zu machen und dachte, dass Bots wie Gäste behandelt würden.

Die standen immer nur jeweils in der oberen Box - im Screenshot markiert - dort habe ich diese jetzt entfernt:

https://www.mobirise-tutorials.com/imag ... rechte.jpg

Das ist und war aber nicht wirklich mein Problem. Mein Problem habe ich ja auch bereits selbst gefunden und es hat sich vorläufig erledigt.


Das Problem trat auf, nachdem ich händisch diese Bots hinzugefügt hatte, von denen werde ich jetzt die Finger weglassen:


Name → Eingetragen als

ChatGPT [Bot] → GPTBot
Apple AI [Bot] → Applebot
OpenAI [Bot] → ChatGPT-User
TikTok [Bot] → Bytespider
Claude [Bot] → ClaudeBot
Meta-Platforms [Bot] → Meta-ExternalAgent
Perplexity AI [Bot] → PerplexityBot


Jetzt geht das Forum wieder blitzschnell und ich hatte auch mit dem Techniker von IONOS gesprochen und sie konnten auch keinerlei Auffälligkeiten mehr feststellen.

Ich wollte hier eben nur mitteilen was mir passiert ist und ich dachte, dass das ja eigentlich nur mit der Software im Zusammenhang stehen kann, denn das Entfernen (Deaktivieren) dieser Einträge aus der "Spiders/Robots" Liste hat ja auch unmittelbar (in 1-2 Minuten) gewirkt. Mit den oben genannten Bots hatte ich eine ganz schlechte Performance von durchschnittlich 9 Sekunden für einen Seitenaufruf bis hin zum Timeout. Nach dem Entfernen war die Performance eindeutig sofort wieder OK.

Re: [3.3] Eingetragene neue Bots haben mein Forum fast lahm gelegt

Verfasst: 06.06.2026 11:39
von LukeWCS
Tommy Herrmann hat geschrieben: 06.06.2026 05:52 An dieser Stelle vom ACP war ich tatsächlich schon ewig nicht mehr und ich denke ich habe die Bots jetzt auch da raus geworfen.
Kann ich bestätigen, die Bots "sehen" die 4 Unterforen jetzt nicht mehr in der Übersicht und haben dafür auch keine Berechtigungen mehr:
Information

Du hast keine Berechtigung, dieses Forum zu lesen.
So sollte das aussehen.
Ich bin wohl der Ansicht gewesen, dass es reicht diese Bereiche nur für Mitglieder zugänglich zu machen und dachte, dass Bots wie Gäste behandelt würden.
So hätte ich das auch gesehen, dass Unterforen die man nicht für Gäste zugänglich machen will, auch nicht für Bots zugänglich machen will. Aber so hast du es halt nicht eingerichtet.
Das ist und war aber nicht wirklich mein Problem.
Ich hatte ja auch nicht gesagt, dass das dein primäres Problem wäre, aber ich dachte ich erwähne es trotzdem, denn ich schätze mal du wirst nicht wollen, dass die Inhalte dieser 4 Unterforen sowohl von dir als auch deinen Benutzern in den Ergebnissen von Suchmaschinen wiedergefunden werden können. Wobei das jetzt eh schon passiert ist, das wird sich erst mit der Zeit erledigen.
Mein Problem habe ich ja auch bereits selbst gefunden und es hat sich vorläufig erledigt.
Nein Tommy, du glaubst du hättest das Problem gefunden, aber du hast lediglich ein Symptom bemerkt. Hast du dir mal deinen WIO Rekord angeschaut?
Wer ist online?
Insgesamt sind 86 Besucher online :: 2 sichtbare Mitglieder, 0 unsichtbare Mitglieder und 84 Gäste (basierend auf den aktiven Besuchern der letzten 10 Minuten)
Der Besucherrekord liegt bei 19192 Besuchern, die am So 17. Mai 2026, 21:36 gleichzeitig online waren.
Die letzte Zeile zeigt dein tatsächliches Problem. Und genau darauf waren die Antworten von Kirk und Wolkenbruch auch bezogen, aber du hast dich daran festgebissen, dass das Hinzufügen der Bots das Problem sein muss. Das war aber eher ein Zufall. Du hast genau dasselbe Problem, das wir alle haben.

Beispiel phpBB.de:
Der Besucherrekord liegt bei 24800 Besuchern, die am 24.05.2026 03:26 gleichzeitig online waren.
Beispiel phpBB.com:
Most users ever online was 66451 on Wed Jun 03, 2026 8:13 pm
Und so ähnlich sieht das bei den meisten aus und das auch nicht erst seit gestern. Weiterer Lesestoff zu der Problematik, damit du mal deren Umfang einschätzen kannst:

[3.3] Ungewünschte Besucher-Rekorde
What is going on? Is this some kind of widespread attack?
Ich wollte hier eben nur mitteilen was mir passiert ist und ich dachte, dass das ja eigentlich nur mit der Software im Zusammenhang stehen kann, denn das Entfernen (Deaktivieren) dieser Einträge aus der "Spiders/Robots" Liste hat ja auch unmittelbar (in 1-2 Minuten) gewirkt.
Ja, phpBB ist an der Serverlast natürlich beteiligt, ist aber in der Situation auch nur der Leidtragende, jedoch nicht der Verursacher.