[3.3] Eingetragene neue Bots haben mein Forum fast lahm gelegt

[Tommy Herrmann]

Moin,

Ich hatte zunehmend Probleme mit meinem Forum:

https://www.mobirise-tutorials.com/Forum/

… nachdem ich die unten aufgeführten Bots in meinem Forum zusätzlich eingetragen hatte, sodass diese eben auch als "Mitglieder" sichtbar wurden, wenn sie aktiv waren.

Name → Eingetragen als

ChatGPT [Bot] → GPTBot
Apple AI [Bot] → Applebot
OpenAI [Bot] → ChatGPT-User
TikTok [Bot] → Bytespider
Claude [Bot] → ClaudeBot
Meta-Platforms [Bot] → Meta-ExternalAgent
Perplexity AI [Bot] → PerplexityBot

Hier ein Screenshot meiner Spider-Bots:
https://www.mobirise-tutorials.com//ima ... iviert.jpg

Einer oder mehrere dieser Bots haben die Performance von meinem Forum derartig verlangsamt, dass eine Benutzung fast unmöglich wurde - bis hin zum kompletten Versagen des Seitenaufrufs.

Gestern habe ich die oben genannten Bots alle entfernt (deaktiviert) und das Forum war sofort wieder blitzschnell.

Ich habe noch etwa 20 weitere registrierte Bots im Forum. Diese sind jedoch schon immer vorhanden, wurden von der Software standardmäßig angelegt und haben nie Probleme verursacht.

Eigentlich sollte das doch egal sein, ob diese Bots mein Forum als "Gäste" oder als eingetragene "Bots" crawlen. Anscheinend gibt es aber einen entscheidenden Unterschied, der das verursacht hat.

Hat jemand eine Idee dazu?

[Kirk]

Hallo
Warum blockst du diese nicht in der .htacces z. B. damit: https://phpbb.hifikabin.me.uk/viewtopic.php?p=324#p324 oder du inst. dir diese EXT: https://www.phpbb.com/community/viewtopic.php?t=2662765

[Tommy Herrmann]

Ja - vielen Dank für die Hinweise.

Der eigentlich Grund, warum das reine Deaktivieren dieser Bots im Adminbereich der Software genau diese Bots ausgesperrt hat, würde mich aber interessieren.

Eigentlich dürfte das doch gar keine Auswirkungen haben. Ist diese Spiders/Robots Liste nicht nur zur Anzeige gedacht? Sie hat aber, wie jetzt erwiesen, auch einen Einfluss auf das Crawlen.

Aktiviere ich die oben genannten Bots verlangsamt sich meine Performance sofort. Da muss doch ein Bug der Software vorliegen?!


Ich habe die LOG Datei vom 02.06.2026 mal an ChatGPT geschickt und diese Antwort (Auszug) erhalten:

Ja. In dieser IONOS-LOG-Datei ist der wahrscheinlichste Übeltäter GPTBot / OpenAI, nicht Claude, Perplexity, Meta oder TikTok.

Die Datei umfasst den 02.06.2026 von 00:00 bis 23:59 Uhr und enthält insgesamt ca. 74.254 Requests, davon ca. 35.212 auf /Forum/.

Auffällige Bots im Forum
Bot / User-Agent-Gruppe Requests im Forum Einschätzung
GPTBot / OpenAI 5.751 klar auffälligster AI-Bot
Aranet-SearchBot 2.970 ebenfalls sehr stark
SERankingBacklinksBot 2.451 sehr stark, aber kein AI-Bot aus Deiner Liste
Applebot 1.408 auffällig, aber deutlich weniger als GPTBot
ClaudeBot 159 eher unkritisch in dieser Datei
TikTok / Bytespider 150 eher unkritisch fürs Forum
Meta / Facebook 17 unkritisch
PerplexityBot 3 unkritisch

Mein Fazit aus genau dieser Datei:

Wenn einer Deiner neu eingetragenen AI-Bots das Forum ausgebremst hat, dann war es sehr wahrscheinlich GPTBot, also der OpenAI/GPTBot-Eintrag.

Warum GPTBot auffällt

GPTBot hat nicht nur viele Requests gemacht, sondern auch ungünstige phpBB-Bereiche aufgerufen:

/Forum/search.php 1.210 Requests
/Forum/ucp.php 909 Requests
/Forum/app.php/help/faq 632 Requests
/Forum/app.php/feed/topics 619 Requests
/Forum/memberlist.php 546 Requests
/Forum/viewtopic.php 513 Requests

[LukeWCS]

Hallo Tommy

Eigentlich sollte das doch egal sein, ob diese Bots mein Forum als "Gäste" oder als eingetragene "Bots" crawlen.

Nein. Hast du dich noch nie gefragt, wozu die Gruppe "Bots" innerhalb der Berechtigungen dient? Ein Bot ist etwas anders als ein Gast und beide werden von phpBB auch unterschiedlich gehandhabt.

Ist diese Spiders/Robots Liste nicht nur zur Anzeige gedacht?

Nein, die Anzeige ist lediglich eine sekundäre Eigenschaft. Der primäre Zweck der Kategorisierung der Bots ist Steuerung und Kontrolle.

Aktiviere ich die oben genannten Bots verlangsamt sich meine Performance sofort. Da muss doch ein Bug der Software vorliegen?!

Es ist nicht gleich ein Bug bei phpBB vorhanden, wenn sich das mal nicht so verhält, wie man erwartet. Wäre das tatsächlich ein generelles Problem, hätten das tausende andere auch und es gäbe sowohl hier als auch auf .com entsprechende viele Meldungen dazu. Und ich habe in meinem LB übrigens aktuell über 100 Bots eingetragen.

Grundsätzlich gilt bei Bots:

• Wird ein Bot nicht als solcher bei phpBB eingetragen, hat man über ihn keine Kontrolle.
• Wird ein Bot bei phpBB gelöscht, verliert man die Kontrolle über ihn.
• Wird ein Bot bei phpBB deaktiviert, verliert man die Kontrolle über ihn.

In allen 3 Fällen wird ein Bot dann als Gast behandelt.

Warum das bei dir sofort solche Auswirkungen hat, muss man klären. Denn das exakte Gegenteil von dem was du hier beschreibst wäre normal: in dem Moment wo ein Bot gelöscht oder deaktiviert wird, verliert man die Kontrolle über ihn und das kann sich dann negativ auf die Performance auswirken.

Was mir aber bei dir schon mal aufgefallen ist: ich habe mich mal als Bot ausgegeben und mir dein Forum angeschaut. Ein Bot kann bei dir zusätzlich die folgenden 4 Kategorien und Foren (in gekürzter Form) sehen und hat dafür auch alle lesenden Zugriffsrechte:

Neue Mitglieder - New Members
> Vorstellungen...
Vorstellung Eurer Projekte > Meine Seite vorstellen
> Meine...
Job-Angebote
> Angebote...
Off Topic
> Plauderkasten...

Das ist sicher so nicht gedacht gewesen, oder? Du solltest dir also mal die besagten Kategorien und Foren genauer anschauen, da gewährst du Bots mehr Rechte als Gästen.

[Tommy Herrmann]

Danke für eure Hilfe !!!

Nein - das ist so eigentlich nicht gewollt und schluckt sicher auch Perfomance.

Ehrlich gesagt habe ich mich um die Bots noch nie gekümmert, nur habe ich in letzter Zeit enorm viele "Besucher" - manchmal über 19.000 innerhalb von 10 Minuten.

Ich hatte eben vor einiger Zeit gedacht, dass man heutzutage vielleicht die wichtigen KI Bots mit aufnehmen sollte und dann hat ChatGPT das bei mir verursacht.

Ich kann mich nicht entsinnen für die Bots irgendetwas eingestellt zu haben. Ich denke ich habe das so übernommen, wie es per Default damals (im Jahr 2020) eingestellt war.

Ich habe gerade schon geguckt, finde aber wohl nicht die richtige Stelle. Wie und wo (ganz genau bitte) müsste ich die Bots denn aus diesen Bereichen aussperren?

[Wolkenbruch]

Ich möchte hier gerne meine aktuelle, für Hostinger (LiteSpeed) optimierte .htaccess teilen. Ich hatte in der Vergangenheit mit erheblichem Bot-Traffic zu kämpfen und konnte diesen mit den folgenden Regeln und IP-Sperren (u. a. Stop Forum Spam Toxic IPs, veraltete Browser-Scraper und Alibaba-Netzwerke) vollkommen reduzieren.

Die Konfiguration läuft bei mir stabil unter phpBB 3.3.16 und beinhaltet zudem wichtige Sicherheits-Header. Denkt bitte daran, bei einer Übernahme die Platzhalter-Domain muster.com durch eure eigene Domain zu ersetzen.

Vielleicht hilft es dem einen oder anderen, sein Forum ebenfalls etwas abzusichern. Feedback oder Ergänzungen sind natürlich gerne gesehen.

Code: Alles auswählen

# Hostinger / LiteSpeed – optimierte .htaccess (Mai 2026 - Stable)
# Für phpBB 3.3.16 auf Hostinger Business (Server Litauen)
# Schutz gegen Bot-Attacken + Sicherheits-Header

RewriteEngine On

# === Leere User-Agents sofort stoppen ===
RewriteCond %{HTTP_USER_AGENT} ^$
RewriteRule ^ - [F,L]

# === Scraper-Blocker ===
SetEnvIfNoCase User-Agent "googlebot" ALLOW_GOOGLE=1
SetEnvIfNoCase User-Agent "bingbot" ALLOW_BING=1
SetEnvIfNoCase User-Agent "Googlebot-Mobile" ALLOW_GOOGLE=1

# Block alles unter Chrome/130 mit Integer-Vergleich
RewriteCond %{HTTP_USER_AGENT} "Chrome/([0-9]+)\." [NC]
RewriteCond %1 -lt130
RewriteRule ^ - [F,L]

# AhrefsBot blockieren
RewriteCond %{HTTP_USER_AGENT} ahrefsbot [NC]
RewriteRule ^ - [F,L]

# === HTTPS + www erzwingen ===
RewriteCond %{HTTPS} off [OR]
RewriteCond %{HTTP_HOST} ^muster\.com$ [NC]
RewriteRule ^(.*)$ https://www.muster.com/$1 [R=301,L]

# === Sicherheits-Header ===
<IfModule mod_headers.c>
    Header always set Strict-Transport-Security "max-age=31536000; includeSubDomains; preload"
    Header always set X-Content-Type-Options "nosniff"
    Header always set X-Frame-Options "SAMEORIGIN"
    Header always set Referrer-Policy "strict-origin-when-cross-origin"
    Header always set Permissions-Policy "geolocation=(), microphone=(), camera=(), interest-cohort=(), fullscreen=(self), payment=()"
    Header always set Content-Security-Policy "default-src 'self'; img-src * data:; style-src 'self' 'unsafe-inline'; script-src 'self' 'unsafe-inline' 'unsafe-eval'; frame-src 'self' https://www.youtube.com https://youtube.com https://player.vimeo.com; connect-src 'self'"
</IfModule>

# Kein Caching von PHP-Dateien
<FilesMatch "\.php$">
    Header always set Cache-Control "no-cache, no-store, must-revalidate"
    Header always set Pragma "no-cache"
    Header always set Expires "0"
</FilesMatch>

# === Schutz sensibler Dateien ===
<Files ~ "^(config\.php|common\.php|composer\.json|composer\.lock)$">
    Require all denied
</Files>

# === phpBB SEO-URLs ===
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)$ app.php [QSA,L]

# === Stop Forum Spam Toxic IPs ===
<IfModule mod_authz_core.c>
    Require all granted
    Require not ip 5.9.182.96/28
    Require not ip 5.188.48.0/24
    Require not ip 5.188.210.0/23
    Require not ip 23.106.64.0/19
    Require not ip 23.106.192.0/20
    Require not ip 45.204.209.0/24
    Require not ip 46.118.115.0/24
    Require not ip 46.161.9.0/24
    Require not ip 46.161.11.0/24
    Require not ip 91.200.12.0/22
    Require not ip 91.210.104.0/22
    Require not ip 91.211.90.0/24
    Require not ip 103.81.182.0/24
    Require not ip 109.200.1.0/24
    Require not ip 109.200.2.0/23
    Require not ip 109.200.4.0/22
    Require not ip 109.200.8.0/21
    Require not ip 109.200.16.0/20
    Require not ip 146.185.223.0/24
    Require not ip 156.245.246.0/24
    Require not ip 176.227.192.0/19
    Require not ip 178.159.37.0/24
    Require not ip 185.177.72.0/24
    Require not ip 188.143.232.0/23
    Require not ip 188.143.234.0/24
    Require not ip 193.201.224.0/24
    Require not ip 194.26.29.0/24
    Require not ip 212.129.0.0/18
    Require not ip 216.131.114.0/24
    # Neu: Alibaba Cloud / ChinaNet
    Require not ip 47.79.0.0/16
    Require not ip 47.82.0.0/16
    Require not ip 47.88.0.0/16
    Require not ip 47.92.0.0/16
    Require not ip 47.94.0.0/16
    Require not ip 47.96.0.0/16
    Require not ip 47.98.0.0/16
    Require not ip 47.99.0.0/16
</IfModule>

# === Sonstiges ===
Options -MultiViews

Eine hervorragende Hilfe ist die Erweiterung Auto Purge Guest Sessions. Sie ist leicht zu handhaben und kann individuell eingestellt werden. Für mich persönlich, eine der besten Erweiterungen dieses Jahres für phpBB.

[Tommy Herrmann]

Hallo,

Vielen Dank, ich werde mir Deine Datei sichern und bei Bedarf testen...

[LukeWCS]

Nein - das ist so eigentlich nicht gewollt und schluckt sicher auch Perfomance.

Trägt dazu bei, ja. Auf je mehr Foren/Themen die Bots zugreifen können, desto grösser natürlich die Last. Allerdings erklärt das trotzdem nicht, warum das bei dir solche gravierende Ausmasse annimmt, wenn du die besagten Bots aktiviert hast. Aber behebe erstmal das Rechte-Problem und dann sehen wir weiter. Gemacht werden muss es ja eh.

Ehrlich gesagt habe ich mich um die Bots noch nie gekümmert, nur habe ich in letzter Zeit enorm viele "Besucher" - manchmal über 19.000 innerhalb von 10 Minuten.

Das Problem ist schon seit Jahren und es trifft absolut jeden früher oder später. Genau darauf zielte Kirks erste Antwort ab und auch die von Wolkenbruch. Grundsätzlich gilt: es gibt keine ultimative perfekte Lösung die das massive Bot Problem per Knopfdruck löst. Da ist Handarbeit und regelmässige Pflege angesagt.

Ich kann mich nicht entsinnen für die Bots irgendetwas eingestellt zu haben. Ich denke ich habe das so übernommen, wie es per Default damals (im Jahr 2020) eingestellt war.

Naja nicht so ganz. Wenn du ein Forum erstellst, wird das ja nicht mit "Default" Berechtigungen bestückt, sondern du selbst musst Gruppen hinzufügen. Wenn da also die Bots Gruppe vorhanden ist, dann hast du sie auch selber hinzugefügt.

Wie und wo (ganz genau bitte) müsste ich die Bots denn aus diesen Bereichen aussperren?

ACP > Berechtigungen > Forenrechte

Da musst du dir der Reihe nach bei allen 4 genannten Bereichen sowohl die Kategorie als auch das Forum auswählen und auf "Absenden" klicken. Dann entfernst du in "Gruppen verwalten" ganz einfach die "Bots" Gruppe.