phpBB.de

Hallo allerseits,

seit ein paar Tagen sehe ich immer wieder einen Bot namens Semrush [Bot] auf der Startseite meines Forums unter Mitglieder, siehe Bildschirmfoto hier: https://postimg.cc/1Vh7w69r

Ich dachte, Bots würden sich höchstens als Gast zeigen? Man kann das Forum nur als angemeldeter Benutzer sehen. Mich wundert aber, daß der Bot sich unter Mitglieder zeigt. Habe jetzt mal eine robots.txt mit folgendem Inhalt auf dem phpbb-Rootverzeichnis erstellt:
Genügt das oder sollte ich weitere Schritte unternehmen? Aktuell ist er noch zu sehen, aber ich denke, die Prüfung auf Vorhandensein einer robots.txt wird nicht minütlich erfolgen. Hab im ACP schon die Mitgliederliste kontrolliert, dort stehen nur reguläre Benutzer drin.

Grüße
poenn

Eingetragene Bots sind tatsächlich "Mitglieder" im Sinne der Benutzerliste, insofern ist das völlig richtig. Semrush gehört - wie die Farbe zeigt - auch definitiv der Bot-Gruppe an, und hat von daher die Rechte, die du Bots zugestanden hast. Ob du noch Einträge in der robots.txt zusätzlich machst, ist davon unabhängig. Ehe irgendwelche Spider als "Gast" auftreten, empfiehlt es sich tatsächlich, erkannte weitere Bots ebenfalls der Botliste hinzuzufügen, wenn sie andere Rechte haben sollen als Gäste. Bedenke: auch Google ist ein Bot.

Danke für deine schnelle Antwort!

Ich habe unter Gruppenrechte/Bots alles auf Nein stehen. Erinnere mich, daß ich früher Bots von Google & Co als Gäste gesehen hatte und vermutlich hab ich deswegen diese Einstellung vorgenommen. Im Moment ist der Bot nicht mehr zu sehen. Dann lasse ich mal die robots.txt liegen und beobachte weiter. Danke!