[3.2] Nach Update auf 3.2 ist Zugriffszähler emporgeschnellt

[vfrblue]

Oder als Admin/Moderator unten auf "Wer ist online" klicken und dann auf "Gäste anzeigen".

Wenn ein Bot die robots.txt beachet, ist er in der Regel ein "guter" Du kannst ihn dann auch manuell im ACP als Bot hinzufügen - einfach einen Teil des User-Agent-String aus der viewonline.php (Gäste ansehen) verwenden:

Naja, das unterbindet aber nicht den "Massenansturm" von Zugriffen in einem bestimmten Zeitraum.

[Glueckmacher]

Hast Du da irgendwann einmal Bots hinzugefügt?

Ja, jetzt wo du fragst, fällt es mir ein. Habe im Netz mal eine Liste an Bots gefunden, die ich hinzufügte, ist schon Jahre her.

[canonknipser]

Naja, das unterbindet aber nicht den "Massenansturm" von Zugriffen in einem bestimmten Zeitraum.

Schon, weil diese Bots teilweise mit mehreren IP-Adressen gleichzeitig unterwegs sind. Wenn sie in der Bot-Liste sind, bekommen sie eine Session von phpBB, wenn sie als Gäste unterwegs sind, für jede IP eine.
Jeder Zugriff über eine Session wird als ein "View" gezählt, Bots m.W. gar nicht.

Nimmt natürlich nicht die Last vom Server, aber das macht ein Eintrag in der Robots.txt auch nur tlw. (wenigstens die muss dann ja gelesen werden).


Edit:

Oder als Admin/Moderator unten auf "Wer ist online" klicken und dann auf "Gäste anzeigen".

Öhm:

Ab und zu mal nachschauen, wer als Gast "Bot"-Verdächtig ist

[juliokr]

Zur Not im access-log des Web-Serves

Ach so hatte schon gedacht ich hätte etwas verpasst !
Die nackten log files kann man natürlich nur lesen wenn man sehr wenige Besucher hat.
Und da mein Forum in einem Ordner der Haupt-Site & 2 subdomaines liegt ergibt auch Awats Stats meines Hoster nicht sehr viel.

Oder als Admin/Moderator unten auf "Wer ist online" klicken und dann auf "Gäste anzeigen".

Bei mir ist die Anzeige auf "(basierend auf den aktiven Besuchern der letzten 30 Minuten)" eingestellt.
Dann müsste ich schon den ganzen Tag mit einem Taschenrechner vor der Startseite sitzen um halbwegs realistische Statistiken zu bekommen.

Es bleibt also dabei wenn man einen wirklichen überblick der Besucherzahlen haben will kommt nicht drum herum Google Analytics oder ähnliches zu installieren !

[canonknipser]

Dann müsste ich schon den ganzen Tag mit einem Taschenrechner vor der Startseite sitzen um halbwegs realistische Statistiken zu bekommen.

Ne, es geht ja nicht darum, daraus Statistiken zu erstellen, sondern darum, Bots zu identifizieren.
Wenn man als Admin oder Global-Mod die Gäste betrachtet, sieht man auch den User-Agent-String. Die "guten" Bots haben darin fast immer einen Hinweis, das sie ein Robot sind (Bsp. "Google/Bot", "Ahrefs/Bot" oder ähnlich). Diesen String kann man dann nehmen, um den Bot-Eintrag im ACP zu erstellen. Nach einiger Zeit verschwinden dann für diese Bots die Gast-Sessions und sie tauchen als "Bots" auf.

Man kann natürlich auch "vorgefertigte" Bot-Listen importieren:

Habe im Netz mal eine Liste an Bots gefunden, die ich hinzufügte, ist schon Jahre her.

Hier gibt es wohl was halbwegs aktuelles: https://phpbb.hifikabin.me.uk/viewtopic.php?f=6&t=25 basierend hierauf: https://www.phpbb.com/community/viewtop ... #p12119145

[juliokr]

Ne, es geht ja nicht darum, daraus Statistiken zu erstellen, sondern darum, Bots zu identifizieren.

Verstehe ehrlich gesagt nicht ganz euer Interesse daran. Bots gibt es massenweise und sie besuchen internetseiten nach ihrem eigenen Algorithmus.
Eigentlich kann man als Foren Betreiber darüber froh sein wenn zumindest Google, Yahoo, Bing oft vorbei schauen

[canonknipser]

Dann lies dir mal den einleitenden Text im Abschnitt "Bots verwalten" im ACP durch:

„Robots“, „Spider“ oder „Crawler“ sind automatische Agenten, die meist von Suchmaschinen genutzt werden, um deren Datenbanken auf den neuesten Stand zu bringen. Weil Sitzungen von ihnen in den seltensten Fällen richtig genutzt werden, können sie das Ergebnis des Gast-Zählers verfälschen, den Datenverkehr erhöhen und manchmal Seiten nicht korrekt indizieren. Hier kannst du einen speziellen Typ von Benutzern definieren, um diese Probleme zu umgehen.

Es geht nicht darum, Suchmaschinen auszuschließen, sondern ihre Zugriffe in geregelte Bahnen zu bringen. pbpBB hat an einigen Stellen spezielle Vorkehrungen für Suchmachinen (neben der Möglichkeit, ihre Rechte über die Benutzergruppe "bots" getrennt von den "normalen" Gästen zu steuern).
Z.B. werden bei BOT-Besuchen

• keine CRoN-Prozesse gestartet
• bei deaktiviertem Board bekommen sie einen 503er-Status anstelle einer Bildschirmnachricht, die ggf. den gecrawlten Content verfälschen würde.
• einige Bereiche in den Templates werden ausgeblendet, such mal "S_IS_BOT" im prosilver-Ordner, dazu gehören z.B. die Login-Box, oder auch andere Links, wie "als gelesen markieren" etc.

[juliokr]

einige Bereiche in den Templates werden ausgeblendet, such mal "S_IS_BOT" im prosilver-Ordner, dazu gehören z.B. die Login-Box, oder auch andere Links, wie "als gelesen markieren" etc

Mmmh da habe ich mich schon immer gefragt ob Google dies nicht als "cloaking" missversteht und dann evtl. "abstraft"

[canonknipser]

Warum? Weil ein Gast ein Login-Fenster beim Direktzugriff auf das MCP oder ACP sieht und der Bot direkt mit einem Redirect zur Index-Seite geleitet wird? Weil die Anzahl der Lesezugriffe auf einen Topic für den Bot nicht angezeigt wird, da es sich um einen Wert handelt, der sich ändert, ohne das effektiv neuer Content auf der Seite ist?

Ich weiß nicht, auf wie vielen 100.000 Seiten phpBB läuft; ich habe noch von keinem Fall gehört, dass eine Seite aus DIESEM Grund von einer Suchmaschine abgestraft wird. Du kannst natürlich gerne mal eine Anfrage bei Google und Co. diesbezüglich starten

[juliokr]

Egal wie dem auch sei die Ursprüngliche Frage von mikephp war ja eine ganz andere !
Allerdings ist es eigentlich für Foren Benutzer und Leser vollkommen uninteressant die Boots unter "wer ist online" anzuzeigen. Und für Foren Admins auch nur sehr wenig aufschlussreich.
Denn normalerweise interessiert ein Admin eines Forums vor allem die echten Benutzer und Besucher.

Zum Cloaking gibt Google keine sehr detaillierten Auskünfte.
https://support.google.com/webmasters/a ... 6355?hl=de
Jedenfalls ist es sicherer möglichst wenig Suchmaschine den zu "verheimlichen" und wenn es um ganze Seiten geht lieber die robots.txt zu verwenden.