[3.3] Forenbeiträge bei Google "Im Cache"

[Joe Kolade]

Mit Interesse habe ich den Beitrag Vertrauliche Forenbeiträge bei Google gefunden gelesen und eine ergänzende Frage dazu:

Wenn ich in Google den Name des von mir betreuten Forum (blablaforum.de) und ein zusätzliches Stichwort dazu angebe, erhalte ich etliche Treffer.
Klicke ich einen Treffer an, wird das Forum mit dem Hinweis "Um Beiträge in diesem Forum anzusehen, musst du auf diesem Board registriert und angemeldet sein" geöffnet. Soweit so gut.
Wenn ich aber neben dem Suchergebnis in Google das Drei-Punkte-Menü aktiviere und dann unter den Weiteren Optionen im erweiterten Fenster Im Cache auswähle, kann jeder den Beitrag einsehen!

Wie kann ich unterbinden, das Google Seiten aus dem Forum im Cache speichert und auch nicht angemeldeten Besuchern anzeigt?

Gruß Joe

[Scanialady]

Das steht doch im besagten Beitrag: verbiete den Bots das Scannen des betreffenden Forums. Allerdings bleibt der letzte erkannte Zustand bei Google im Cache. Auch wenn kein weiterer Zugriff mehr besteht.

[LukeWCS]

Klicke ich einen Treffer an, wird das Forum mit dem Hinweis "Um Beiträge in diesem Forum anzusehen, musst du auf diesem Board registriert und angemeldet sein" geöffnet. Soweit so gut.

Schon diese Einträge (Treffer) zu Beiträgen/Themen eines nicht-öffentlichen Bereiches hätte es bei Google gar nicht erst geben dürfen, das deutet auf fehlerhafte Konfiguration der Rechte hin. Das kann möglicherweise auch bereits in der Vergangenheit liegen.

Wie kann ich unterbinden, das Google Seiten aus dem Forum im Cache speichert und auch nicht angemeldeten Besuchern anzeigt?

Indem du die Rechte korrekt einstellst. Deine Beschreibung deutet darauf hin, das du bei einem oder mehreren Foren den Bots mehr Rechte gewährt hast, als den Gästen. Darum kann ein Gast nicht direkt die Treffer anklicken, aber im Cache ist der Inhalt dann sichtbar.

edit: an der Ist-Situation bei Google ändert das korrekte Einstellen natürlich nichts, gilt aber für die Gegenwart und Zukunft. Was du bei Google machen kannst, hab ich bereits im anderen Thema geschrieben.

[Joe Kolade]

Die Rechtevergabe ist - wie so häufig - aufgrund ihrer Komplexität nicht immer verständlich.

Für die Bots ist bei den Gruppenrechten unter Profil, Beiträge, Private Nachrichten und Diverses alles auf NEIN gesetzt.
Die Benutzer-Berechtigungen bei den Effektiven Berechtigungen sind in allen Bereichen auf NIE gesetzt.

Das sollte soweit korrekt sein.

Bei den Forumsberechtigungen der Effektiven Berechtigungen ist unter Beiträge, Inhalt und Umfragen alles auf NIE gesetzt.
Allerdings sind unter den Aktivitäten möglicherweise falschen Einstellungen zu finden. Hier ist folgendes eingestellt:

Kann Forum sehen - JA
Kann Themen sehen - JA
Kann Forum lesen - JA
Kann das Forum durchsuchen - NEIN
Kann Forum abonnieren - NEIN
Kann Themen drucken - JA
Kann Themen per E-Mail empfehlen - NEIN
Kann Themen als neu markieren - NEIN
Kann eigene Themen sperren - NEIN
Kann Dateianhänge herunterladen - JA
Kann Beiträge melden - NEIN

Diese Einstellungen wurden von mir noch nie angefasst bzw. geändert. Ist hier alles auf NEIN zu setzen?
Die Gäste haben lediglich das Recht, das Forum zu sehen.

Gruß Joe

[LukeWCS]

Die Rechtevergabe ist - wie so häufig - aufgrund ihrer Komplexität nicht immer verständlich.

Das Grundprinzip des phpBB Rechtesystems ist genial einfach. Aber die schiere Anzahl Möglichkeiten die wir haben, schafft die Komplexität, ja.

Für die Bots ist bei den Gruppenrechten unter Profil, Beiträge, Private Nachrichten und Diverses alles auf NEIN gesetzt.

Das ist der Standard, daran muss man eig. auch eher nichts ändern. Für dein "Datenleck" Problem ist das aber irrelevant.

Die Benutzer-Berechtigungen bei den Effektiven Berechtigungen sind in allen Bereichen auf NIE gesetzt.

Ist in dem Fall ebenfalls irrelevant.

Bei den Forumsberechtigungen der Effektiven Berechtigungen ist unter Beiträge, Inhalt und Umfragen alles auf NIE gesetzt.
Allerdings sind unter den Aktivitäten möglicherweise falschen Einstellungen zu finden. Hier ist folgendes eingestellt:

Das hier ist relevant und hier hast du die Ursache. Diese Liste der Aktivitäten entspricht dem Standard Profil "Bot-/Spider-Zugang". Wenn du im besagten Forum den Bots dieses Profil zugewiesen hast, dann ist klar, warum Google unerwünscht Inhalte von euch im Cache hat.

Diese Einstellungen wurden von mir noch nie angefasst bzw. geändert. Ist hier alles auf NEIN zu setzen?

"Nein" wäre hier u.U. nicht ausreichend, weil das von einem "Ja" andernorts überschrieben werden kann. Wenn, dann "Nie". Aber ich würde hier gar nicht erst anfangen, mit einzelnen Rechten zu jonglieren sondern schlicht das Standard Profil "Kein Zugang" für Bots einstellen, wenn du unbedingt bei einem nicht-öffentlichen Forum die Gruppe Bots explizit aufführen willst. Aber wie ich schon im anderen Thema geschrieben habe, wäre es vorzuziehen, die Gruppe "Bots" beim nicht-öffentlichen Forum komplett zu entfernen.

Ich zitiere vom anderen Thema:

phpBB ist von Haus aus so konzipiert, das selbst ein Gründer (höchste Admin Instanz) kein Recht hat, irgendein Forum zu sehen. Aus diesem Grundsatz kann man ganz einfach ableiten; Forenrechte müssen grundsätzlich und explizit gewährt (definiert) werden.

Darum ist es immer die beste Methode, bei einem internen Forum nur diejenigen Gruppen bei den Rechten hinzuzufügen, die auch Zugriff haben sollen. Gruppen die keinen Zugriff haben sollen, lässt man aber komplett weg. Auf diese Weise hat man von vorneherein eine unnötige potentielle Fehlerquelle ausgeschlossen.

Und genau diese potentielle Fehlerquelle hat dich jetzt mit ganzer Breitseite erwischt.

Wie ist dein Forum denn überhaupt konzipiert? Ist das komplett für Gäste gesperrt? Oder geht es hier nur um vereinzelte interne Foren? Du hast solche Details bisher leider nicht erwähnt.

edit: Ich muss eine Falschaussage meinerseits korrigieren:

"Nein" wäre hier u.U. nicht ausreichend, weil das von einem "Ja" andernorts überschrieben werden kann. Wenn, dann "Nie".

Das ist zwar grundsätzlich richtig, aber Bots sind in mehrfacher Hinsicht etwas spezielles. Dazu gehört zum Beispiel, dass ein Bot nur zu einer einzigen Gruppe gehört und nicht auch noch in anderen Gruppen sein kann. Darum wäre speziell hier "Nein" tatsächlich ausreichend weil ein "Ja" andernorts nicht auftreten kann. Und nichts anderes macht auch das Standard Profil "Kein Zugang".

[Joe Kolade]

Hallo, und erst einmal besten Dank für die umfassende Antwort!

Das Grundprinzip des phpBB Rechtesystems ist genial einfach. Aber die schiere Anzahl Möglichkeiten die wir haben, schafft die Komplexität, ja.

Ich möchte keine Diskussion zum Rechtesystem von phpbb anfangen, aber: Wenn für die Bots die Gruppenrechte und die Benutzerrechte auf NEIN bzw. NIE, dann erschließt sich mir nicht, warum die Forumsberechtigungen bei den Effektiven Berechtigungen in der Liste der Aktivitäten mit dem Standard-Profil "Bot-/Spider-Zugang" dann doch wieder einiges freigeben. Das ist - zumindest (für mich) auf den ersten Blick - nicht sehr verständlich und auch nicht unbedingt logisch.

Per se finde ich es ja gut, wenn Google usw. das Forum durchsucht und die Suchergebnisse anzeigt. Solange diese Ergebnisse bzw. die Beiträge dann auch nur von registrierten Benutzern geöffnet werden können und sich nicht durch die Hintertür "Im Cache" von jedem sichten lassen.
Offensichtlich ist es so, dass ich zum Unterbinden dieser Hintertür nur die Möglichkeit habe, das Standard-Profil für die Bots auf "Kein Zugang" einzustellen?
Das ist suboptimal, da das Forum ja auch gefunden werden soll und hierzu die Crawler erfolgreich beitragen können.

Darum ist es immer die beste Methode, bei einem internen Forum nur diejenigen Gruppen bei den Rechten hinzuzufügen, die auch Zugriff haben sollen. Gruppen die keinen Zugriff haben sollen, lässt man aber komplett weg. Auf diese Weise hat man von vorneherein eine unnötige potentielle Fehlerquelle ausgeschlossen.

Wie Eingangs erklärt, habe ich genau das getan. Es gibt nur registrierte Benutzer und Gäste, wobei diese - wie schon erwähnt - lediglich das Recht haben, das Forum zu sehen. Entsprechend sind die Gruppen eingerichtet und konfiguriert und den Foren zugeteilt.

Wie ist dein Forum denn überhaupt konzipiert? Ist das komplett für Gäste gesperrt? Oder geht es hier nur um vereinzelte interne Foren? Du hast solche Details bisher leider nicht erwähnt.

Wie oben beschrieben, also ganz simpel und ohne verschachtelte Rechtevergaben.

Das ist zwar grundsätzlich richtig, aber Bots sind in mehrfacher Hinsicht etwas spezielles. Dazu gehört zum Beispiel, dass ein Bot nur zu einer einzigen Gruppe gehört und nicht auch noch in anderen Gruppen sein kann. Darum wäre speziell hier "Nein" tatsächlich ausreichend weil ein "Ja" andernorts nicht auftreten kann. Und nichts anderes macht auch das Standard Profil "Kein Zugang".

Dann kann man die Bots aber doch auch gleich komplett rausnehmen?!

Gruß Joe

[LukeWCS]

Moin

Du hast meine Ausführungen noch nicht verstanden. Es gibt keine "Hintertür im Cache". Das Wort "Hintertür" impliziert eine Sicherheitslücke die in deinem Fall nicht existiert. Du hast ganz einfach Rechte nicht korrekt eingestellt und das ist der Grund für dein Datenleck. Du hast das ja auch selbst entdeckt, ich habe das dann nur noch im Detail präzisiert:

Allerdings sind unter den Aktivitäten möglicherweise falschen Einstellungen zu finden. Hier ist folgendes eingestellt:

Es gibt offenbar auf beiden Seiten Missverständnisse, die sollten wir erstmal klären, bevor wir hier weitermachen:

Wie oben beschrieben, also ganz simpel und ohne verschachtelte Rechtevergaben.

Mit dieser Aussage kann ich grad nichts anfangen. Soweit ich dich verstanden hatte, gibt es in deinem Forum mindestens 1 Unterforum, auf das Gäste und Bots keinen Zugriff haben sollen, weil du dich direkt auf das Thema "Vertrauliche Forenbeiträge bei Google gefunden" bezogen hast. Ist das richtig? Wenn nicht, dann bitte mal darlegen wie sich das bei dir verhält. Ansonsten werden möglicherweise Aussagen und Anweisungen formuliert, die völlig am Thema vorbei sind.

Ein Link zu deinem Forum könnte auch dabei helfen, mal die Struktur zu sichten.

[Joe Kolade]

Mit dieser Aussage kann ich grad nichts anfangen. Soweit ich dich verstanden hatte, gibt es in deinem Forum mindestens 1 Unterforum, auf das Gäste und Bots keinen Zugriff haben sollen, weil du dich direkt auf das Thema "Vertrauliche Forenbeiträge bei Google gefunden" bezogen hast. Ist das richtig? Wenn nicht, dann bitte mal darlegen wie sich das bei dir verhält. Ansonsten werden möglicherweise Aussagen und Anweisungen formuliert, die völlig am Thema vorbei sind.

Hi,

nochmal: Es ist ein in der Struktur sehr einfach angelegtes Forum mit mehreren Kategorien, die wiederum mehrere Foren subsumieren. Gäste können die Kategorien mit den Foren anzeigen lassen, haben aber keinen Zugriff auf die Beiträge. Dies ist ausschließlich registrierten Benutzern vorbehalten. Versucht also ein nicht angemeldeter Besucher ein Forum zu öffnen, erhält er die Meldung "Du hast keine ausreichenden Rechte, um Themen in diesem Forum zu sehen oder zu lesen."
Bots sind wie beschrieben zugelassen und sollen - soweit von mir erwartet - das Forum scannen (crawlen).

Du hast meine Ausführungen noch nicht verstanden. Es gibt keine "Hintertür im Cache". Das Wort "Hintertür" impliziert eine Sicherheitslücke die in deinem Fall nicht existiert. Du hast ganz einfach Rechte nicht korrekt eingestellt und das ist der Grund für dein Datenleck.

Es ist nicht auszuschließen, dass wir aneinander vorbeireden...

Ich habe erst einmal festgestellt und beschrieben, dass man via "Im Cache" Beiträge als nicht registrierter Benutzer aufrufen kann, obwohl man die Benutzer- und Gruppenrechte glaubt richtig eingestellt zu haben. Das wissen möglicherweise einige Nutzer von phpbb gar nicht und es scheint mir eine wichtige Information zu sein.

Also ist es dann wohl so, dass man das Lesen von Beiträgen, die Google (oder Bing usw.) im Cache gespeichert hat, nur unterbinden kann, indem man die Rechte (maximal) auf "Kann Forum sehen" (wie bei den Gästen) beschränkt?
Es gibt also keine Möglichkeit, die Suchmaschinen die Beiträge durchsuchen und indexieren zu lassen, und nicht registrierten Benutzern den Zugriff auf diese Beiträge zu verweigern?

Gruß Joe

P.S. Bezüglich des Hinweises auf die fehlerhaft eingestellten Rechte für die Bots:
Bei den "Gruppenspezifischen Forenrechte" habe ich im Vertrauen auf die korrekten Vorgabewerte, für die Bots die Rolle "Bot-/Spider-Zugang" ausgewählt. Da bin ich vermutlich die der Einzige, der diese Einstellung wider besseren Wissen auswählt

[LukeWCS]

nochmal: Es ist ein in der Struktur sehr einfach angelegtes Forum mit mehreren Kategorien, die wiederum mehrere Foren subsumieren. Gäste können die Kategorien mit den Foren anzeigen lassen, haben aber keinen Zugriff auf die Beiträge. Dies ist ausschließlich registrierten Benutzern vorbehalten. Versucht also ein nicht angemeldeter Besucher ein Forum zu öffnen, erhält er die Meldung "Du hast keine ausreichenden Rechte, um Themen in diesem Forum zu sehen oder zu lesen."

Jetzt kommen wir weiter. Was dir im Sinn liegt, ist schlicht eine Teaser Funktion. Das hat jedoch mit dem anderen Thema überhaupt nichts zu tun. Du hast im Startbeitrag also das falsche Signal ausgesandt indem du Bezug auf das andere Thema genommen hast, in dem es um ein Datenleck ging. Also bin ich und Kollegen ebenfalls bei dir von einem Datenleck ausgegangen. Und du hast auch bisher dein Konzept hier im Thema nicht erklärt. Erst jetzt, nachdem ich dich gezielt danach gefragt habe, kommen mal langsam Details rüber.

Es ist nicht auszuschließen, dass wir aneinander vorbeireden...

Ja und zwar mit Vollgas. Das nächste Mal bitte solche Details gleich erwähnen. Wir kennen dein Forum nicht und wissen auch nicht, wie du das im Einzelnen eingerichtet hast.

Ich habe erst einmal festgestellt und beschrieben, dass man via "Im Cache" Beiträge als nicht registrierter Benutzer aufrufen kann, obwohl man die Benutzer- und Gruppenrechte glaubt richtig eingestellt zu haben. Das wissen möglicherweise einige Nutzer von phpbb gar nicht und es scheint mir eine wichtige Information zu sein.

Nochmal, du scheinst nicht zu verstehen was ich dir schreibe. Deine Benutzer- und Gruppen-Rechte sind bei den Foren-Rechten und damit bei deinem Problem überhaupt nicht relevant, das hatte ich dir bereits erklärt. Bei der Sichtbarkeit der Foren sind die Foren-Rechte relevant. Nur um die geht es hier. Das heisst vor allem dir sind noch Dinge unklar und die haben schlussendlich dann auch zu dem Problem geführt.

Es gibt also keine Möglichkeit, die Suchmaschinen die Beiträge durchsuchen und indexieren zu lassen, und nicht registrierten Benutzern den Zugriff auf diese Beiträge zu verweigern?

Nein, natürlich gibt es diese Möglichkeit nicht, weil das zwei völlig konträre Punkte sind. Entweder du erlaubst Bots das Lesen von Beiträgen - und damit auch das Speichern im Suchmaschinen Cache - oder du erlaubst es nicht. Wenn du nicht willst, das Bots mehr Rechte haben als Gäste, dann musst du die aber auch so einstellen wie Gäste. Wozu willst du Bots überhaupt das Recht geben, Beiträge zu indizieren, wenn du sowieso nicht willst, das SuFu Benutzer (Gäste) die Beiträge direkt lesen können? Ich kann darin keinen Sinn erkennen.

In dem Moment wo du Bots das Recht einräumst Beiträge lesen zu dürfen, verlierst du automatisch jede Kontrolle über die Sichtbarkeit dieser Beiträge ausserhalb deines Forums. Dieser Punkt muss dir jetzt mal langsam klar werden, ansonsten drehen wir uns weiter im Kreis.

P.S. Bezüglich des Hinweises auf die fehlerhaft eingestellten Rechte für die Bots:
Bei den "Gruppenspezifischen Forenrechte" habe ich im Vertrauen auf die korrekten Vorgabewerte, für die Bots die Rolle "Bot-/Spider-Zugang" ausgewählt. Da bin ich vermutlich die der Einzige, der diese Einstellung wider besseren Wissen auswählt

Was du willst, ist für dich vielleicht ganz normal, aber für andere vielleicht eher ungewöhnlich. Ich hatte einen solchen speziellen Fall bisher jedenfalls noch nicht, ehrlich gesagt.

[Joe Kolade]

Es war sicher nicht meine Absicht, Dich bzw. Euch in die Irre zu führen. Den Verweis auf den anderen Beitrag habt ihr vermutlich falsch interpretiert. Dennoch war meine Fragestellung von Anfang an klar formuliert: "Wie kann ich unterbinden, dass Google Seiten aus dem Forum im Cache speichert und auch nicht angemeldeten Besuchern anzeigt?"
Egal - meine Frage ist jetzt beantwortet.

Wozu willst du Bots überhaupt das Recht geben, Beiträge zu indizieren, wenn du sowieso nicht willst, das SuFu Benutzer (Gäste) die Beiträge direkt lesen können? Ich kann darin keinen Sinn erkennen.

Das kann aus meiner Sicht sehr wohl Sinn machen:
Würde es den Suchmaschinen-Cache nicht geben, wäre es - wie von mir eingangs dieses Themas geschrieben - so, dass beim Anklicken eines Suchmaschinen-Ergebnisses der Benutzer den Hinweis "Um Beiträge in diesem Forum anzusehen, musst du auf diesem Board registriert und angemeldet sein" erhält. Interessiert sich der Betreffende für das Thema bzw. den Beitrag, ist er aufgefordert, sich im Forum anzumelden.
In unserem Forum wird sehr viel Fachwissen geteilt und die Mitglieder, die hier Beiträge einstellen, legen Wert darauf, mit einem ihnen "bekannten" Nutzerkreis zu kommunizieren.
Jetzt gibt es den Suchmaschinen-Cache allerdings und wir haben nun das Dilemma, dass ich leider die Rechte der Bots eigentlich an die der Gäste anpassen muss. Damit geht das "Anteasern" bzw. Bewerben des Forums bei Google und Co ein stückweit verloren.

Ich werde weiter mit den Forenrechten experimentieren und schauen, mit welcher Einstellung unser Forum sich am ehesten arrangieren kann.

Danke für die erschöpfende Hilfe und Geduld und
Gruß Joe