Googlebot den Zugang verbieten

[mrgreen]

Hi Leute,

ich habe das Problem, das einige Beiträge bei Google gefunden werden, die nicht gefunden werden sollen.
Mit den Rechten das hab ich schon so eingestellt das nur 11 Mitglieder und die Administratoren Zugriff haben, wie ihr hier seht...

[ externes Bild ]

Dann frage ich mich aber warum man z.B. diesen Beitrag bei Google findet. (3. Link)

Das darf eigentlich nicht der Fall sein.

Jetzt habe ich an der Robots.txt geschraubt und um diese Zeilen erweitert...

Code: Alles auswählen

User-agent: *
Disallow: /viewforum.php?f=145
Allow: /
Disallow: /viewforum.php?f=146
Disallow: /viewforum.php?f=147
Disallow: /viewforum.php?f=148
Disallow: /viewforum.php?f=149
Disallow: /viewforum.php?f=150
Disallow: /viewforum.php?f=151
Disallow: /viewforum.php?f=152
Disallow: /viewforum.php?f=167

Würde so etwas funktionieren, denn eigentlich habe ich gelesen, sollte man nur Verzeichnisse verbieten. Ich weiß nicht ob das bei php auch so funktioniert.

Wie kann ich die Bots aus dem Unterforum fern halten?

mfg
mrgreen

[redbull254]

Hallo erstmal,

Du musst den Bots den Zugang zum entsprechenden Forum verbieten.

Dies kannst Du unter anderem über die „Gruppenspezifische Forenrechte“ regeln.

KB:rechtesystem
KB:rechte_verfolgen
Schnelleinstieg phpBB3

[schnagga]

Moin,

...Mit den Rechten das hab ich schon so eingestellt das nur 11 Mitglieder und die Administratoren Zugriff haben, wie ihr hier seht...

Das sieht man da nicht eindeutig!
Auf jeden Fall hat Google mal diesen Beitrag gelesen. Das reicht schon um ihn anzuzeigen. Gäste können ihn jedoch nicht lesen. Teste doch einfach mal die Berechtigung von Google indem du die Berechtigung der Bots testest (toller Satz )

...denn eigentlich habe ich gelesen, sollte man nur Verzeichnisse verbieten...

Wer sagt das denn?

Lass mal das Allow: / weg und spreche den Googlebot auch mal direkt an. Das ist zwar nicht unbedingt nötig, geht dann aber schneller.

Code: Alles auswählen

    User-agent: *
    Disallow: /viewforum.php?f=145
    Disallow: /viewforum.php?f=146
    Disallow: /viewforum.php?f=147
    Disallow: /viewforum.php?f=148
    Disallow: /viewforum.php?f=149
    Disallow: /viewforum.php?f=150
    Disallow: /viewforum.php?f=151
    Disallow: /viewforum.php?f=152
    Disallow: /viewforum.php?f=167

    User-agent: googlebot
    Disallow: /viewforum.php?f=145
    Disallow: /viewforum.php?f=146
    Disallow: /viewforum.php?f=147
    Disallow: /viewforum.php?f=148
    Disallow: /viewforum.php?f=149
    Disallow: /viewforum.php?f=150
    Disallow: /viewforum.php?f=151
    Disallow: /viewforum.php?f=152
    Disallow: /viewforum.php?f=167

[DeepSurfer]

- Als Bot kommt man nicht drauf
- als Gast kommt auch nicht drauf
- Die Google Fundsache läuft beim Anklicken auf die "Keine Berechtigung zu lesen" Hinweis.
- Den Google Fund auf CACHE ergibt eine Fehlermeldung

somit ist das was beim Google zu sehen ist gar nicht einseh bar

[mrgreen]

Danke Leute, ich probier das was schnagga sagt mal aus. Ich hoffe das hilft dann.

DeepSurfer das ist ja sehr beruhigend was du da schreibst, nur wundert es mich dann warum der doofe Bot den Thementitel lesen konnte.

Kann man die Botrechte denn testen? Einen Botbesuch "simulieren"?

[DeepSurfer]

Kann man die Botrechte denn testen? Einen Botbesuch "simulieren"?

FireFox addon "User Agent Switcher", hat Standard Bot-Feromone eingebaut.
Für diesen Switcher gibt es auch Erweiterungenslisten

[Talk19zehn]

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
Schnellantwort zeigt:

DeepSurfer schreibt
Zitat:
FireFox addon "User Agent Switcher", hat Standard Bot-Feromone eingebaut.
Für diesen Switcher gibt es auch Erweiterungenslisten
Zitatende

Werde ich mich persönlich zusätzlich drum kümmern und nachlesen, was das Teilchen kann.
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

Hello, beruhigend vielleicht - jedoch nicht unbedingt gewollt und oder gar zweckmäßig.

Wäre es ratsam, der Gruppe Bots keinen Spiderzugriff zu geben. Ich meine, nehmen wir an, ich habe einen geschlossen Bereich für medizinische Aspekte:

- ein User schreibt vom Büro aus seine Diagnose in den Titel und der Chef im Büro kontrolliert das Büro-System oder durchforstet die SuMAs oder oder ........ ( die Gedanken lassen sich beliebig fortsetzen ).

oder man hat einen geschlossenen Forenbereich und fühlt sich als Webmaster eigentlich ganz sicher:

- ein User schreibt im OT eher unbewusst eine "Tatsachenbehauptung" in den Titel......... ( die Gedanken lassen sich beliebig fortsetzen ).


Mir wäre das ebenso suspekt, was in den vorhergehenden Beiträgen berichtet wird.

Zurück zur Eingangsfrage: Wäre es ratsam, der Gruppe Bots keinen "Bot/Spiderzugriff" zu geben? Oder diese Gruppe gar zu löschen?

Nachgehakt:
Halten sich alle Bots an eine robots.txt? Meines Wissen nicht. Kommen nur jene, die "eingeladen / verzeichnet" sind?


Danke Euch für eine weitergehende Information.
Viele Grüße

[posaunen]

Wäre es ratsam, der Gruppe Bots keinen Spiderzugriff zu geben. Ich meine, nehmen wir an, ich habe einen geschlossen Bereich für medizinische Aspekte:

Natürlich wäre das ratsam. Die robots.txt ist letztlich nicht mehr als eine Bitte an die Bots den dort hinterlegten Regeln zu folgen. Tun die Bots das nicht hält sie nichts davon ab.

Wenn Beiträge oder deren Überschriften in Google auftauchen hat der Bot entsprechende Leserechte.

Da einzig sinnvolle Mittel geschlossene Bereiche zu schützen ist, die Rechte entsprechend zu setzen und Bots natürlich keine Leserechte einzuräumen. Dann kann in der robots.txt stehen was will oder auch nicht.

[DeepSurfer]

Wenn Beiträge oder deren Überschriften in Google auftauchen hat der Bot entsprechende Leserechte.

Bitte geht nicht davon aus das die BOTgruppen im phpBB für alle Suchmaschinen verantwortlich sind.
Die BOTs sind nichts anderes wie Gäste, beim eintritt ins Forum übergibt das Suchmaschinen script eine Kennung und diese kann ausgelesen werden (was ja auch das Forum macht).

Google brauch nur seine Kennungen abschalten oder ändern und schon seht ihr nicht wann wie wo google oder eine andere Suchmaschine "da" war.

Was ich sagen will ---> Versteift euch nicht auf diese eine BOT-Gruppe im Forum. Alle Thesen und Konstrukte darauf Bezogen sind hinfällig.

[Talk19zehn]

Hallo DeepSurfer, vielen Dank für Deine Worte.
Darf ich nochmals fragen.... Ich zitiere mal aus Zeitgründen.

Google brauch nur seine Kennungen abschalten oder ändern und schon seht ihr nicht ....(...)... "da" war.

Was bedeutet das genau?

Was ich sagen will ---> Versteift euch nicht auf diese eine BOT-Gruppe im Forum.

OK, das habe ich verstanden.
BTW: Entsprechend lang ist meine robots.txt und Leserechte gibt´s so gut wie keine für die Gruppe "Bots".

Alle Thesen und Konstrukte darauf Bezogen sind hinfällig.

Das hab ich leider weniger verstanden.


Beste Grüße