Googlebot den Zugang verbieten

[redbull254]

Auf den Punkt bebracht:

Ein Forum sowohl für Gäste als auch für Bots sperren (also nicht lesbar machen), erst dann kann man sicher sein, das nichts in irgendwelche Suchmaschinen landet.
Egal wie sie heißen.

[posaunen]

Wenn Beiträge oder deren Überschriften in Google auftauchen hat der Bot entsprechende Leserechte.

Bitte geht nicht davon aus das die BOTgruppen im phpBB für alle Suchmaschinen verantwortlich sind.
Die BOTs sind nichts anderes wie Gäste, beim eintritt ins Forum übergibt das Suchmaschinen script eine Kennung und diese kann ausgelesen werden (was ja auch das Forum macht).

Google brauch nur seine Kennungen abschalten oder ändern und schon seht ihr nicht wann wie wo google oder eine andere Suchmaschine "da" war.

Was ich sagen will ---> Versteift euch nicht auf diese eine BOT-Gruppe im Forum. Alle Thesen und Konstrukte darauf Bezogen sind hinfällig.

Zusätzlich muß man aber auch besonders auf die BOTgruppen achten, wird ja wohl auch in diesem Thread am Anfang deutlich. Man muß nicht nur Gästen den Zugriff auf geschützte Bereiche verbieten (besser: nicht erlauben) sondern auch den Bots. Wenn man in einem neu installierten Board die Forumsrechte von dem Beispielforum kopiert und dann den Gästen sämtliche Rechte entzieht haben die Bots immer noch Leserechte! In diesem Fall würde ein Bot einen Fehler machen, wenn er seine Kennung abgeschaltet hätte.

[schnagga]

Kann man die Botrechte denn testen? Einen Botbesuch "simulieren"?

Moin,
erstelle dir einen User und nenne ihn Bot oder so...?
Schiebe ihn die Hauptgruppe Bots und lösche ihn in allen andere Gruppen.
Nun kannst du die Rechte der Bots verfolgen .

[mrgreen]

Ich habe zusätzliche Rechte vergeben in --> ACP - Berechtigungen - Gruppenspezifische Forenrechte - BOTS auswählen - Das entsprechende Forum+Unterforen auswählen - Als Roll KEIN ZUGRIFF zuweisen.

Ich hoffe das genügt als zusätzlichen Schutz.

Wenn die Bots sich nicht immer an die Robots.txt halten, frag ich mich schon nach welchen kriterien Sie crawlen sollen.

[posaunen]

Wenn die Bots sich nicht immer an die Robots.txt halten, frag ich mich schon nach welchen kriterien Sie crawlen sollen.

Bots crawlwn nach ihren eigenen Kriterien. Eines der Kriterien kann und sollte natürlich die Beachtung der robots.txt sein. Denkbar sind aber auch Bots die primär die Bereiche einer Webseite abarbeiten die durch eine robots.txt eigentlich ausgeschlossen worden sind.

[schnagga]

Alle großen Bots halten sich schon an eine robots.txt. Spambots aber natürlich nicht. Denn die sind ja mehr oder weniger, gar nicht legal.

Übrigens:
Wenn du dich bei den Google-Webmaster-Tools anmeldest, kannst du die Beiträge am schnellsten aus dem Index kicken.

Vielleicht ist auch das was für dich?:
http://www.spider-trap.de/Funktionsweise-1.html

LG

[posaunen]

Alle großen Bots halten sich schon an eine robots.txt.

Das hoffe ich auch.

Jedenfalls ist aber eine robots.txt kein geeignetes Mittel um den Zugriff von Bots auf interne Bereiche sicher zu verhindern. Hoffe, daß wir uns da einig sind.

[schnagga]

Das unterschreibe ich so!

Nach wie vor ist das am Wichtigsten:

Auf den Punkt bebracht:

Ein Forum sowohl für Gäste als auch für Bots sperren (also nicht lesbar machen), erst dann kann man sicher sein, das nichts in irgendwelche Suchmaschinen landet.
Egal wie sie heißen.

[mrgreen]

schnagga, ich habe Webmaster-Tools, habe auch alles durchforstet, aber nirgends was gefunden wie ich Links raus löschen kann.

Komplett abschliessen will ich den Laden nicht. Sieht so sehr nach Warez-Forum dann aus.

[Talk19zehn]

Hello,

ich hatte seinerzeit mal eine Löschung nach folgend beschriebenen Kriterien ausgeführt.

Ggf. hilft´s momentan weiter:

Code: Alles auswählen

http://www.edv-beratung-thomas.de/index.htm?ti-seo-50-daten-aus-google-index-cache-loeschen.html

Zur Aktualität der beschriebenen Möglichkeiten kann ich keine verbindliche Aussage machen.


Allerbeste Grüße