Seite 2 von 3
Re: Googlebot den Zugang verbieten
Verfasst: 17.09.2010 22:19
von redbull254
Auf den Punkt bebracht:
Ein Forum sowohl für Gäste als auch für Bots sperren (also nicht lesbar machen), erst dann kann man sicher sein, das nichts in irgendwelche Suchmaschinen landet.
Egal wie sie heißen.
Re: Googlebot den Zugang verbieten
Verfasst: 18.09.2010 07:46
von posaunen
DeepSurfer hat geschrieben:Wenn Beiträge oder deren Überschriften in Google auftauchen hat der Bot entsprechende Leserechte.
Bitte geht nicht davon aus das die BOTgruppen im phpBB für alle Suchmaschinen verantwortlich sind.
Die BOTs sind nichts anderes wie Gäste, beim eintritt ins Forum übergibt das Suchmaschinen script eine Kennung und diese kann ausgelesen werden (was ja auch das Forum macht).
Google brauch nur seine Kennungen abschalten oder ändern und schon seht ihr nicht wann wie wo google oder eine andere Suchmaschine "da" war.
Was ich sagen will ---> Versteift euch nicht auf diese eine BOT-Gruppe im Forum. Alle Thesen und Konstrukte darauf Bezogen sind hinfällig.
Zusätzlich muß man aber auch besonders auf die BOTgruppen achten, wird ja wohl auch in diesem Thread am Anfang deutlich. Man muß nicht nur Gästen den Zugriff auf geschützte Bereiche verbieten (besser: nicht erlauben) sondern auch den Bots. Wenn man in einem neu installierten Board die Forumsrechte von dem Beispielforum kopiert und dann den Gästen sämtliche Rechte entzieht haben die Bots immer noch Leserechte! In diesem Fall würde ein Bot einen Fehler machen, wenn er seine Kennung abgeschaltet hätte.
Re: Googlebot den Zugang verbieten
Verfasst: 18.09.2010 10:01
von schnagga
mrgreen hat geschrieben:Kann man die Botrechte denn testen? Einen Botbesuch "simulieren"?
Moin,
erstelle dir einen User und nenne ihn Bot oder so...?
Schiebe ihn die Hauptgruppe
Bots und lösche ihn in allen andere Gruppen.
Nun kannst du die Rechte der Bots verfolgen
.
Re: Googlebot den Zugang verbieten
Verfasst: 18.09.2010 11:07
von mrgreen
Ich habe zusätzliche Rechte vergeben in --> ACP - Berechtigungen - Gruppenspezifische Forenrechte - BOTS auswählen - Das entsprechende Forum+Unterforen auswählen - Als Roll KEIN ZUGRIFF zuweisen.
Ich hoffe das genügt als zusätzlichen Schutz.
Wenn die Bots sich nicht immer an die Robots.txt halten, frag ich mich schon nach welchen kriterien Sie crawlen sollen.
Re: Googlebot den Zugang verbieten
Verfasst: 18.09.2010 11:15
von posaunen
mrgreen hat geschrieben:
Wenn die Bots sich nicht immer an die Robots.txt halten, frag ich mich schon nach welchen kriterien Sie crawlen sollen.
Bots crawlwn nach ihren eigenen Kriterien. Eines der Kriterien kann und sollte natürlich die Beachtung der robots.txt sein. Denkbar sind aber auch Bots die primär die Bereiche einer Webseite abarbeiten die durch eine robots.txt eigentlich ausgeschlossen worden sind.
Re: Googlebot den Zugang verbieten
Verfasst: 18.09.2010 11:23
von schnagga
Alle großen Bots halten sich schon an eine robots.txt. Spambots aber natürlich nicht. Denn die sind ja mehr oder weniger, gar nicht legal.
Übrigens:
Wenn du dich bei den Google-Webmaster-Tools anmeldest, kannst du die Beiträge am schnellsten aus dem Index kicken.
Vielleicht ist auch das was für dich?:
http://www.spider-trap.de/Funktionsweise-1.html
LG
Re: Googlebot den Zugang verbieten
Verfasst: 18.09.2010 11:53
von posaunen
schnagga hat geschrieben:Alle großen Bots halten sich schon an eine robots.txt.
Das hoffe ich auch.
Jedenfalls ist aber eine robots.txt kein geeignetes Mittel um den Zugriff von Bots auf interne Bereiche sicher zu verhindern. Hoffe, daß wir uns da einig sind.
Re: Googlebot den Zugang verbieten
Verfasst: 18.09.2010 12:44
von schnagga
Das unterschreibe ich so!
Nach wie vor ist das am Wichtigsten:
redbull254 hat geschrieben:Auf den Punkt bebracht:
Ein Forum sowohl für Gäste als auch für Bots sperren (also nicht lesbar machen), erst dann kann man sicher sein, das nichts in irgendwelche Suchmaschinen landet.
Egal wie sie heißen.
Re: Googlebot den Zugang verbieten
Verfasst: 19.09.2010 03:27
von mrgreen
schnagga, ich habe Webmaster-Tools, habe auch alles durchforstet, aber nirgends was gefunden wie ich Links raus löschen kann.
Komplett abschliessen will ich den Laden nicht. Sieht so sehr nach Warez-Forum dann aus.
Re: Googlebot den Zugang verbieten
Verfasst: 19.09.2010 09:33
von Talk19zehn
Hello,
ich hatte seinerzeit mal eine Löschung nach folgend beschriebenen Kriterien ausgeführt.
Ggf. hilft´s momentan weiter:
Code: Alles auswählen
http://www.edv-beratung-thomas.de/index.htm?ti-seo-50-daten-aus-google-index-cache-loeschen.html
Zur Aktualität der beschriebenen Möglichkeiten kann ich keine verbindliche Aussage machen.
Allerbeste Grüße