Seite 1 von 1

Über htaccess einelne Dateien vom Google-Crawl ausschließen?

Verfasst: 29.06.2006 18:09
von smart
Liebe Community,
ich habe auf meinem Server eine Seite erstellt, auf der ich alle Links zu meinen Projekten erstellt habe. Gibt man nun zwei der Seiten bei z.B. Google ein, erscheint meist meine Admin-Übersichtsseite, die zwar keine Links und Infos erhält, die geheim sind, allerdings wäre es mir doch lieber, sie aus der Ergebnisliste aller Suchmaschinen auszuschließen.

Hat jemand eine Idee, wie ich das anstellen kann? Ich habe einmal gelesen, dass dies per .htaccess gehen soll, weiß aber weder, ob man dabei auch eine einzelne Datei ausschließen kann, noch, wo ich das gelesen habe.

Habt ihr einen Tipp?

Verfasst: 13.07.2006 03:37
von smart
*bump*

Verfasst: 13.07.2006 04:08
von area57
die steuerung der suchmaschinen geschiet über die robots.txt
Hier mal ein interessanter link dazu:
>>>HIER MAL GUCKEN<<<

Re: Über htaccess einelne Dateien vom Google-Crawl ausschlie

Verfasst: 13.07.2006 08:19
von MagMo
Hi,
smart hat geschrieben:Hat jemand eine Idee, wie ich das anstellen kann? Ich habe einmal gelesen, dass dies per .htaccess gehen soll, weiß aber weder, ob man dabei auch eine einzelne Datei ausschließen kann, noch, wo ich das gelesen habe.
Du kannst das mittels .htaccess machen, dafür musst du aber die IP-Bereiche, die die Suchmaschinen verwenden kennen (eine Runde googeln). Wenn du die Bereiche rausgefunden hast dann hilft dir dieses hier weiter: IP's und IP-Bereiche aussperren
Nachteil: Die IP-Bereiche können sich ändern, d.h. hier musst du dich und die .htaccess ständig auf dem Laufenden halten.

Die zweite Möglichkeit wäre die Suchmaschinen-Bots mittels .htaccess und User Agent auszuschließen. Dazu musst du nur wissen, mit welchem User Agent die Bots unterwegs sind. Wenn du dies weißt, dann einfach diesen Artikel umsetzen: Spambots aussperren
Nachteil: Die Bots surfen nicht immer mit einem User Agent durchs Netz, der sie als Suchmaschinen-Bot outet. Häufiger tarnen sie sich auch als 'normaler' menschlicher Surfer. In diesem Fall versagt diese Methode.
entimon hat geschrieben:die steuerung der suchmaschinen geschiet über die robots.txt
Theoretisch richtig.
Nachteil: Die Praxis zeigt aber, dass sich längst nicht alle SuMa-Bots 100%ig dran halten. (Habe dies auch schon bei Google erlebt!)
smart hat geschrieben:..., allerdings wäre es mir doch lieber, sie aus der Ergebnisliste aller Suchmaschinen auszuschließen.
Schütze das Verzeichnis mit einem Passwort mittels .htaccess, siehe hierzu z.B.: Verzeichnisse schützen
Dann findet garantiert kein Suchmaschinen-Bot dieses Seite.
Nachteil: Jedes Mal, wenn du die Seite aufrufst musst du Name und Passwort eingeben. (Dafür funktioniert diese Methode aber zu 100%.)

Packe einfach alle Dateien, auf die du dies anwenden willst, in ein Verzeichnis und erstelle dort eine entsprechende .htaccess-Datei.

Grüße
MagMo