Über htaccess einelne Dateien vom Google-Crawl ausschließen?

Fragen zu allen Themen rund ums Programmieren außerhalb von phpBB können hier gestellt werden - auch zu anderen Programmiersprachen oder Software wie Webservern und Editoren.
Antworten
Benutzeravatar
smart
Mitglied
Beiträge: 767
Registriert: 25.01.2005 02:05
Kontaktdaten:

Über htaccess einelne Dateien vom Google-Crawl ausschließen?

Beitrag von smart »

Liebe Community,
ich habe auf meinem Server eine Seite erstellt, auf der ich alle Links zu meinen Projekten erstellt habe. Gibt man nun zwei der Seiten bei z.B. Google ein, erscheint meist meine Admin-Übersichtsseite, die zwar keine Links und Infos erhält, die geheim sind, allerdings wäre es mir doch lieber, sie aus der Ergebnisliste aller Suchmaschinen auszuschließen.

Hat jemand eine Idee, wie ich das anstellen kann? Ich habe einmal gelesen, dass dies per .htaccess gehen soll, weiß aber weder, ob man dabei auch eine einzelne Datei ausschließen kann, noch, wo ich das gelesen habe.

Habt ihr einen Tipp?
Benutzeravatar
smart
Mitglied
Beiträge: 767
Registriert: 25.01.2005 02:05
Kontaktdaten:

Beitrag von smart »

*bump*
Benutzeravatar
area57
Mitglied
Beiträge: 2111
Registriert: 26.12.2005 19:43
Wohnort: Berlin
Kontaktdaten:

Beitrag von area57 »

die steuerung der suchmaschinen geschiet über die robots.txt
Hier mal ein interessanter link dazu:
>>>HIER MAL GUCKEN<<<

Windows - Ein Slangebegriff der Indianer: Weißer Mann starrt durch Glasscheibe auf Sanduhr
In a world without walls - Who need's windows and gates???
Benutzeravatar
MagMo
Ehemaliges Teammitglied
Beiträge: 584
Registriert: 30.10.2005 16:06
Wohnort: Köln
Kontaktdaten:

Re: Über htaccess einelne Dateien vom Google-Crawl ausschlie

Beitrag von MagMo »

Hi,
smart hat geschrieben:Hat jemand eine Idee, wie ich das anstellen kann? Ich habe einmal gelesen, dass dies per .htaccess gehen soll, weiß aber weder, ob man dabei auch eine einzelne Datei ausschließen kann, noch, wo ich das gelesen habe.
Du kannst das mittels .htaccess machen, dafür musst du aber die IP-Bereiche, die die Suchmaschinen verwenden kennen (eine Runde googeln). Wenn du die Bereiche rausgefunden hast dann hilft dir dieses hier weiter: IP's und IP-Bereiche aussperren
Nachteil: Die IP-Bereiche können sich ändern, d.h. hier musst du dich und die .htaccess ständig auf dem Laufenden halten.

Die zweite Möglichkeit wäre die Suchmaschinen-Bots mittels .htaccess und User Agent auszuschließen. Dazu musst du nur wissen, mit welchem User Agent die Bots unterwegs sind. Wenn du dies weißt, dann einfach diesen Artikel umsetzen: Spambots aussperren
Nachteil: Die Bots surfen nicht immer mit einem User Agent durchs Netz, der sie als Suchmaschinen-Bot outet. Häufiger tarnen sie sich auch als 'normaler' menschlicher Surfer. In diesem Fall versagt diese Methode.
entimon hat geschrieben:die steuerung der suchmaschinen geschiet über die robots.txt
Theoretisch richtig.
Nachteil: Die Praxis zeigt aber, dass sich längst nicht alle SuMa-Bots 100%ig dran halten. (Habe dies auch schon bei Google erlebt!)
smart hat geschrieben:..., allerdings wäre es mir doch lieber, sie aus der Ergebnisliste aller Suchmaschinen auszuschließen.
Schütze das Verzeichnis mit einem Passwort mittels .htaccess, siehe hierzu z.B.: Verzeichnisse schützen
Dann findet garantiert kein Suchmaschinen-Bot dieses Seite.
Nachteil: Jedes Mal, wenn du die Seite aufrufst musst du Name und Passwort eingeben. (Dafür funktioniert diese Methode aber zu 100%.)

Packe einfach alle Dateien, auf die du dies anwenden willst, in ein Verzeichnis und erstelle dort eine entsprechende .htaccess-Datei.

Grüße
MagMo
Antworten

Zurück zu „Coding & Technik“