Seite 1 von 1
Erstellen einer robots.txt
Verfasst: 29.05.2010 12:36
von kubiak
So, ersteinaml die Letzte Frage heute Mogen ^^
ich hab da mal ein Zitat für euch...
Manchmal ist es sinnvoll, bestimmte Seiten oder Bereiche einer Site vor der Indexierung zu schützen. Zum Beispiel dann, wenn es sich um Seiten handelt, die sich täglich ändern oder an denen noch gearbeitet wird. Auch Programmdateien, Bilder oder Logfiles will man vielleicht vor Robots schützen.
...
Um das zu ermöglichen, gibt es den Robots Exclusion Standard. Nach diesem Standard muß man eine Textdatei mit dem Namen robots.txt erstellen und diese im Stammverzeichnis der Domain plazieren, so daß Robots sie finden.
Was für ein Format muss diese Datei haben...html, php etc.?
Was kommt da rein?
Habt ihr vielleicht eine Script-Vorlage?
Lieben Gruß
Tristan
Eigeninitiative ist ausdrücklich erwünscht !!!!!!!!!!!
Verfasst: 29.05.2010 12:51
von gloriosa
Hallo,
diese Frage
kubiak hat geschrieben:Was für ein Format muss diese Datei haben...html, php etc.?
hast Du doch schon selbst im Titel dieses Themas beantwortet. : oops:
Weitere Infromationen zum Inhalt der
robots.txt findest Du
hier.
Re: Erstellen einer robots.txt
Verfasst: 30.05.2010 23:10
von kubiak
Danke für deine Antwort
ich hab mir das mal angeschaut und blicke da nur seeeehr schwer durch!
Ist so eine robots.txt relevant?
Oder kommt eine Webseite auch ohne aus
Wenn nicht, hab ich keine Ahnung was ich in die robots.txt rein schreiben soll...
Gruß
Tristan
Re: Erstellen einer robots.txt
Verfasst: 31.05.2010 08:38
von gn#36
Brauchst du nicht zwingend. Lohnt nur, wenn du bestimmte Bereiche nicht in Suchmaschinen wiederfinden willst.
Re: Erstellen einer robots.txt
Verfasst: 31.05.2010 12:57
von modernist
Wenn man keine robots.txt hat, gibt's aber im Serverlog unschöne Fehlermeldungen, weil gute Suchbots diese Datei abfragen.
Re: Erstellen einer robots.txt
Verfasst: 31.05.2010 14:42
von gn#36
Da gibt's sowieso unzählige Fehlermeldungen, da kommt es dann auch nicht drauf an.
Re: Erstellen einer robots.txt
Verfasst: 31.05.2010 19:36
von kubiak
Ich hab mich dazu entschlossen, eine robots.txt einzubaun.
wenn ich die Datei nun mit dem Befehl fülle...
Code: Alles auswählen
# robots.txt for http://www.aquaristikfreunde.de/
# Zugriff auf alle Dateien erlauben
User-agent: *
Disallow:
gehe ich richtig der Annahme, dass sie denn den Zugriff auf alle Daten freigibt?
Gruß
Tristan
Re: Erstellen einer robots.txt
Verfasst: 31.05.2010 19:51
von gn#36
Re: Erstellen einer robots.txt
Verfasst: 02.06.2010 21:42
von Talk19zehn
Es mag Augenblicke geben, in denen man sich lieber wünscht nicht indexiert, nicht archiviert zu sein?
Eine kleine erste Information von vielen, die es im Netz gibt.
Beste Grüße