Erstellen einer robots.txt

[kubiak]

So, ersteinaml die Letzte Frage heute Mogen ^^
ich hab da mal ein Zitat für euch...

Manchmal ist es sinnvoll, bestimmte Seiten oder Bereiche einer Site vor der Indexierung zu schützen. Zum Beispiel dann, wenn es sich um Seiten handelt, die sich täglich ändern oder an denen noch gearbeitet wird. Auch Programmdateien, Bilder oder Logfiles will man vielleicht vor Robots schützen.
...
Um das zu ermöglichen, gibt es den Robots Exclusion Standard. Nach diesem Standard muß man eine Textdatei mit dem Namen robots.txt erstellen und diese im Stammverzeichnis der Domain plazieren, so daß Robots sie finden.

Was für ein Format muss diese Datei haben...html, php etc.?
Was kommt da rein?

Habt ihr vielleicht eine Script-Vorlage?

Lieben Gruß
Tristan

[gloriosa]

Hallo,
diese Frage

Was für ein Format muss diese Datei haben...html, php etc.?

hast Du doch schon selbst im Titel dieses Themas beantwortet. : oops:

Weitere Infromationen zum Inhalt der robots.txt findest Du hier.

[kubiak]

Danke für deine Antwort
ich hab mir das mal angeschaut und blicke da nur seeeehr schwer durch!
Ist so eine robots.txt relevant?
Oder kommt eine Webseite auch ohne aus

Wenn nicht, hab ich keine Ahnung was ich in die robots.txt rein schreiben soll...

Gruß
Tristan

[gn#36]

Brauchst du nicht zwingend. Lohnt nur, wenn du bestimmte Bereiche nicht in Suchmaschinen wiederfinden willst.

[modernist]

Wenn man keine robots.txt hat, gibt's aber im Serverlog unschöne Fehlermeldungen, weil gute Suchbots diese Datei abfragen.

[gn#36]

Da gibt's sowieso unzählige Fehlermeldungen, da kommt es dann auch nicht drauf an.

[kubiak]

Ich hab mich dazu entschlossen, eine robots.txt einzubaun.

wenn ich die Datei nun mit dem Befehl fülle...

Code: Alles auswählen

# robots.txt for http://www.aquaristikfreunde.de/
# Zugriff auf alle Dateien erlauben
User-agent: *
Disallow:

gehe ich richtig der Annahme, dass sie denn den Zugriff auf alle Daten freigibt?

Gruß
Tristan

[gn#36]

korrekt: http://de.selfhtml.org/diverses/robots.htm

[Talk19zehn]

Es mag Augenblicke geben, in denen man sich lieber wünscht nicht indexiert, nicht archiviert zu sein?

Eine kleine erste Information von vielen, die es im Netz gibt.


Beste Grüße