Seite 1 von 1

Suchmaschinen Robots

Verfasst: 09.08.2003 00:02
von rox²³
Mich würde mal gerne interessieren wie man das macht das die Robots (Spider, Bots oder wie man sie nenen will) von Suchmaschinen jedes Wort deines Forums aufnehmen und in den Index setzen.

Habe schon viel darüber gelesen aber noch nie ne anleitung gefunden wie man es macht.

Geht das auch bei einer DYNDNS wenn man sozusagen von zuhause aus hostet?

Verfasst: 10.08.2003 02:01
von rox²³
keiner der das weiß ? :(

Verfasst: 10.08.2003 07:48
von RazielKanos
Einen "Rotot" zu erstellen der von einer Spider erfasst wird ist einfach, den allerdings dynamisch zu aktualisieren wird schwer, zumal wenn er zu groß wird viele Spider ihn ignorieren werden.

Den Robot erstellst du ganz einfach, in dem du in einem ROOT Verzeichnis der Domain eine Datei robot.txt erstellst, und da packst du deine Schlagwörter rein.
Wie gesagt, Ab einer bestimmten größe ignorieren viele Spider die Robots, da sonnst die Datenmenge der Suchmaschienen zu voll werden würde, und ich denke das auch nur bestimmte Schlagworte reichen dürften....

Verfasst: 10.08.2003 12:23
von rox²³
Ahh danke so geht das also :lol:

Verfasst: 10.08.2003 12:32
von rox²³
Noch was. ich habe mir da schon was überlegt wie ich das Dynamisch ab besten hinbekomme. Ich nutze einfach den Webspace von meinen Arcoraccount als eingang dort schmeiße ich die robot.txt ins Root und erstalle eine indexhtml die auf meine Dyndns Adresse verweist. So bin ich immer erreichbar für die Suchmaschine auch wenn ich mal nicht erreichbar bin . Also vom Provider getrennt worden bin und die URL wird auch nicht aus dem Index gelösch wie es mir schon einmal passiert ist.

Ob das funktionieret was meint ihr?