Gesamtes Forum mit robots.txt schützen

[NurNeFrage]

wenn ich mein gesamtes forum vor bots schützen will und mein forum sich im scriptpfad /dumdumboard/ im htdocs verzeichnis befindet, reicht es doch wenn ich ins htdocs verzeichnis eine robots.txt stelle mit folgendem inhalt:

Code: Alles auswählen

User-agent: *
Disallow: /scboard/

ich brauche nicht jede datei / jedes verzeichnis einzeln aufführen... richtig!?

[mad-manne]

Ich kenne mich mit der robots.txt selbst noch nicht so gut aus, aber hier ist glaube ich eine gute Beschreibung ...

Gruss,
Manne.

[IPB_Flüchtling]

wenn ich mein gesamtes forum vor bots schützen will und mein forum sich im scriptpfad /dumdumboard/ im htdocs verzeichnis befindet, reicht es doch wenn ich ins htdocs verzeichnis eine robots.txt stelle mit folgendem inhalt:

Code: Alles auswählen

User-agent: *
Disallow: /scboard/

ich brauche nicht jede datei / jedes verzeichnis einzeln aufführen... richtig!?

Hallo NurNeFrage,

genau genommen ist Deine robots.txt wirkungslos. Laut Deinem Beispiel müsste sie nämlich so lauten:

User-agent: *
Disallow: /dumdumboard/

Die robots.txt gehört immer ins Root-Verzeichnis, wo sich auch die Startseite Deiner Website befindet.

Mit dem zweiten Punkt hast Du Recht: Durch die obige Datei wird alles für Bots gesperrt, was sich im Verzeichnis /dumdumboard/ befindet.

LG, IPB_Flüchtling

[Gumfuzi]

Aber nur für die Bots, die sich auch dran halten

Die bösen Bots sollten lt. nachstehendem Link so ferngehalten werden:
http://www.kloth.net/internet/bottrap.php

[IPB_Flüchtling]

Wobei dazugesagt werden sollte, dass man Gefahr läuft, mit einer Bottrap auch Google einzufangen, da sich diese Suchmaschine auch nicht immer an die robots.txt hält (habe ich selbst beobachtet).

Viele böse Bots kann man aber schon vorsorglich via .htaccess aussperren. Für alle, die sich dafür interessieren, ist folgender Artikel - und das Forum, in dem er gepostet wurde - interessant: http://www.abakus-internet-marketing.de ... -8573.html

LG, IPB_Flüchtling

[NurNeFrage]

genau genommen ist Deine robots.txt wirkungslos. Laut Deinem Beispiel müsste sie nämlich so lauten:

User-agent: *
Disallow: /dumdumboard/

öhm... ja tippfehler!
also in meiner robots.txt steht der richtige scriptpfad... eben scboard! dumdumboard war nur so dahingeschrieben!

ansonsten danke für die schnelle hilfe... den link mit den bösen bots führe ich mir jetzt mal zu gemüte!

[IPB_Flüchtling]

Es gibt Hinweise, dass man dem Googlebot in der robots.txt eine eigene Sektion spendieren sollte, damit er sich auch tatsächlich an die robots.txt hält. Zusätzlich zu User-agent: * sollte in der robots.txt also auch folgendes stehen:

User-agent: Googlebot
Disallow: blabla

Klingt zwar wie eine unnötige Fleißaufgabe, scheint es aber nicht zu sein. Mehr zu diesem Thema kann man hier nachlesen.

LG, IPB_Flüchtling