[3.3] robots.txt

[chris1278]

Also erstmal entschuldige ich mich falls ich das in das falsche Themen-Forum gestellt habe.

Meine Frage.

Ich habe eine robots.txt mit folgendem Inhalt erstellt:

Code: Alles auswählen

User-agent: *
Disallow:
/adm/
/assets/
/bin/
/cache/
/config/
/docs/
/download/
/dumper/
/ext/
/files/
/images/
/includes/
/language/
/phpbb/
/store/
/vendor
Allow:
/styles/
/

Der soll also eigentlich nur das root Verzeichnis und den styles Ordner crawlen können.

Die frage ist reichen diese beiden Sachen so aus das das Forum bei Suchmaschinen indexiert werden kann. Da ich mich mit der Materie noch nicht so auseinander gesetzt habe weiß ich leider nicht direkt welche Verzeichnisse ich dafür erlauben muss. Die Suchmaschinen sollen letzten endlich nur die Verzeichnisse durchsuchen dürfen die nötig sind und alle anderen sollten gesperrt sein.

[Dr.Death]

Code: Alles auswählen

User-agent: *
Crawl-delay: 30
Disallow: /adm
Disallow: /bin
Disallow: /cache
Disallow: /config
Disallow: /docs
Disallow: /downloads
Disallow: /files
Disallow: /includes
Disallow: /install
Disallow: /language
Disallow: /store
Disallow: /vendor
Disallow: /common.php
Disallow: /config.php
Disallow: /download.php
Disallow: /mcp.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /memberlist.php
Disallow: /search.php
Disallow: /web.config
Disallow: /external.php

[vfrblue]

Und das ist meine: pastebin/?mode=view&s=79

[chris1278]

Ok das heist damit ist alles gespert und nur das was für suchmaschienen wichtig ist erlaubt?

@vrfblue ich geh mal davon aus das du prinzipiel eine menge bots von vorne rein aussperst. zumindest sieht es für mich danach aus.

Aber in erster linie geht es mir drum welche sachen also verzeichnisse und dateien erlaubt werden müssen um gecrawlt zu werden und welche verboten werden. Und das bezugnehmend auf alle bots.

[vfrblue]

Ich komme damit gut zurecht. Google, Bing und Yahoo crawlen nur das, was sie sollen und die anderen sind aussen vor.

[chris1278]

Mir geht es in erster linie was mus ich mindestens erlauben um crawler mein forum indexieren lassen zu können und der rest soll gesperrt sein. Das dann für alle bots. Das man später noch andere bots prinzipiel sperren kann ist aber gut zu wissen.

[vfrblue]

Es kommt ja darauf an, in welchen Regionen deine Webseite "erscheinen" soll. Wenn es nur im deutschen Raum sein soll, dann sind alle "ausländischen" Crawler und Bots eigentlich überflüssig und klauen dir nur Ressourcen. Deswegen sind bei mir nur die Notwendigen erlaubt.
Falls du alle Verzeichnisse sperrst, kann es vorkommen, dass Google meckert, weil er/sie/es nicht auf das Gewünschte zugreifen kann (robots.txt verhindert Indexierung).

[chris1278]

Ja darum fragte ich ja was ich unbedingt erlauben muss für eine Indexierung. Rest soll zu sein. Und die Seite liegt auf einer .de Domain. Also deutsch aber auch vom Ausland besucht. Sprich ausländische Mitglieder.