phpBB.de

Google Webmastertools meckert 'rum, das keine robots.txt vorhanden wäre.
Um jetzt eine optimale robots.txt zu haben würde ich gerne auf Eure Hilfe zurückgreifen.
Bin dankbar für jede Hilfe.

http://www.robotstxt.org/robotstxt.html
Da steht alles Wissenswerte. Woher sollen wir wissen, welche Ordner oder Seiten du für welche Bots bzw. welche Bots du ganz exkludieren möchtest?

Wenn du keine Einschränkungen möchtest, dann reicht

Hello, ergänzend

viewtopic.php?p=1229458#p1229458

Bitte deine Verzeichnisstrukturen beachten (Pfade für Disallow-Verzeichnisse und -Dateien ggf. anpassen).

Grüße

ich möchte das nur die Eingangsseite http://forum.morbusosler.info indeziert bzw gecrawlt wird.
Meine robots.tst sieht zur Zeit so aus:

# robots.txt zu http://forum.morbusosler.info/

User-agent: *
Disallow: /adm/
Disallow: /cache/
Disallow: /download/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /store/
Disallow: /styles/
Disallow: /common.php
Disallow: /config.php
Disallow: /faq.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /viewonline.php

Sitemap: /forum.morbusosler.info_sitemap.xml?orderby=updated

Kann man da noch etwas dran feilen?

Gruß aus Berlin

DOGSCH

Hello, ich, als Gast kann gar nix lesen in deinem Forum und ob die Suchmaschinen zugelassen sind und spidern dürfen, kannst du im ACP einrichten ( Rechtevergaben etc. ), falls noch nicht geschehen. Neben dem Abgleich der genannten Liste von Dr. Death und einer Anpassung von Pfaden etc., fiele mir noch das Impressum ein und etwaige Verzeichnisse, die Niemanden etwas angehen. Des Weiteren gewisse *BadBots anzusprechen, die auf die robots.txt reagieren, wäre evtl. ratsam, sofern nicht anderweitig "ausgesperrt".
*Das Internet vergisst ja bekanntermaßen "nie"...
Grüße