Short URLs für phpBB2 (reloaded / robots.txt)

[IPB_Flüchtling]

User-agent: *
Disallow: /nuforum/admin/
Disallow: /nuforum/album_mod/
Disallow: /nuforum/cache/
Disallow: /nuforum/db/
Disallow: /nuforum/docs/
Disallow: /nuforum/images/
Disallow: /nuforum/includes/
Disallow: /nuforum/language/
Disallow: /nuforum/mods/
Disallow: /nuforum/templates/
Disallow: /nuforum/xs_mod/
Disallow: /nuforum/album
Disallow: /nuforum/common
Disallow: /nuforum/extension
Disallow: /nuforum/faq
Disallow: /nuforum/groupcp
Disallow: /nuforum/login
Disallow: /nuforum/map
Disallow: /nuforum/memberlist
Disallow: /nuforum/modcp
Disallow: /nuforum/posting
Disallow: /nuforum/privmsg
Disallow: /nuforum/profile
Disallow: /nuforum/rating
Disallow: /nuforum/report
Disallow: /nuforum/search
Disallow: /nuforum/fpost
Disallow: /nuforum/ptopic
Disallow: /nuforum/ntopic
Disallow: /nuforum/post-

Ahoi,

ich bin gerade dabei, meine robots.txt extrem zu entrümpeln. Dabei stellt sich mir die Frage, wie sinnvoll es ist, Einträge wie die oben rot gekennzeichneten überhaupt in der robots.txt zu lassen.

Die Sumas greifen ja ohnehin nicht auf das ModCP zu, weil sie keinen Link dazu finden. Genauso greifen die Sumas nicht aufs ACP zu, und auch nicht auf includierte Dateien, die lang-Ordner etc.

Sind derartige Zeilen in der robots.txt nicht komplett überflüssig? Oder übersehe ich da etwas?

LG, IPB_Flüchtling

[mgutt]

Ich bin bisher einfach so vorgegangen, dass ich in der Suchmaschine die Ergebnisse überprüft habe und überflüssigen Content nach und nach gesperrt habe. Du machst aber nichts falsch, wenn Du bestimmte Ordner einfach komplett sperrst. Bedenke, dass in jedem dieser Ordner auch eine index.htm ist, die von den Sumas aufgerufen werden kann.

Daher wäre es unsinnig diese zu speichern. Ich werde die robots.txt dahingehend auch erweitern.

[IPB_Flüchtling]

Ahoi mgutt,

danke für die Antwort! Aber die Index-Dateien in den diversen Ordnern sind ja nirgendwo verlinkt. Und selbst wenn ein Spaßvogel einen externen Link auf so einen Ordner setzen sollte, bekäme Google ja ohnehin nur einen 403er oder eine völlig leere HTML-Seite präsentiert. Und wenn sie sowas wirklich in den Index aufnehmen, ist ihnen einfach nicht mehr zu helfen.

Ich habe meine robots.txt gestern jedenfalls von 8124 auf 714 Byte reduziert. Sollte es deshalb in Zukunft irgendwelche Probleme geben, werde ich hier berichten.

LG, IPB_Flüchtling

[thompson]

gibt es erfahrungen zu dieser robots.txt variante ?

[IPB_Flüchtling]

Ahoi thompson,

habe gerade jetzt das Datencenter 66.249.93.104 gecheckt und dort nur noch einen einzigen Thread meines Forums entdeckt - und zwar noch mit einer alten ftopic-URL (keine Keyword-URL) und einem noch älteren Title.

Ich gehe davon aus, dass auf diesem Datacenter wieder einmal etwas nicht stimmt.

Du musst aber auch wissen, dass ich vor vielleicht zwei Wochen fast alle Foren auf Privat (versteckt) umgestellt habe. Ein paar Threads gäbe es aber schon noch für Google.

Naja, aber wenn alle Stricke reißen, mache ich meine robots.txt halt noch kürzer:

Code: Alles auswählen

User-agent: * 
Disallow: /forum/

LG, IPB_Flüchtling