Seite 6 von 6
Re: Short URLs für phpBB2 (reloaded / robots.txt)
Verfasst: 10.05.2006 02:35
von IPB_Flüchtling
larsneo hat geschrieben:User-agent: *
Disallow: /nuforum/admin/
Disallow: /nuforum/album_mod/
Disallow: /nuforum/cache/
Disallow: /nuforum/db/
Disallow: /nuforum/docs/
Disallow: /nuforum/images/
Disallow: /nuforum/includes/
Disallow: /nuforum/language/
Disallow: /nuforum/mods/
Disallow: /nuforum/templates/
Disallow: /nuforum/xs_mod/
Disallow: /nuforum/album
Disallow: /nuforum/common
Disallow: /nuforum/extension
Disallow: /nuforum/faq
Disallow: /nuforum/groupcp
Disallow: /nuforum/login
Disallow: /nuforum/map
Disallow: /nuforum/memberlist
Disallow: /nuforum/modcp
Disallow: /nuforum/posting
Disallow: /nuforum/privmsg
Disallow: /nuforum/profile
Disallow: /nuforum/rating
Disallow: /nuforum/report
Disallow: /nuforum/search
Disallow: /nuforum/fpost
Disallow: /nuforum/ptopic
Disallow: /nuforum/ntopic
Disallow: /nuforum/post-
Ahoi,
ich bin gerade dabei, meine robots.txt extrem zu entrümpeln. Dabei stellt sich mir die Frage, wie sinnvoll es ist, Einträge wie die oben rot gekennzeichneten überhaupt in der robots.txt zu lassen.
Die Sumas greifen ja ohnehin nicht auf das ModCP zu, weil sie keinen Link dazu finden. Genauso greifen die Sumas nicht aufs ACP zu, und auch nicht auf includierte Dateien, die lang-Ordner etc.
Sind derartige Zeilen in der robots.txt nicht komplett überflüssig? Oder übersehe ich da etwas?
LG, IPB_Flüchtling
Verfasst: 10.05.2006 02:52
von mgutt
Ich bin bisher einfach so vorgegangen, dass ich in der Suchmaschine die Ergebnisse überprüft habe und überflüssigen Content nach und nach gesperrt habe. Du machst aber nichts falsch, wenn Du bestimmte Ordner einfach komplett sperrst. Bedenke, dass in jedem dieser Ordner auch eine index.htm ist, die von den Sumas aufgerufen werden kann.
Daher wäre es unsinnig diese zu speichern. Ich werde die robots.txt dahingehend auch erweitern.
Verfasst: 10.05.2006 13:22
von IPB_Flüchtling
Ahoi mgutt,
danke für die Antwort! Aber die Index-Dateien in den diversen Ordnern sind ja nirgendwo verlinkt. Und selbst wenn ein Spaßvogel einen externen Link auf so einen Ordner setzen sollte, bekäme Google ja ohnehin nur einen 403er oder eine völlig leere HTML-Seite präsentiert. Und wenn sie sowas wirklich in den Index aufnehmen, ist ihnen einfach nicht mehr zu helfen.
Ich habe meine robots.txt gestern jedenfalls von 8124 auf 714 Byte reduziert. Sollte es deshalb in Zukunft irgendwelche Probleme geben, werde ich hier berichten.
LG, IPB_Flüchtling
Verfasst: 19.06.2006 14:52
von thompson
gibt es erfahrungen zu dieser robots.txt variante ?
Verfasst: 19.06.2006 15:52
von IPB_Flüchtling
Ahoi thompson,
habe gerade jetzt das Datencenter 66.249.93.104 gecheckt und dort nur noch einen einzigen Thread meines Forums entdeckt - und zwar noch mit einer alten ftopic-URL (keine Keyword-URL) und einem noch älteren Title.
Ich gehe davon aus, dass auf diesem Datacenter wieder einmal etwas nicht stimmt.
Du musst aber auch wissen, dass ich vor vielleicht zwei Wochen fast alle Foren auf
Privat (versteckt) umgestellt habe. Ein paar Threads gäbe es aber schon noch für Google.
Naja, aber wenn alle Stricke reißen, mache ich meine robots.txt halt noch kürzer:
LG, IPB_Flüchtling