Short URLs für phpBB2 (reloaded / robots.txt)

michi-w. · Beitrag von **michi-w.** » 26.01.2006 00:03

Müsste das nicht eigentlich so aussehen?

User-agent: Googlebot
Allow: /

User-agent: *
Disallow: /admin/
.
.
.
.

larsneo · Beitrag von **larsneo** » 26.01.2006 00:32

nein. es gibt kein 'allow' in der robots.txt. die erste regel beim google UA sorgt dafür, dass dort generell keine dynamischen inhalte indexiert werden.
wer ganz sichergehen will, sollte auch den gesamten krempel der * UAs bei google explizit listen, dem vernehmen nach wird tante-g gerne individuell angesprochen...

michi-w. · Beitrag von **michi-w.** » 26.01.2006 01:20

Aber das kommt aus dem google FAQ.
http://www.google.com/webmasters/remove.html

larsneo · Beitrag von **larsneo** » 26.01.2006 08:08

...und genau dort steht

Zum Entfernen dynamisch erstellter Seiten verwenden Sie den folgenden robots.txt-Eintrag:
User-agent: Googlebot
Disallow: /*?

der explizite allow eintrag (auch wenn google den abweichend vom standard inzwischen listet) macht keinen sinn, da er gleichbedeutend mit keinem eintrag ist.

michi-w. · Beitrag von **michi-w.** » 26.01.2006 11:39

Aha!

Was anderes ...
Du hast doch mal einen snippets für dynamische Meta`s gemacht.
Könnte man es so einrichten, das dort nur Wörter mit mehr als 5 Buchstaben verwendet werden?

Damit würde eine Großzahl von Bindewörtern usw. rausgefiltert.

Gruß
michi-w.

larsneo · Beitrag von **larsneo** » 26.01.2006 12:58

im verlaufe von *klick* wurde die ursprüngliche idee danke mithilfe zahlreicher beteiligter ziemlich verändert - ich muss allerdings eingestehen, dass ich das thema nicht weiter verfolgt habe, da die bedeutung von keywords und description recht kleine ist...

BB-BF-BM · Beitrag von **BB-BF-BM** » 18.02.2006 09:27

Wodurch genau ist diese robots.txt besser als die in dem Beitrag der Short URLs angegebene?

larsneo · Beitrag von **larsneo** » 18.02.2006 10:07

sie ist a) valide und b) vermeidet sogenannten double content wesentlich effektiver

BB-BF-BM · Beitrag von **BB-BF-BM** » 18.02.2006 11:57

hat das irgendenien besonderen Grund, warum du sie im Originalthread so abgeändert hast?

larsneo · Beitrag von **larsneo** » 18.02.2006 18:32

hat das irgendenien besonderen Grund, warum du sie im Originalthread so abgeändert hast?

'originalthread' ist relativ - es gib das klassische rewrite mit einer (halbwegs) funktionierenden robots.txt und es gibt den reloaded mod mit dieser robots.txt - die gründe für diese variante sind im ersten beitrag gepostet.