Seite 5 von 6
Verfasst: 26.01.2006 00:03
von michi-w.
Müsste das nicht eigentlich so aussehen?
Code: Alles auswählen
User-agent: Googlebot
Allow: /
User-agent: *
Disallow: /admin/
.
.
.
.
Verfasst: 26.01.2006 00:32
von larsneo
nein. es gibt kein 'allow' in der robots.txt. die erste regel beim google UA sorgt dafür, dass dort generell keine dynamischen inhalte indexiert werden.
wer ganz sichergehen will, sollte auch den gesamten krempel der * UAs bei google explizit listen, dem vernehmen nach wird tante-g gerne individuell angesprochen...
Verfasst: 26.01.2006 01:20
von michi-w.
Verfasst: 26.01.2006 08:08
von larsneo
...und genau dort steht
Zum Entfernen dynamisch erstellter Seiten verwenden Sie den folgenden robots.txt-Eintrag:
User-agent: Googlebot
Disallow: /*?
der explizite allow eintrag (auch wenn google den abweichend vom standard inzwischen listet) macht keinen sinn, da er gleichbedeutend mit keinem eintrag ist.
Verfasst: 26.01.2006 11:39
von michi-w.
Aha!
Was anderes ...
Du hast doch mal einen snippets für dynamische Meta`s gemacht.
Könnte man es so einrichten, das dort nur Wörter mit mehr als 5 Buchstaben verwendet werden?
Damit würde eine Großzahl von Bindewörtern usw. rausgefiltert.
Gruß
michi-w.
Verfasst: 26.01.2006 12:58
von larsneo
im verlaufe von
*klick* wurde die ursprüngliche idee danke mithilfe zahlreicher beteiligter ziemlich verändert - ich muss allerdings eingestehen, dass ich das thema nicht weiter verfolgt habe, da die bedeutung von keywords und description recht kleine ist...
Verfasst: 18.02.2006 09:27
von BB-BF-BM
Wodurch genau ist diese robots.txt besser als die in dem
Beitrag der Short URLs angegebene?
Verfasst: 18.02.2006 10:07
von larsneo
sie ist a) valide und b) vermeidet sogenannten double content wesentlich effektiver
Verfasst: 18.02.2006 11:57
von BB-BF-BM
hat das irgendenien besonderen Grund, warum du sie im Originalthread so abgeändert hast?
Verfasst: 18.02.2006 18:32
von larsneo
hat das irgendenien besonderen Grund, warum du sie im Originalthread so abgeändert hast?
'originalthread' ist relativ - es gib das klassische rewrite mit einer (halbwegs) funktionierenden robots.txt und es gibt den reloaded mod mit dieser robots.txt - die gründe für diese variante sind im ersten beitrag gepostet.