larsneo war vorher schneller und hat gepostet, als ich noch geschrieben habe.
Zur robots.txt:
Man sollte Google sowieso eine eigene Sektion spendieren, da der Googlebot dazu neigt, sich von User-agent: * nicht in jedem Fall angesprochen zu fühlen....
Sobald man Wildcards wie * benutzt, muss man als User-agent unbedingt den Googlebot angeben, weil Wildcards nur (?) von Google unterstützt werden.
Ich poste jetzt mal exemplarisch einen Auszug aus meiner eigenen robots.txt. Manche Einträge mögen überflüssig sein (Motto: doppelt gemoppelt), aber die robots.txt ist wenigstens valide - und sie funktioniert bei mir bestens:
Code: Alles auswählen
User-agent: Googlebot
Disallow: /*?
Disallow: /forum/admin/
Disallow: /forum/db/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/language/
Disallow: /forum/templates/
Disallow: /forum/common.php
Disallow: /forum/faq.php
Disallow: /forum/config.php
Disallow: /forum/groupcp.php
Disallow: /forum/modcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/privmsg.php
Disallow: /forum/privmsg.php?
Disallow: /forum/profile.php
Disallow: /forum/profile.php?
Disallow: /forum/posting.php
Disallow: /forum/posting.php?
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/search.php?
Disallow: /forum/viewonline.php
Disallow: /forum/viewtopic.php
Disallow: /forum/viewtopic.php?
Disallow: /forum/viewforum.php
Disallow: /forum/viewforum.php?
Disallow: /forum/login.php
Disallow: /forum/user
Disallow: /forum/user*
User-agent: *
Disallow: /forum/admin/
Disallow: /forum/db/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/language/
Disallow: /forum/templates/
Disallow: /forum/common.php
Disallow: /forum/faq.php
Disallow: /forum/config.php
Disallow: /forum/groupcp.php
Disallow: /forum/modcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/privmsg.php
Disallow: /forum/privmsg.php?
Disallow: /forum/profile.php
Disallow: /forum/profile.php?
Disallow: /forum/posting.php
Disallow: /forum/posting.php?
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/search.php?
Disallow: /forum/viewonline.php
Disallow: /forum/login.php
Disallow: /forum/viewtopic.php
Disallow: /forum/viewforum.php
Disallow: /forum/viewtopic.php?
Disallow: /forum/viewforum.php?
Disallow: /forum/user