Hallo,
ich nutze folgende robots.txt, welche ich empfehlen würde:
Code: Alles auswählen
User-agent: *
Disallow: /adm/
Disallow: /cache/
Disallow: /docs/
Disallow: /download/
Disallow: /files/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /store/
Disallow: /styles/
Disallow: /common.php
Disallow: /config.php
Disallow: /mcp.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
In der Liste sind alle Seiten aufgeführt, auf denen der Bot nichts zu suchen hat - alle anderen sollten erlaubt werden.
Was Parameter in der Url betrifft, kannst du dies in den Bing & Google Webmaster-Tools einstellen. Dort kannst du die sid auf ignorieren stellen und damit funktioniert das ganze problemlos.
Hast du dich auch schon bei den Bing Webmaster-Tools registriert?
Bedenke, dass diese Änderungen erst nach ca. 3-7 Tage vollständig umgesetzt werden. Dann wird Google alle Inhalte analysieren und nach ca. 14 Tagen müsstest du dann in der Suche nach oben wandern. Anhand der Statistiken in den Webmaster Tools kannst du Links auf deine Seite, gefundene Keywords und die Positionierung in der Suche sehen. Die Statistik ist aber immer 3-4 Tage verzögert
