Also ich will automatisch alle PHP-Seiten über die robots.txt für Google sperren.
Das mache ich so:
Code: Alles auswählen
User-agent: googlebot
Disallow: /*.php

Aber dabei ich folgendes Problem, Google holt dann meine Sitemap.php nicht mehr ab, die diese dann auch durch die robots.txt gesperrt wurde.
Code: Alles auswählen
Sitemap Errors
Error Detail
URL restricted by robots.txt URL restricted by robots.txt
Code: Alles auswählen
User-agent: googlebot
Disallow: /*.php
Allow: sitemap.php

Jemand ne Idee was man machen könnte?