Also ich will automatisch alle PHP-Seiten über die robots.txt für Google sperren.
Das mache ich so:
Code: Alles auswählen
User-agent: googlebot
Disallow: /*.phpAber dabei ich folgendes Problem, Google holt dann meine Sitemap.php nicht mehr ab, die diese dann auch durch die robots.txt gesperrt wurde.
Code: Alles auswählen
Sitemap Errors
Error Detail
URL restricted by robots.txt URL restricted by robots.txtCode: Alles auswählen
User-agent: googlebot
Disallow: /*.php
Allow: sitemap.php
Jemand ne Idee was man machen könnte?