phpBB.de

Was sind die aktuellen Empfehlungen für die robot.txt

Was sollte alles rein?

Was willst du denn alles verhindern?

Eigentlich alles, was nicht unbedingt von suchmaschinen gefunden werden soll

Bislang habe ich mal alle *.php die ich als nicht sinnvoll erachte raus geworfen:

Disallow: /config.php
Disallow: /cron.php
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php

Die restlichen Sachen sperre ich ja per chmod oder pre .htaccess, oder?