Empfehlung für robot.txt

[labskaus]

Was sind die aktuellen Empfehlungen für die robot.txt

Was sollte alles rein?

[nickvergessen]

Was willst du denn alles verhindern?

[labskaus]

Eigentlich alles, was nicht unbedingt von suchmaschinen gefunden werden soll

Bislang habe ich mal alle *.php die ich als nicht sinnvoll erachte raus geworfen:

Disallow: /config.php
Disallow: /cron.php
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php

Die restlichen Sachen sperre ich ja per chmod oder pre .htaccess, oder?