phpBB.de - Die deutsche phpBB-Community
https://www.phpbb.de/community/
gar nichts - da du in aller regel nichts ausschliessen willst...Wie sieht denn eine "norm" robot.txt , für eine "normales" Forum aus? Ohne short url???
Was sollte da drin sein?
Jein. Es darf mit ? aufhören aber auch noch irgendwas danach folgen.Sagt dann, dass alle URLs die mit einem "?" aufhören nicht mit indiziert werden dürfen?Code: Alles auswählen
Disallow: /*?
Das rote (* Platzhalter und $ Ende-Anker) wird - wenn man der Info auf dieser Seite trauen darf - derzeit nur vom Googlebot unterstützt. Wenn du aber "User-agent: *" schreibst gelten diese Anweisungen für alle Bots. D.h. jeder Bot, mit Ausnahme von Googlebot, kapiert das mit den Platzhaltern nicht.User-agent: *
Disallow: /*?
[...]
Disallow: /ptopic*.html$
Disallow: /ntopic*.html$
[...]
Dann sagt er mir das:Christian Benz hat geschrieben: Lass deine robots.txt mal hier durchlaufen:
http://www.searchengineworld.com/cgi-bin/robotcheck.cgi
Code: Alles auswählen
17 warning Possible Missplaced Wildcard. Although Google supports wildcards in the Disallow field, it is nonstandard.
Disallow: /ptopic*.html$
18 warning Possible Missplaced Wildcard. Although Google supports wildcards in the Disallow field, it is nonstandard.
Disallow: /ntopic*.html$
19 warning Possible Missplaced Wildcard. Although Google supports wildcards in the Disallow field, it is nonstandard.
Disallow: /ftopic*asc*.html$Ist doch nicht weiter schlimm. Du kannst ja zuerst mal nur die Anweisungen explizit für den Googlebot angeben ...Hmm dann wäre die robots.txt eigentlich nur für den googlebot gut und für den Rest nicht.
Code: Alles auswählen
User-agent: Googlebot
Disallow: /*?
Disallow: /admin/
Disallow: /db/
Disallow: /images/
[...]
Disallow: /ptopic*.html$
[... bla bla usw.]Code: Alles auswählen
User-agent: *
Disallow: /admin/
Disallow: /db/
Disallow: /images/
[... bla bla usw.]Code: Alles auswählen
User-agent: Googlebot
Disallow: /*?
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /config.php
Disallow: /profile.php
Disallow: /groupcp.php
Disallow: /memberlist.php
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /viewonline.php
Disallow: /faq.php
Disallow: /ptopic*.html$
Disallow: /ntopic*.html$
Disallow: /ftopic*asc*.html$
User-agent: *
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /config.php
Disallow: /profile.php
Disallow: /groupcp.php
Disallow: /memberlist.php
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /viewonline.php
Disallow: /faq.phpAber macht es Sinn, dass "er" jede *.php durchsucht!larsneo hat geschrieben:gar nichts - da du in aller regel nichts ausschliessen willst...
Code: Alles auswählen
2 warning Possible Missplaced Wildcard. Although Google supports wildcards in the Disallow field, it is nonstandard.
Disallow: /*?
18 warning Possible Missplaced Wildcard. Although Google supports wildcards in the Disallow field, it is nonstandard.
Disallow: /ptopic*.html$
19 warning Possible Missplaced Wildcard. Although Google supports wildcards in the Disallow field, it is nonstandard.
Disallow: /ntopic*.html$
20 warning Possible Missplaced Wildcard. Although Google supports wildcards in the Disallow field, it is nonstandard.
Disallow: /ftopic*asc*.html$