suchmaschinenfreundlich?

[skdluxe]

Puh, viel Stoff!

Wie sieht denn eine "norm" robot.txt , für eine "normales" Forum aus? Ohne short url???
Was sollte da drin sein?

[larsneo]

Wie sieht denn eine "norm" robot.txt , für eine "normales" Forum aus? Ohne short url???
Was sollte da drin sein?

gar nichts - da du in aller regel nichts ausschliessen willst...

[BraveEagle]

@ larenso wie siehts nun mit der robots.txt aus? so i.O.?

[Christian Benz]

Hi BraveEagle,

Code: Alles auswählen

Disallow: /*?

Sagt dann, dass alle URLs die mit einem "?" aufhören nicht mit indiziert werden dürfen?

Jein. Es darf mit ? aufhören aber auch noch irgendwas danach folgen.

User-agent: *
Disallow: /*?
[...]
Disallow: /ptopic*.html$
Disallow: /ntopic*.html$
[...]

Das rote (* Platzhalter und $ Ende-Anker) wird - wenn man der Info auf dieser Seite trauen darf - derzeit nur vom Googlebot unterstützt. Wenn du aber "User-agent: *" schreibst gelten diese Anweisungen für alle Bots. D.h. jeder Bot, mit Ausnahme von Googlebot, kapiert das mit den Platzhaltern nicht.

Lass deine robots.txt mal hier durchlaufen:
http://www.searchengineworld.com/cgi-bin/robotcheck.cgi

Weiterer Lesestoff:
http://www.google.de/webmasters/3.html#B3

Gruß,
Chris

[BraveEagle]

Lass deine robots.txt mal hier durchlaufen:
http://www.searchengineworld.com/cgi-bin/robotcheck.cgi

Dann sagt er mir das:

Code: Alles auswählen

17	warning	Possible Missplaced Wildcard. Although Google supports wildcards in the Disallow field, it is nonstandard.

Disallow: /ptopic*.html$
18	warning	Possible Missplaced Wildcard. Although Google supports wildcards in the Disallow field, it is nonstandard.

Disallow: /ntopic*.html$
19	warning	Possible Missplaced Wildcard. Although Google supports wildcards in the Disallow field, it is nonstandard.

Disallow: /ftopic*asc*.html$

Hmm dann wäre die robots.txt eigentlich nur für den googlebot gut und für den Rest nicht. Mich wundert nur ein wenig, dass es bisher anscheinend keine robots.txt gibt, die für den shorturl mod geschrieben wurde und suchmaschinenfreundlich ist

[Christian Benz]

Hi,

Hmm dann wäre die robots.txt eigentlich nur für den googlebot gut und für den Rest nicht.

Ist doch nicht weiter schlimm. Du kannst ja zuerst mal nur die Anweisungen explizit für den Googlebot angeben ...

Code: Alles auswählen

User-agent: Googlebot
Disallow: /*?
Disallow: /admin/
Disallow: /db/
Disallow: /images/
[...]
Disallow: /ptopic*.html$
[... bla bla usw.]

... und danach noch mal die Anweisungen für den ganzen "Spiderbot-Rest" (nur dieses Mal eben ohne Platzhalter bei den Disallow-Angaben):

Code: Alles auswählen

User-agent: *
Disallow: /admin/
Disallow: /db/
Disallow: /images/
[... bla bla usw.]

Gruß,
Chris

[BraveEagle]

k habe nun diese robots.txt:

Code: Alles auswählen

User-agent: Googlebot
Disallow: /*?
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /config.php
Disallow: /profile.php
Disallow: /groupcp.php
Disallow: /memberlist.php 
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /viewonline.php
Disallow: /faq.php
Disallow: /ptopic*.html$
Disallow: /ntopic*.html$
Disallow: /ftopic*asc*.html$

User-agent: *
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /config.php
Disallow: /profile.php
Disallow: /groupcp.php
Disallow: /memberlist.php 
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /viewonline.php
Disallow: /faq.php

Das müsste ja nun so stimmen oder?

[skdluxe]

gar nichts - da du in aller regel nichts ausschliessen willst...

Aber macht es Sinn, dass "er" jede *.php durchsucht!

[BraveEagle]

ach ja wenn ich nun die robots.txt checken lasse kommt:

Code: Alles auswählen

2	warning	Possible Missplaced Wildcard. Although Google supports wildcards in the Disallow field, it is nonstandard.

Disallow: /*?
18	warning	Possible Missplaced Wildcard. Although Google supports wildcards in the Disallow field, it is nonstandard.

Disallow: /ptopic*.html$
19	warning	Possible Missplaced Wildcard. Although Google supports wildcards in the Disallow field, it is nonstandard.

Disallow: /ntopic*.html$
20	warning	Possible Missplaced Wildcard. Although Google supports wildcards in the Disallow field, it is nonstandard.

Disallow: /ftopic*asc*.html$

kann ich die nun so lassen?

[Christian Benz]

Hi,

müßte imho so passen, da jetzt die Zeilen mit den Wildcards nur noch für'n Googlebot gelten und die anderen Bots den unteren robots.txt-Teil nutzen.

Gruß,
Chris