Moinmoin
Wuppi hat geschrieben:Aber kurz zu deiner robots.txt ... die interessiert google garnicht - viel zu allgemein.
Das stimmt nicht. Meine Angaben in meiner robots.txt sind - für meinen Fall - völlig ausreichend, auch für Google.
Wuppi hat geschrieben:Schau dir mal meine an:
www.numismatikforum.de/robots.txt - da gibbet nen extra Google-Abschnitt - google kann als einzigster Bot ?* in der robots.txt auswerten ...
Das stimmt zwar; eine Unterscheidung interessiert aber in diesem Fall nicht, denn...
Wuppi hat geschrieben:da profile.php etwas ganz anderes ist als profile.php?* wird die bei dir natürlich gespidert.
...denn diese Aussage ist so nicht richtig. "Disallow: profile.php" (ohne ?*) versteht auch Google und gilt auch automatisch für dynamische Seiten mit angehängten Werten; ich brauch nicht extra noch profile.php?* exkludieren, das ist unnötig, da eigtl. sogar doppelt gemoppelt...
Deine robots.txt ist demnach zum Beispiel an einigen Stellen nicht optimal erstellt, da bei dir z.B.
und vorkommt, wobei letzteres gar nicht nötig wäre, da es bereits durch die erste Angabe "abgedeckt" wird...
Die Angabe ?* brauch ich nur, wenn ich ausschließlich dynamische Inhalte aussperren will (nicht aber die statischen), ohne ?* sperre ich
alle Inhalte unter der angebenen URL, und zwar eben
auch die dynamischen.
Ich glaube, du verwechselt den Unterschied zwischen
inhaltlich erfassten (und im Suchindex aufgenommenen) Seiten und
bloß erfassten URLs. Bei Google kann man via einer robots.txt nur das Indizieren von Seiteninhalten verbieten, nicht aber das Erfassen der URLs. Bei
site:... allerdings werden allerdings auch die erfassten (aber nicht indizierten) Seiten angezeigt...
Sieh dir z.B. deine eigene Seite an:
http://www.google.de/search?q=site%3Anumismatikforum.de - da wirst du auch jede Menge URLs finden, die du eigentl. via robots.txt ausgesperrt hast. Sie werden angezeigt, auch wenn der Inhalt nicht erfasst wurde, und das lässt sich m.W. auch nicht mit einer robots.txt verhindern...
Wuppi hat geschrieben:Ich versuch jetzt bei mir einigen Müll zu entfernen - hab div. links mit rel="nofollow" ergänzt (dieser neue Link-zusatz - vorallem für Blogs haben die SuMas das ins Programm genommen) - ein Link der so gemarkert ist, wird nicht mehr verfolgt. und meine robots.txt etwas erweitert.
Das ist noch relativ neu und ich stehe dieser Einführung noch etwas kritisch gegenüber.
Siehe:
http://www.itst.org/nonofollow/ und
http://www.perun.net/2005/01/25/meinungen-zu-nofollow/