Google Links sind komisch...

[IPB_Flüchtling]

Hallo FatFreddy,

vielleicht machen wir uns in Bezug auf Google auch einfach zuviel Gedanken. Perfekt wird es sowieso nie. Aber was mit halbwegs vertretbarem Aufwand getan werden kann, haben wir getan.

(Du ganz sicher; ich halt, so gut ich es vermochte. Bin dennoch stolz auf mich. Gestern habe ich auch noch die Jumpbox restlos entfernt, was zwar für Sumas nichts bringt, wohl aber für die Performance des Forums. Musste an die 33 Dateien dafür anpassen... Und optisch gefällt es mir jetzt auch besser.)

WICHTIG:

Ich habe mir erlaubt, Deine robots.txt anzusehen, und musste feststellen, dass sie nicht valide ist. Kannst Du z.B. mit diesen Validatoren nachprüfen:

http://www.searchengineworld.com/cgi-bin/robotcheck.cgi
http://tool.motoricerca.info/robots-checker.phtml

Das Hauptproblem besteht darin, dass Wildcards (*) nur von Google unterstützt werden. Ändere also am besten mal in der ersten Zeile User-agent: * in User-agent: Googlebot
Wiederhole dann am Ende Deiner robots.txt für die anderen Robots (diesmal also wirklich für User-agent: *) dieselben Disallow-Regeln noch einmal, allerdings mit Ausnahme der Wildcards.

Aus Disallow: /profile.php* wird also für die nicht zu Google gehörenden Bots Disallow: /profile.php usw. usf.
Das müsste eigentlich reichen, um ALLE mit profile.php BEGINNENDEN Dateien für die Bots zu sperren. Allerdings habe ich jüngst in irgendeinem phpbb.com-Thread gelesen, dass es wichtig sein könnte, hinten noch ein Fragezeichen anzufügen. Also:

Disallow: /profile.php?
Disallow: /posting.php?
usw. usf.

Frag mich nicht nach der Quelle - finde ich wohl nicht mehr. Um auf Nummer sicher zu gehen, sieht meine eigene robots.txt mittlerweile so aus:

User-agent: Googlebot
# alle Disallow-Regeln speziell für Google, die zum Teil auch Wildcards enthalten

User-agent: *
Disallow: /profile.php
Disallow: /profile.php?
Disallow: /posting.php
Disallow: /posting.php?
usw. usf.

Ob es einen Vorteil bringt, weiß ich natürlich nicht. Bei einem Punkt bin ich mir aber ziemlich sicher:

Du solltest in Deiner robots.txt, um doppelten Content nach Möglichkeit zu vermeiden, auch noch folgende Dateien sperren:

Disallow: /index.php
Disallow: /viewforum.php
Disallow: /viewtopic.php

Diese Dateien haben die Sumas nicht mehr zu interessieren, da Du ja ein umfangreiches Rewriting einsetzt!!!
Für den Googlebot - und nur für diesen! - kannst Du natürlich auch noch nach Belieben Wildcards hinzufügen (z.B. Disallow: /viewtopic*).

Weshalb ich das Ganze überhaupt schreibe: Ein vernünftiges Rewriting gepaart mit einer ordentlichen robots.txt sollte eigentlich genügen, um Google zufrieden zu stellen und doppelten Content zu vermeiden. Und perfekt wird es sowieso nie. Aber ich glaube, das sagte ich schon.

Beste Grüße,
IPB_Flüchtling

[tas2580]

Perfekt wird es sowieso nie

Ein Forum das genutzt wird perfekt zu bekommen ist wirklich nicht so leicht möglich aber nahe dran geht *klick*. Theoretisch kann man ein phpBB schon perfekt für Sumas optimieren, sie hier, allerdings wurde da auch einiges für Gäste entfernt.

Die Links zum letzten Beitrag lassen sich übrigends auch wunderbar umschreiben siehe hier. Von der Robots.txt halte ich nicht viel weil sie doch immer wieder ignoriert wird, deshalb sollte man alle Links die unschön sind entweder umschreiben oder ausblenden.

[FatFreddy]

vielleicht machen wir uns in Bezug auf Google auch einfach zuviel Gedanken. Perfekt wird es sowieso nie. Aber was mit halbwegs vertretbarem Aufwand getan werden kann, haben wir getan.

Was G. angeht, hast Du recht. Für mich ist das kleine Forum mittlerweile hauptsächlich Spielwiese für Experimente. Hier kann ich Dinge testen, die ich eventuell auf "wichtigen" Pages einsetzen möchte.
Aber manchmal ist man wirklich blöd. Seit Wochen wundere ich mich über ständig neu auftauchende dyn. Links in den Sumas und jetzt fällt mir auf, daß G. meinen Forumspy gefunden hat, der bis gerade von Optimierung noch nichts gesehen hatte.

Ich habe mir erlaubt, Deine robots.txt anzusehen, und musste feststellen, dass sie nicht valide ist.

Danke, gerade diese blöden Schreibfehler sind ärgerlich.
Ansonsten hat sie bis jetzt gut funktioniert. G. hat sie meistens beachtet.


FatFreddy