suchmaschinenfreundlich?

[BraveEagle]

sagt mir wenn ich zu ungeduldig bin, aber ich hatte gerade wieder ein msn- und googlebot auf meiner Seite. Aber die Suchergebnisse gehn einfach net hoch. Habe den Mod ja nun schon gut ne Woche drauf. Wie lange dauert sowas? Stimmt nun die robots.txt (Seite davor steht sie)? Kann ich nochwas machen um die Topics einzubinden? Wenn man Biologie Forum oder CHemie Forum in den Suchmaschinen eingibt sind wir auch bei allen Suchmaschinen (außer google) oben dabei. Nur werden anscheinend die Foren net durchsucht. Es werden wie ich im ACP sehe immer nur die Karte usw. durchsucht und das nutzt ja nicht viel

[Andreas84]

Hallo,
du musst gedult haben. das kann sogar ein monat lange dauern, da deine seite wahrscheinlich weder eine authority ist, noch sehr viele links auf deine seite verweisen. du musst dir einige linkpartner suchen, damit google deine posts schneller spydert und aufnimmt.

gruß,
andreas
ps: schau mal da nach:
( www.abakus-internet-marketing.de/foren/ )

[Christian Benz]

Hi,

Stimmt nun die robots.txt (Seite davor steht sie)?

Code: Alles auswählen

User-agent: Googlebot
Disallow: /*?

Öh? Wo hast du denn das her? Ist das mit dem Stern + Fragezeichen was neues? Mit "Disallow: /" verbietest du dem Bot übrigens den Zugriff! Wenn du dem Googlebot alles erlauben möchtest, dann müßte das wohl eher so aussehen:

Code: Alles auswählen

User-agent: Googlebot
Disallow:

Für User-agent: * schreibst du u.a. folgendes:

Code: Alles auswählen

Disallow: /ptopic*.html$
Disallow: /ntopic*.html$
Disallow: /ftopic*asc*.html$

AFAIK werden sowohl Platzhalter/Wildcards (die Sterne) als auch die Ende-Anker ("$") derzeit nur von Google verstanden! (Kein Standard!) So wie oben dürfte das daher für die meisten Spiderbots unverständlich sein.

http://de.selfhtml.org/diverses/robots.htm
http://www.inf.hs-zigr.de/~maetti01/?pa ... robots.txt

Gruß,
Chris

[BraveEagle]

Hi,

Stimmt nun die robots.txt (Seite davor steht sie)?

Code: Alles auswählen

User-agent: Googlebot
Disallow: /*?

Öh? Wo hast du denn das her? Ist das mit dem Stern + Fragezeichen was neues? Mit "Disallow: /" verbietest du dem Bot übrigens den Zugriff! Wenn du dem Googlebot alles erlauben möchtest, dann müßte das wohl eher so aussehen:

k dann lass ich das einfach weg.

Für User-agent: * schreibst du u.a. folgendes:

Code: Alles auswählen

Disallow: /ptopic*.html$
Disallow: /ntopic*.html$
Disallow: /ftopic*asc*.html$

AFAIK werden sowohl Platzhalter/Wildcards (die Sterne) als auch die Ende-Anker ("$") derzeit nur von Google verstanden! (Kein Standard!) So wie oben dürfte das daher für die meisten Spiderbots unverständlich sein.

Was soll ich dann da abändern?

meine txt sieht nun so aus:

Code: Alles auswählen

User-agent: *
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /config.php
Disallow: /profile.php
Disallow: /groupcp.php
Disallow: /memberlist.php 
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /viewonline.php
Disallow: /faq.php
Disallow: /ptopic*.html$
Disallow: /ntopic*.html$
Disallow: /ftopic*asc*.html$

[Andreas84]

@larsneo

funktioniert das nun mit dem Code:

Disallow: /*?

Hast du das schon einmal asuprobiert, da ja BraveEagle sgat, dass es nicht funzt.

Gruß,
Andreas

[BraveEagle]

Jap, habe immer noch keine neuen Einträge in google, etc. obwohl ich öfters gespidert werde

[larsneo]

@larsneo
funktioniert das nun mit dem Code:

Disallow: /*?

Hast du das schon einmal asuprobiert, da ja BraveEagle sgat, dass es nicht funzt.

es tut imho genau das, was es tun soll: die indizierung 'dynamischer' urls bei google verhindern. wenn die seite auf 'statische' urls umgeschrieben wird, ist das spidern von dynamischen adressen (also adressen mit ? und einer parameterübergabe) in aller regel nicht mehr gewünscht und würde zu double content führen.

siehe auch google faq:

12. Wie veranlasse ich Googlebot, dynamisch erstellte Seiten auf meiner Site nicht zu durchlaufen?

Dies kann mithilfe der folgenden robots.txt-Datei erreicht werden.

User-agent: Googlebot
Disallow: /*?

[BraveEagle]

So langsam versteh ich gar nichts mehr. Muss dann in meine robots.txt das wiedder rein?

[larsneo]

um vielleicht ein wenig licht ins dunkel zu bringen noch eine erklärung:
mit dem short url mod soll erreicht werden, dass google und anderen suchmaschinen 'statische' urls vorgegaukelt werden, da damit in aller regel eine schnellere indizierung (insbesondere bei foren mit einem geringen pagerank) der seiten erreicht wird.
der short url mod macht nichts anderes als zusätzlich zu den normalen 'dynamischen' links auch 'statische' links zu erzeugen (zweigeteilt - sowohl in der forenanzeige als auch als server-direktive).
damit google nun nicht denselben content unter verschiedenen urls erfasst (was in aller regel negativ bewertet wird) kann man über die robots.txt bestimmte bereiche/url-kombinationen von der indizierung ausnehmen.
mit anderen worten: der short url mod soll für eine bessere indizierung duch suchmaschinen sorgen und mit der robots.txt wird doppelte indizierung vermieden.

[BraveEagle]

Axo O.K. und das

Code: Alles auswählen

Disallow: /*?

Sagt dann, dass alle URLs die mit einem "?" aufhören nicht mit indiziert werden dürfen?

Muss dann die robots.txt so aussehen um endlich mit der Geschichte fertig zu werden:

Code: Alles auswählen

User-agent: *
Disallow: /*?
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /config.php
Disallow: /profile.php
Disallow: /groupcp.php
Disallow: /memberlist.php
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /viewonline.php
Disallow: /faq.php
Disallow: /ptopic*.html$
Disallow: /ntopic*.html$
Disallow: /ftopic*asc*.html$

Wurde auch mal gesagt, dass dieser Code:

Code: Alles auswählen

User-agent: *

anderen Suchmacshinen Schwierigkeiten bereitet. Ist da was dran?

Und letzte Frage:
Wie lange dauert es so im Schnitt bis google die Seiten indiziert? Habe den Mod schon so 2 Wochen und gespidert werden wir täglich. MSN hat in den 2 Woche aus 130 Seiten schon über 2300 gemacht *freu*


Greetz BE