Seite 3 von 5
Verfasst: 23.01.2005 22:56
von BraveEagle
sagt mir wenn ich zu ungeduldig bin, aber ich hatte gerade wieder ein msn- und googlebot auf meiner Seite. Aber die Suchergebnisse gehn einfach net hoch. Habe den Mod ja nun schon gut ne Woche drauf. Wie lange dauert sowas? Stimmt nun die robots.txt (Seite davor steht sie)? Kann ich nochwas machen um die Topics einzubinden? Wenn man Biologie Forum oder CHemie Forum in den Suchmaschinen eingibt sind wir auch bei allen Suchmaschinen (außer google) oben dabei. Nur werden anscheinend die Foren net durchsucht. Es werden wie ich im ACP sehe immer nur die Karte usw. durchsucht und das nutzt ja nicht viel
Verfasst: 25.01.2005 14:15
von Andreas84
Hallo,
du musst gedult haben. das kann sogar ein monat lange dauern, da deine seite wahrscheinlich weder eine authority ist, noch sehr viele links auf deine seite verweisen. du musst dir einige linkpartner suchen, damit google deine posts schneller spydert und aufnimmt.
gruß,
andreas
ps: schau mal da nach:
(
www.abakus-internet-marketing.de/foren/ )
Verfasst: 25.01.2005 15:41
von Christian Benz
Hi,
Stimmt nun die robots.txt (Seite davor steht sie)?
Öh? Wo hast du denn das her? Ist das mit dem Stern + Fragezeichen was neues? Mit "
Disallow: /" verbietest du dem Bot übrigens den Zugriff! Wenn du dem Googlebot alles erlauben möchtest, dann müßte das wohl eher so aussehen:
Für
User-agent: * schreibst du u.a. folgendes:
Code: Alles auswählen
Disallow: /ptopic*.html$
Disallow: /ntopic*.html$
Disallow: /ftopic*asc*.html$
AFAIK werden sowohl Platzhalter/Wildcards (die Sterne) als auch die Ende-Anker ("$") derzeit nur von Google verstanden! (Kein Standard!) So wie oben dürfte das daher für die meisten Spiderbots unverständlich sein.
http://de.selfhtml.org/diverses/robots.htm
http://www.inf.hs-zigr.de/~maetti01/?pa ... robots.txt
Gruß,
Chris
Verfasst: 25.01.2005 18:12
von BraveEagle
Christian Benz hat geschrieben:Hi,
Stimmt nun die robots.txt (Seite davor steht sie)?
Öh? Wo hast du denn das her? Ist das mit dem Stern + Fragezeichen was neues? Mit "
Disallow: /" verbietest du dem Bot übrigens den Zugriff! Wenn du dem Googlebot alles erlauben möchtest, dann müßte das wohl eher so aussehen:
k dann lass ich das einfach weg.
Christian Benz hat geschrieben:
Für
User-agent: * schreibst du u.a. folgendes:
Code: Alles auswählen
Disallow: /ptopic*.html$
Disallow: /ntopic*.html$
Disallow: /ftopic*asc*.html$
AFAIK werden sowohl Platzhalter/Wildcards (die Sterne) als auch die Ende-Anker ("$") derzeit nur von Google verstanden! (Kein Standard!) So wie oben dürfte das daher für die meisten Spiderbots unverständlich sein.
Was soll ich dann da abändern?
meine txt sieht nun so aus:
Code: Alles auswählen
User-agent: *
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /config.php
Disallow: /profile.php
Disallow: /groupcp.php
Disallow: /memberlist.php
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /viewonline.php
Disallow: /faq.php
Disallow: /ptopic*.html$
Disallow: /ntopic*.html$
Disallow: /ftopic*asc*.html$
Verfasst: 28.01.2005 18:21
von Andreas84
@larsneo
funktioniert das nun mit dem Code:
Disallow: /*?
Hast du das schon einmal asuprobiert, da ja BraveEagle sgat, dass es nicht funzt.
Gruß,
Andreas
Verfasst: 28.01.2005 21:30
von BraveEagle
Jap, habe immer noch keine neuen Einträge in google, etc. obwohl ich öfters gespidert werde
Verfasst: 29.01.2005 10:30
von larsneo
Andreas84 hat geschrieben:@larsneo
funktioniert das nun mit dem Code:
Disallow: /*?
Hast du das schon einmal asuprobiert, da ja BraveEagle sgat, dass es nicht funzt.
es tut imho genau das, was es tun soll: die indizierung 'dynamischer' urls bei google verhindern. wenn die seite auf 'statische' urls umgeschrieben wird, ist das spidern von dynamischen adressen (also adressen mit ? und einer parameterübergabe) in aller regel nicht mehr gewünscht und würde zu double content führen.
siehe auch
google faq:
12. Wie veranlasse ich Googlebot, dynamisch erstellte Seiten auf meiner Site nicht zu durchlaufen?
Dies kann mithilfe der folgenden robots.txt-Datei erreicht werden.
User-agent: Googlebot
Disallow: /*?
Verfasst: 29.01.2005 11:29
von BraveEagle
So langsam versteh ich gar nichts mehr. Muss dann in meine robots.txt das wiedder rein?
Verfasst: 29.01.2005 13:01
von larsneo
um vielleicht ein wenig licht ins dunkel zu bringen noch eine erklärung:
mit dem short url mod soll erreicht werden, dass google und anderen suchmaschinen 'statische' urls vorgegaukelt werden, da damit in aller regel eine schnellere indizierung (insbesondere bei foren mit einem geringen pagerank) der seiten erreicht wird.
der short url mod macht nichts anderes als zusätzlich zu den normalen 'dynamischen' links auch 'statische' links zu erzeugen (zweigeteilt - sowohl in der forenanzeige als auch als server-direktive).
damit google nun nicht denselben content unter verschiedenen urls erfasst (was in aller regel negativ bewertet wird) kann man über die robots.txt bestimmte bereiche/url-kombinationen von der indizierung ausnehmen.
mit anderen worten: der short url mod soll für eine bessere indizierung duch suchmaschinen sorgen und mit der robots.txt wird doppelte indizierung vermieden.
Verfasst: 29.01.2005 15:06
von BraveEagle
Axo O.K. und das
Sagt dann, dass alle URLs die mit einem "?" aufhören nicht mit indiziert werden dürfen?
Muss dann die robots.txt so aussehen um endlich mit der Geschichte fertig zu werden:
Code: Alles auswählen
User-agent: *
Disallow: /*?
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /config.php
Disallow: /profile.php
Disallow: /groupcp.php
Disallow: /memberlist.php
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /viewonline.php
Disallow: /faq.php
Disallow: /ptopic*.html$
Disallow: /ntopic*.html$
Disallow: /ftopic*asc*.html$
Wurde auch mal gesagt, dass dieser Code:
anderen Suchmacshinen Schwierigkeiten bereitet. Ist da was dran?
Und letzte Frage:
Wie lange dauert es so im Schnitt bis google die Seiten indiziert? Habe den Mod schon so 2 Wochen und gespidert werden wir täglich. MSN hat in den 2 Woche aus 130 Seiten schon über 2300 gemacht *freu*
Greetz BE