Google-Bot Crawlt nicht

[axellauer]

moin moin,
ich sehe in meinen logfiles das google schon seit wochen das forum nicht mehr "krault" und dementsprechend nicht indiziert.

andere inhalte täglich oder den blog sogar stündlich.

zur Info: das Forum war mal wegen eines hackerangriffs einige wochen OFF und die beiträge sind nach & nach aus dem Index geflogen..
habe dann von 2.0 auf 3.0 konvertiert & seitdem kein einziger zugriff.

nachdem ich jetzt alles ausprobiert habe (spidersimulatur / serverkonfig/ logs auf 400er gecheckt / modrewrite überprüft/ robots.txt gecheckt/ etcetc bin ich nun zum schluss gekommen das es irgendwas mit den boardeinstellungen zu tun haben muss.

das board ist SEO-gemoddet

Fragen:
1:Wenn irgendwo die Rechte für Bots falsch gesetzt werden muss das ja irgendwo verzeichnet sein. Wo würde also der eventuelle Ausschluss von googlebot zu finden sein wenn die rechte im Board falsch gesetzt sind?
robots?
htaccess?
NoIndex im Header?

2: Was macht die Boardeinstellung "Bots verwalten"??

3: wo muss ich was einstellen bzws. überprüfen?

4: hat noch jemand eine andere idee?

Gruss axel
PS: ich brauche keine aufklärung über facts wie "Spiderrate abhängig von Verlinkung" oder "das dauert eben"

[darkon]

Kommen denn andere Bots oder schaut gar keiner mehr vorbei?

Im Zweifelsfall hau den SEO-Kram einfach raus, das hat im Allgemeinen eh nur eine Placebo-Effekt.

[axellauer]

Mozilla /5.0 (compartible;Yahoo) -- JA (wobei das glaub ich keine Bot-Kennung ist)

MSNBot -- NEIN
Googlebot -- NEIN


der rest ist eh ausgesperrt

Placebo?

macht nix.
meine sites sind alle hypochondrisch und sprechen auf Placebos ziemlich gut an.
Bleibt also drin.
ausserdem liegt es nicht daran.

[darkon]

Na wenn du so genau weisst, woran es nicht liegt, dann wirst du ja keine Probleme haben das alleine zu lösen.

[djchrisnet]

Probier es zur Not mal hier

http://www.google.de/addurl/

vll biste ja ganz raus geflogen

[axellauer]

jungs,
was ist los heute?

im starterpost steht ganz deutlich das die domain aus mehr inhalten als nur aus dem board besteht.
weiterhin steht dort auch das alle anderen inhalte ( ca 1200 seiten / forum ca 20% davon) teilweise stündlich gecrawlt werden.

google.de/addurl/

??

haben wir schon wieder den ersten april?
bei ner dompop von +250 brauch ich keine addurl.
braucht es sowieso nicht.

schonmal was von siteabfrage gehört?
da guckt man zuerst wenn man wissen will ob man ganz raus ist.
und das geht so:

Code: Alles auswählen

site:deinedomain.tld

kann sich vielleicht mal jemand zu wort melden der übers SEO 1x1 hinaus ist?
oder muss ich wegen einer phpBB-Frage doch wieder zu Abakus?

[4seven]

Hallo axellauer,

ich versteh zwar die ganze SEO-Manie nicht so recht, da heutzutage die Gewichtung auch (und das immer stärker) auf der Titelzeile oben liegt. Zu dem Zwecke hab ich alle meine Foren so gestaltet, das oben in der Titelzeile immer ganz klar steht: Bereich - Forum - Threadtitel (nichts weiter) . Wie es auch sei, SEO Tools werden, so wie einige Mods (, die halt "nur") die Links ummünzen, meines Erachtens überbewertet.

Aber zum Thema: Seiten die lange Off waren (heute ist "lange" schon ca. 14 Tage) fallen bei dem rund 3 Monate dauernden Umlauf der Crawler über mehrere Milliarden Websites erstmal raus (sofern der Crawl-Point grad passiert wurde) oder verlieren an Gewicht. Das ist normal. Wenn aber garnichts indiziert wird, liegt es sicher nicht am phpBB, sondern an einem Einbaufehler eines Mods. Manchmal ist es auch nur eine "querliegende" .htaccess, fehlerhafte robots.txt, bla.

Bau mal das SEO-Zeug komplett aus, sonst wirst du keine Vergleichsstudie haben. Melde dich dann testweise bei einer der "unbedeutenden" Suchmaschinen an und beobachte das Verhalten der Bots. Lege frisch erstellte "Köder" aus, also Backlinks (egal von wo, aber vorzugsweise von stark frequentierten Seiten)und studiere die Server-Logs. So kommst du schnell auf die "wahre Ursache".

Aber, du bist ja ein Vollprofi und hättest dir die Tips bestimmt selber geben können. Ansonsten bleibt noch Abakus. Anm.: Mein Demo-Board war nach gut einem Monat weltweit bei Google zu finden und das ganz ohne Nix. Threads bei phpbb.de tauchen teilweise schon nach Stunden auf (ohne SEO-Links)

lg
4seven

[axellauer]

querliegende htaccess? robots.txt?

macht sich hier noch irgendjemand die mühe die ausgangsposts zu lesen?

oder mal die ein oder andere konkrete frage konkret zu beantworten?

[4seven]

Hab schon alles gelesen, weiß aber, das der ein oder andere (auch du) Dinge übersehen kann. Fürchte, du musst dich an Profis in der Richtung wenden. Bin mir aber sicher, das es eine quere Config ist und nicht das Board.

das board ist SEO-gemoddet

Hier liegt zu 73,5% der Fehler.

robots?
htaccess?
NoIndex im Header?

Hast du ja alles schon gecheckt.

2: Was macht die Boardeinstellung "Bots verwalten"??

Bots verwalten.

3: wo muss ich was einstellen bzws. überprüfen?

Genau an dieser Stelle (wo standardmäßig alles stimmt).

4: hat noch jemand eine andere idee?

Ich nicht.

greez
4seven

[tas2580]

Zu den Rechten, schau dir mal KB:171 an.
Wenn du die Seite bei den Google Webmaster Tools angemeldet hast kannst du da unter Tools -> robots.txt analysieren prüfen wo Googlebot Zugriff hat.
Hast du eine XML-Sitemap für das Forum?

Normalerweiße sollte eine Seite auch wenn sie mal länger nicht erreichbar ist bei einigermaßen Backlinks schnell wieder aufgenommen werden, meine Seite war nach einem Ausfall von 4 Wochen nach 3-4 Tagen wieder fast komplett im Index.