googlebot.com dauernd auf "FAQ anzeigen" trotz rob

[mellow]

Ich hab per robot.txt allen Bots den Zutritt zur FAQ und zu den Profilen verboten (Disallow) und trotzdem ist der googlebot seit 3 Tagen ständig auf "FAQ anzeigen" (viewonline). Merkwürdig oder doch normal?

[thebad]

bei mir is das selbe, habe aber nix verboten.

der msn bot schaut auch öfters mal vorbei^^

[dummy]

Bei mir sind auch Gooogle bot und MSN bot dauergäste (und Traffikklauer)...
Ich hab auch ne robots.txt, scheint aber nicht szu bringen...
Und das blödste ist, das obwohl google andauernt auf meiner seite rumgooglet ich keinen guten google Pagerank habe...

[Christian Benz]

Hi,

Bei mir sind auch Gooogle bot und MSN bot dauergäste (und Traffikklauer)...
Ich hab auch ne robots.txt, scheint aber nicht szu bringen...

Meinst du die hier? http://www.darth-martin.de/robots.txt

Was meinst du mit "bringt nichts"? Was möchtest du denn mit der robots.txt erreichen? Alles sperren? In dem Fall hättest du das in deiner robots.txt genau "falsch rum" eingestellt.

http://de.selfhtml.org/diverses/robots.htm

Und das blödste ist, das obwohl google andauernt auf meiner seite rumgooglet ich keinen guten google Pagerank habe...

Einen hohen PageRank bekommt man ja auch nicht dafür weil Google viel auf der Seite unterwegs ist. Das ist eher andersrum - wobei der Umkehrschluß nicht gültig ist!

Gruß,
Chris

[mellow]

Spidert der Bot denn dann trotzdem alle Seiten? Und warum zur Hölle ist ein Bot 48 Stunden lang in den FAQs? Er aktualisiert ja auch fast jede Minute. Ab und an verschwindet er für nen paar Minuten. Dann kommt er wieder - in die FAQs :|

[BraveEagle]

Ich habe von dem ganzen net soviel Ahnung, meine txt sieht so aus.

Code: Alles auswählen

User-agent: *
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /config.php
Disallow: /profile.php
Disallow: /groupcp.php
Disallow: /memberlist.php 
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /viewonline.php
Disallow: /faq.php
Disallow: /ptopic*.html$
Disallow: /ntopic*.html$
Disallow: /ftopic*asc*.html$

Ich werde auch andauernd gespidert, aber die Beiträge werden nicht in den Suchmaschinen aufgenommen

[Pumi]

Und warum zur Hölle ist ein Bot 48 Stunden lang in den FAQs?

Weil er nicht denken kann!
Ein Bot folgt einfach nur stur den Links, die er findet. Wenn du dir jetzt die FAQ anschaust und mal Bot spielst, dann wirst du merken, dass es dort einen Haufen Links gibt, denen man folgen kann und vor allem dass es dort einen Haufen Links gibt, die einfach nur im Kreis herum gehen; also wieder in die FAQ verweisen.

[mellow]

Also jetzt mal im Ernst: Immer wenn ich den Bot sehe, ist er in den FAQs. Immer! Wenn in den FAQs soviele Links drin stehen, warum sehe ich ihn dann nie auf anderen Seiten?

[marino]

ich glaub Pumi hat diese Frage schon oben treffend und ausführlich beantwortet... der Bot folgt den Links .. so wie es eben oben beschrieben ist ..
wenn Du das nicht willst nutz einfach oben erwähnte Sperren .. oder setz die IP auf die Bannliste

[Pumi]

Also jetzt mal im Ernst: Immer wenn ich den Bot sehe, ist er in den FAQs. Immer! Wenn in den FAQs soviele Links drin stehen, warum sehe ich ihn dann nie auf anderen Seiten?

Ich hatte das schon ernst gemeint...

Aber noch eins: es bringt nichts, wieder und immer wieder zu fragen, warum und wie Google irgendwas macht oder nicht macht. Die wollen nämlich garnicht, dass das irgendjemand weiß.
Obwohl, vielleicht bringt's ja was, wenn du mal nachfragst bei
chief_of_it_all@google.com

(Und nur dieser letzte Satz war nicht ernst gemeint!)