Seite 1 von 2
googlebot.com dauernd auf "FAQ anzeigen" trotz rob
Verfasst: 27.01.2005 12:22
von mellow
Ich hab per robot.txt allen Bots den Zutritt zur FAQ und zu den Profilen verboten (Disallow) und trotzdem ist der googlebot seit 3 Tagen ständig auf "FAQ anzeigen" (viewonline). Merkwürdig oder doch normal?
Verfasst: 27.01.2005 12:29
von thebad
bei mir is das selbe, habe aber nix verboten.
der msn bot schaut auch öfters mal vorbei^^
Verfasst: 27.01.2005 12:44
von dummy
Bei mir sind auch Gooogle bot und MSN bot dauergäste (und Traffikklauer)...
Ich hab auch ne robots.txt, scheint aber nicht szu bringen...
Und das blödste ist, das obwohl google andauernt auf meiner seite rumgooglet ich keinen guten google Pagerank habe...
Verfasst: 27.01.2005 13:11
von Christian Benz
Hi,
Bei mir sind auch Gooogle bot und MSN bot dauergäste (und Traffikklauer)...
Ich hab auch ne robots.txt, scheint aber nicht szu bringen...
Meinst du die hier?
http://www.darth-martin.de/robots.txt
Was meinst du mit "bringt nichts"? Was möchtest du denn mit der robots.txt erreichen? Alles sperren? In dem Fall hättest du das in deiner robots.txt genau "falsch rum" eingestellt.
http://de.selfhtml.org/diverses/robots.htm
Und das blödste ist, das obwohl google andauernt auf meiner seite rumgooglet ich keinen guten google Pagerank habe...
Einen hohen
PageRank bekommt man ja auch nicht dafür weil Google viel auf der Seite unterwegs ist. Das ist eher andersrum - wobei der Umkehrschluß
nicht gültig ist!
Gruß,
Chris
Verfasst: 27.01.2005 15:12
von mellow
Spidert der Bot denn dann trotzdem alle Seiten? Und warum zur Hölle ist ein Bot 48 Stunden lang in den FAQs? Er aktualisiert ja auch fast jede Minute. Ab und an verschwindet er für nen paar Minuten. Dann kommt er wieder - in die FAQs :|
Verfasst: 27.01.2005 17:38
von BraveEagle
Ich habe von dem ganzen net soviel Ahnung, meine txt sieht so aus.
Code: Alles auswählen
User-agent: *
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /config.php
Disallow: /profile.php
Disallow: /groupcp.php
Disallow: /memberlist.php
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /viewonline.php
Disallow: /faq.php
Disallow: /ptopic*.html$
Disallow: /ntopic*.html$
Disallow: /ftopic*asc*.html$
Ich werde auch andauernd gespidert, aber die Beiträge werden nicht in den Suchmaschinen aufgenommen
Verfasst: 27.01.2005 21:33
von Pumi
mellow hat geschrieben:Und warum zur Hölle ist ein Bot 48 Stunden lang in den FAQs?
Weil er nicht denken kann!
Ein Bot folgt einfach nur stur den Links, die er findet. Wenn du dir jetzt die FAQ anschaust und mal Bot spielst, dann wirst du merken, dass es dort einen Haufen Links gibt, denen man folgen kann und vor allem dass es dort einen Haufen Links gibt, die einfach nur im Kreis herum gehen; also wieder in die FAQ verweisen.
Verfasst: 28.01.2005 10:40
von mellow
Also jetzt mal im Ernst: Immer wenn ich den Bot sehe, ist er in den FAQs. Immer! Wenn in den FAQs soviele Links drin stehen, warum sehe ich ihn dann nie auf anderen Seiten?
Verfasst: 28.01.2005 12:17
von marino
ich glaub Pumi hat diese Frage schon oben treffend und ausführlich beantwortet... der Bot folgt den Links .. so wie es eben oben beschrieben ist ..
wenn Du das nicht willst nutz einfach oben erwähnte Sperren .. oder setz die IP auf die Bannliste
Verfasst: 28.01.2005 13:47
von Pumi
mellow hat geschrieben:Also jetzt mal im Ernst: Immer wenn ich den Bot sehe, ist er in den FAQs. Immer! Wenn in den FAQs soviele Links drin stehen, warum sehe ich ihn dann nie auf anderen Seiten?
Ich hatte das schon ernst gemeint...
Aber noch eins: es bringt nichts, wieder und immer wieder zu fragen, warum und wie Google irgendwas macht oder nicht macht. Die wollen nämlich garnicht, dass das irgendjemand weiß.
Obwohl, vielleicht bringt's ja was, wenn du mal nachfragst bei
chief_of_it_all@google.com
(Und nur dieser letzte Satz war nicht ernst gemeint!)