phpBB.de

Ich hab das problem das robots bei mir immer die profile.php aufrufen und somit die datenbak auslasten.

Ich möcht nur das verhindern...

Hab grad deinen andern Beitrag gelesen. War es wirklich ein Robot, sollte dieser Eintrag reichen: Welcher Robot war es denn? Man kann Robots auch komplett ausperren.

Ein Problem könnte allerdings noch auftreten. Einige Robots ignorieren die robots.txt einfach.

Danke Schön Maxy,
ich werde einfach alles ausprobieren. Irgendwas muss ja helfen

Maxy hat geschrieben:Einige Robots ignorieren die robots.txt einfach.

Trifft es auch auf Google zu? Ich hab bei mir im Forum nur "Stammgäste" - Google und Microsoft.

Ist es normal, dass diese Bots manchmal auch tagelang das Forum indizieren?
Wenn ich richtig verstanden habe, ist das gut, wenn SuMa's täglich vorbeischauen, d.h., dass sie auf dem aktuellsten Stand sind. Aber, dass sie das Forum mehrere Tage belagern, ist sehr komisch. So viele Beiträge sind es noch nicht, damit man die Zeit rechtfertigen könnte.

Laut Google beachtet der GoogleBot die Robots.Txt.
Von den gesperrten Seiten finden sich nur die Links im Index, Inhalte werden nicht indiziert.

Die Besuchszeit und Häufigkeit ist normal. Ich hatte bei mir innerhalb von 3 Tagen ca. 1500 Seitenaufrufe durch den Googlebot.
Der MS-Bot ist zur Zeit besonders aktiv. Bei MS wird wohl noch der Index für die neue Suchmaschine aufgebaut.


Wenn Du mal zusammenrechnest, wirst Du erstaunt sein, wieviele Links zu verfolgen sind.
Schau Dir dein Board an:
Jede Seite hat allein in Header und Footer schon ca. 20 links
Index.php 1link pro Kategorie + min. 4 Links pro Forum
Viewforum.php pro forum 4 Links
Viewtopic: pro Beitrag bis zu 8 Links
Dazu noch Memberlistphp, seach.php und profile.php etc.

Da kommen in Deinem Board (mit ca. 1000 Beiträgen) schon mehr als 10.000 Links zusammen. Diese Zahl geht ins Unendliche, wenn GoogleBot noch eine Session-ID an den Links findet.

Das kostet Zeit.


FatFreddy

hallo,

ich habe bei uns bots von der Inktomi Corporation gesehen.
jemand sagte nun, das sei super, die wären gut. ich dagegen habe sie bißchen im verdacht, schuld an neuem spammail-wellen zu sein, da diese mailaddy nur im forum stand.
kennt sie vielleicht jemand ?

wenn das kein seriöser bot ist, könnte man ja deren netrange sperren - da sie diesen ip-bereich für sich reserviert haben, dürfte das ja keine nachteile oder andere betreffen - was generell für die bots und das sperren zutreffen müßte, oder ?

danke + viele grüße, yks

@FatFreddy
Ist einleuchtend, danke. Aber ich wundere mich über die Desorganisation beim Indizieren. Die Bots versuchen sich ständig nur einzuloggen bzw. sind auf der LogIn- und auf der Forum-Index-Seite. Nur selten sind sie in einem bestimmten Forum bzw. Thema zu sehen.

@yks
Ich hab mir sagen lassen das große SuMa's mit Inktomi Corporation zusammenarbeiten (musst dir keine Sorgen diesbezüglich machen). Hatten mich auch mal besucht, über Spam-Mails kann mich noch nicht beklagen.

danke bonaparte

*verdacht von inktomi zurücknehme*

seit gestern nacht weiß ich 100 % an wem es liegt : an hosteurope !

habe 2x die mailadresse in der mailverwaltung eines webpack-accounts geändert, das eine mal extra eine mail ganz neu angelegt, die war noch keine 24 stdn alt - und hatte jeweils am nächsten morgen auf beide mails knapp über 10 spammails !