Wiederholende Pfade

[Holger]

Moin,

ich habe mir gerade mal die Server-Logs angeschaut und bin erschrocken über die GROSSE Anzahl von Pfad-Wiederholungen

Code: Alles auswählen

/portal.php/compare/bultcirklar/gallery/bultcirklar/bultcirklar/gallery/compare/gallery/ml_lexicon.php
/portal.php/bultcirklar/gallery/bultcirklar/bultcirklar/gallery/gallery/compare/compare/compare/index.php
/portal.php/gallery/compare/gallery/compare/bultcirklar/bultcirklar/bultcirklar/compare/gallery/faq.php
/portal.php/compare/bultcirklar/bultcirklar/gallery/compare/gallery/gallery/compare/ml_lexicon.php
/portal.php/gallery/bultcirklar/gallery/compare/bultcirklar/compare/gallery/bultcirklar/compare/linkdb.php
/portal.php/compare/gallery/bultcirklar/gallery/compare/bultcirklar/compare/bultcirklar/mycalendar3.php
/portal.php/compare/bultcirklar/compare/gallery/gallery/gallery/bultcirklar/bultcirklar/compare/index.php
/portal.php/gallery/compare/bultcirklar/gallery/bultcirklar/gallery/compare/compare/dyndbm.php
/portal.php/compare/bultcirklar/gallery/gallery/bultcirklar/bultcirklar/compare/blog.php
/portal.php/compare/bultcirklar/gallery/bultcirklar/bultcirklar/gallery/gallery/linkdb.php
/portal.php/bultcirklar/shoppen/bultcirklar/shoppen/vykort/viewtopic.php
/portal.php/gallery/compare/gallery/bultcirklar/gallery/bultcirklar/compare/compare/bultcirklar/historik.php
/portal.php/compare/gallery/bultcirklar/compare/compare/bultcirklar/gallery/bultcirklar/search.php
/gallery/bultcirklar/index.php
/portal.php/compare/bultcirklar/compare/gallery/gallery/bultcirklar/bultcirklar/gallery/compare/mycalendar3.php
/portal.php/compare/gallery/bultcirklar/gallery/compare/gallery/compare/faq.php
/portal.php/compare/bultcirklar/compare/gallery/gallery/bultcirklar/bultcirklar/gallery/compare/steal_db.php
/portal.php/shoppen/bultcirklar/shoppen/vykort/bultcirklar/bultcirklar/downloads.php
/portal.php/compare/bultcirklar/compare/compare/gallery/gallery/bultcirklar/linkdb.php
/portal.php/compare/compare/gallery/bultcirklar/gallery/bultcirklar/gallery/bultcirklar/impressum.php
/portal.php/compare/compare/bultcirklar/gallery/gallery/bultcirklar/bultcirklar/compare/gallery/search.php
/downloads.php/gallery/bultcirklar/gallery/gallery/bultcirklar/bultcirklar/images/ads_banners/olssonparts.gif
/portal.php/compare/gallery/bultcirklar/gallery/compare/bultcirklar/compare/index.php
/portal.php/shoppen/vykort/bultcirklar/gallery/downloads.php
/portal.php/gallery/compare/bultcirklar/bultcirklar/bultcirklar/gallery/gallery/compare/compare/ml_lexicon.php
/portal.php/compare/gallery/compare/bultcirklar/bultcirklar/compare/bultcirklar/gallery/gallery/historik.php

WIE kommen diese zustande?
portal.php ist nur ein Beispiel als Ausgangspunkt.

Die Struktur der Seite ist völlig normal wie so:

Code: Alles auswählen

downloads.php
index.php
portal.php
/bultcirklar/
/compare/
/gallery/

usw
Definitiv nicht so "gestackt" wie im Log!
Scheinbar werden diese über die Google-Suche angestuert?
Wie kann ich sowas verhindern?

Gruss
Holger

[LukeWCS]

Hallo

WIE kommen diese zustande?

Das musst du in dem Fall dann Google fragen.

Die Struktur der Seite ist völlig normal wie so:
...
Definitiv nicht so "gestackt" wie im Log!

Die Dateistruktur hat nichts mit der Reihenfolge der Zugriffe zu tun, das sind zwei völlig verschiedene Dinge. Zudem greift ein Bot ohnehin anders auf eine Webseite zu, als ein Mensch das tun würde.

Scheinbar werden diese über die Google-Suche angestuert?
Wie kann ich sowas verhindern?

Entziehe den Bots über die Gruppenrechte doch einfach den Zugriff aufs Portal. Das wird dir aber nicht sofort helfen, weil die entsprechenden Portalseiten ja schon bei Google indiziert sind. Es kann also eine Weile dauern, bis wirklich Ruhe im Karton ist. In deinem Access Log meine ich.

[Holger]

Danke für Deine Mühe!
Ich werde mal schauen, ob ich portal.php aus der Indexierung rausnehmen kann.

[LukeWCS]

Eine weitere Möglichkeit die SuFu Bots unter Kontrolle zu halten wäre die sogenannte zentrale robots.txt, einfach mal bei einer SuFu angeben, findest jede Menge Lesestoff dazu. Diese Datei setze ich selber ein.

Damit kannst du allerdings nur die seriösen SuFu Bots kontrollieren, den unseriösen Bots ist diese Datei natürlich völlig schnuppe oder benutzen diese vielleicht sogar um gezielt das anzusteuern, was du vor Bots gerne verbergen willst. Das heisst man sollte sich niemals auf diese Datei als einziges verlassen, schon gar nicht wenn es um Berechtigungen geht.

[Holger]

Ja, robots.txt habe ich schon.
Aber diese Pfade in den Serverlogs weiss ich ja nicht wo sie exakt herkommen.

[LukeWCS]

Aber diese Pfade in den Serverlogs weiss ich ja nicht wo sie exakt herkommen.

Vielleicht ein unsauber geschriebener Bot der da Unsinn fabriziert. Bots benutzen ja nicht nur statische URLs sondern "bauen" auch selber welche.

Was ich vergessen hatte: das sieht nicht nach einem normalen Access Log aus, was für eine Art von Log ist das? Bei einem normalen Access Log gibts auch Datum, Uhrzeit, IP und RC Codes des Servers. Das fehlt hier alles, hast du das entfernt?

[Holger]

Das ist aus AWStats bei Hetzner