Wie kommen fremde Bots in das Forum

[mp3-post]

Hi, mal wieder eine Sicherheitsfrage:

Wie kommen die Bots oder Crawler überhaupt ungefragt in das Forum und nisten sich dort ein?

Zufällig habe ich getern einen entdeckt, der nicht bei PHPBB3 Gold dabei war, und wohl, wie man an dem Datum ja sehen konnte, sich morgens um 6:43 da eingeschlichen hat - Ohne Erlaubnis oder sonstigen dazu tun.

Es handelt sich um Heritrix [Crawler] , der, wie ich nachgeforscht habe, ein Opensource Bot ist und von jedermann gedownloadet und installiert werden kann. http://crawler.archive.org/ Der Absender des Bots kommt aus den USA http://www.amazonaws.com/ Da gibt es

Forbidden ,You don't have permission to access / on this server.

Ich habe den jetzt deaktiviert, Frage also wie ist das möglich? Kann das nicht gesperrt werden, damit sich da nicht etliche solcher Dinger einnisten. Was muß dazu wo eingestellt werden oder in einer Datei geändert werden?


Anhand der IP kann man testen lassen, ob es sich um einen Suchbot handelt...
http://tools.sistrix.com/ve/

Der sagte mir folgendes zu dem eingenisteten Bot

Reverse-DNS-Überprüfung
Die IP 72.44.49.226 löst auf den Host ec2-72-44-49-226.z-1.compute-1.amazonaws.com auf und kann damit keiner bekannten Suchmaschine zugeordnet werden.

DNS-Überprüfung
Der Host ec2-72-44-49-226.z-1.compute-1.amazonaws.com löst zu der IP-Adresse 72.44.49.226 auf und entspricht damit der Start-IP.

Fehler Die Echtheit dieses Zugriffes kann NICHT bestätigt werden. Vermutlich handelt es sich um einen getarnten Spambot

[tas2580]

Warum ungefragt? Du hast die Seite doch öffentlich in Netz gestellt, dann darf also auch jeder drauf zugreifen. Es gibt massenweiße Bots und phpBB kennt nur einen ganz kleinen Teil davon, das lässt sich auch nicht so leicht ändern da jeden Tag neue Bots online gestellt werden. Die meisten tarnen sich auch als normale Benutzer und können so nicht ganz so einfach als Bot erkannt werden.
Bots die phpBB nicht kennt werden wie normale Gäste behandelt, also kein Grund zur Sorge. Wenn du trozdem versuchen willst so viele böse Bots wie möglich auszusperren schau dir mal www.bot-trap.de an.

[mp3-post]

Danke schon mal für den Link, ich kannte Bot-Trap zwar schon aber nur in englisch.

Du sagst öffentliches Forum, was ja vielleicht richtig ist, aber wieso gelten die Bots als registrierte Mitglieder, also sind sie so gesehen ja keine Gäste wenn ich dem phpbb glauben schenken soll. Unter registriertes Mitglied verstehe ich, wenn ich selbst irgendein Bot zulasse oder erlaube das Forum zu spidern und nicht einfach ungefragt oder selbständig eintragend.

Außerdem war das alles, was Du erörterst, nicht im Bezug zu meinen Fragen die ich gern beantwortet hätte.

Kann das nicht gesperrt werden, damit sich da nicht etliche solcher Dinger einnisten. Was muß dazu wo eingestellt werden oder in einer Datei geändert werden?

Code: Alles auswählen

Mitglieder: Google [Bot] 

[tas2580]

Die Bots nisten sich nicht selber ein, phpBB3 kennt eine ganze Reihe Bots und erkennt diese an ihrer IP oder am Useragent, wenn du das selber mal probieren willst gib im Firefox in die Adressleiste "about:config" ein und suche "general.useragent.override", mach Doppelkick drauf und gib z.B. "googlebot" ein. Wenn du dann dein Forum besuchst denkt das Forum du wärst der Googlebot.

Die Bots die dein Forum kennt kannst du im ACP unter Allgemein -> Spiders/Robots nachsehen und neue Bots hinzufügen oder Bots aus der Liste löschen. Da siehst du auch das phpBB den Heritrix [Crawler] schon kennt.

[Localhost²]

Hallo,

ich hab einfach bei Gruppenrechte ->Bots "Alle nie!" gestellt und zzgl. können Gäste das Forum zwar sehen, aber nicht betreten. So dürfte kein Bot reinkommen, oder?

[bantu]

Hallo,

ich hab einfach bei Gruppenrechte ->Bots "Alle nie!" gestellt und zzgl. können Gäste das Forum zwar sehen, aber nicht betreten. So dürfte kein Bot reinkommen, oder?

Das ist nicht ganz richtig. Bots, die nicht erkannt werden, werden als Gäste behandelt und sehen dann exakt das, was Gäste auch sehen.

[mp3-post]

Da siehst du auch das phpBB den Heritrix [Crawler] schon kennt.

Erfreulich das phpBB Spambots erkennt un diese schalten und walten läßt!!

Fehler Die Echtheit dieses Zugriffes kann NICHT bestätigt werden. Vermutlich handelt es sich um einen getarnten Spambot

[bantu]

Da hast du wohl was falsch verstanden.

Bot ist Bot, aber nicht immer Spambot.

http://de.wikipedia.org/wiki/Bot
http://de.wikipedia.org/wiki/Spambot
http://de.wikipedia.org/wiki/Webcrawler

Der Google-Bot ist zum Beispiel ein Bot, der deinen Inhalt in die Google-Datenbank einliest, sofern du es ihm gestattest und ist kein Spambot.

phpBB hat das Bot-Feature, da von einem Bot unter Umständen von mehreren IPs gleichzeitig zugegriffen wird. phpBB bündelt dann alle IPs auf eine Session und einen Pseudo-Benutzeraccount (Bot-Konto des phpBB).

[mp3-post]

Ich habe das schon alles richtig verstanden:

sofern du es ihm gestattest

Ich hatte ja aber gefragt, wie ich es verhindern kann, das sich Bots in phpbb breit machen können , ohne das ich es ihnen gestattet habe, denn logisch ist es für Google meinerseits erlaubt, aber nicht für die bots die sich praktisch ungefragt selbst einschleichen, denen gestatte ich es nicht. Dafür wollte ich also lediglich nur wissen, wie oder wo ich das Einstellen kann, oder welche Datei ich ändern müßte, daß das automatische einnisten von Bots unterbleibt, Bisher habe ich noch keinerlei Auskunft darüber erhalten.

Ich hatte ja gedacht, das man es evtl. mit den IF Anweisungen regeln könnte

<!-- IF not S_IS_BOT-->
<!-- IF not S_USER_LOGGED_IN -->

[tas2580]

Du kannst nicht verhindern das Bots in dein Forum kommen.

Die Bots die dein Forum kennt kannst du im ACP unter Allgemein -> Spiders/Robots nachsehen und neue Bots hinzufügen oder Bots aus der Liste löschen.

Schau einfach da nach was deiner Meinung nach böse ist und pack die bösen Bots in eine extra Gruppe der du den Zugriff auf das Forum verweigerst. Automatisch nisten sich da keine Bots ein, es gibt nur eine ganze Reihe Bots die phpBB erkennt. Was die dann dürfen kannst du über die Benutzeraccounts der Bots selber steuern. Wenn phpBB keine Bots mehr erkennen soll lösche einfach alle Bots aus der Liste raus und sie werden beim nächsten Besuch als Gast behandelt.