BOTs spidern Memberlist

[rudi_s]

Hi,
weiß jemand wie ich verhindern kann, dass die BOTs die Memberlist crawlen?
Im ACP hab ich dazu keine Einstellung gefunden (oder nicht gesehen?)
Dass ich die robots.txt anpassen muss weiß ich schon mal, aber was muss da rein dass die BOTs mir die Memberlist in Ruhe lassen?

[Talk19zehn]

Hi, Beispiele einer robots.txt: Siehe z. B. Beitrag von Dr.Death » 1. Apr 2011, 12:32

viewtopic.php?p=1229458#p1229458

und noch ein Muster(!): Die Pfade (dein Root-Verzeichnis und andere Regeln) müssen stimmen.
https://www.abakus-internet-marketing.de/robots.txt

Regeln, eine Information von zahlreichen Seiten, die sich im WWW finden und ggf. helfen:
https://support.google.com/webmasters/a ... 2596?hl=de
http://t3n.de/news/google-guidelines-cs ... pt-574763/

, daher alles unverbindlich....

LG

[rudi_s]

Vielen Dank, das hilft mir schon mal weiter. Werde die Robots entsprechend dem Muster anpassen

[waldkatze]

Zusätzlich könntest du auch das in deine memberlist.php einfügen.

suche

Code: Alles auswählen

$user->setup(array('memberlist', 'groups')); 

und füge danach ein

Code: Alles auswählen

if ($user->data['is_bot'] )
       {
        login_box('', $user->lang['LOGIN']);
       }   

[John Doe]

Ich bin etwas verwirrt

Wäre Berechtigungen - Gruppenrechts - Bots - Profil - [Kann Profile, die Mitglieder- und die Wer-ist-online-Liste ansehen]
nicht die Option, um die es hier geht?

[Talk19zehn]

Hi, ja und ja John Doe ..., - die Ausgangsfrage war jedoch die zu einer robots.txt. Man könnte sicher auch noch den Versuch starten dem "Gast-Account" m.E. Avatare zu verbieten. Das ginge ganz einfach im ACP. Oder die IF-Bedingungen für die BOTs gar umfänglich im jeweiligen Template anpassen. Möglichkeiten sind vielfach, ob sie tatsächlich einen Nutzen haben, kann ich nicht beurteilen. Vor allem, wenn sie bereits gespidert wurden, ist es schwierig. (Profile zu schützen ist gar nicht so einfach (reiner Erfahrungswert)).

Grüße