Seite 1 von 1
BOTs spidern Memberlist
Verfasst: 04.11.2015 10:01
von rudi_s
Hi,
weiß jemand wie ich verhindern kann, dass die BOTs die Memberlist crawlen?
Im ACP hab ich dazu keine Einstellung gefunden (oder nicht gesehen?)
Dass ich die robots.txt anpassen muss weiß ich schon mal, aber was muss da rein dass die BOTs mir die Memberlist in Ruhe lassen?
Re: BOTs spidern Memberlist
Verfasst: 04.11.2015 10:25
von Talk19zehn
Hi,
Beispiele einer robots.txt: Siehe z. B. Beitrag von Dr.Death » 1. Apr 2011, 12:32
viewtopic.php?p=1229458#p1229458
und noch ein Muster(!): Die Pfade (dein Root-Verzeichnis und andere Regeln) müssen stimmen.
https://www.abakus-internet-marketing.de/robots.txt
Regeln, eine Information von zahlreichen Seiten, die sich im WWW finden und ggf. helfen:
https://support.google.com/webmasters/a ... 2596?hl=de
http://t3n.de/news/google-guidelines-cs ... pt-574763/
, daher alles unverbindlich....
LG
Re: BOTs spidern Memberlist
Verfasst: 04.11.2015 11:27
von rudi_s
Vielen Dank, das hilft mir schon mal weiter. Werde die Robots entsprechend dem Muster anpassen
Re: BOTs spidern Memberlist
Verfasst: 04.11.2015 14:10
von waldkatze
Zusätzlich könntest du auch das in deine
memberlist.php einfügen.
suche
und füge danach ein
Code: Alles auswählen
if ($user->data['is_bot'] )
{
login_box('', $user->lang['LOGIN']);
}
Re: BOTs spidern Memberlist
Verfasst: 04.11.2015 14:31
von John Doe
Ich bin etwas verwirrt
Wäre Berechtigungen - Gruppenrechts - Bots - Profil - [Kann Profile, die Mitglieder- und die Wer-ist-online-Liste ansehen]
nicht die Option, um die es hier geht?
Re: BOTs spidern Memberlist
Verfasst: 04.11.2015 14:51
von Talk19zehn
Hi, ja und ja John Doe ..., - die Ausgangsfrage war jedoch die zu einer robots.txt.
Man könnte sicher auch noch den Versuch starten dem "Gast-Account" m.E. Avatare zu verbieten. Das ginge ganz einfach im ACP. Oder die IF-Bedingungen für die BOTs gar umfänglich im jeweiligen Template anpassen. Möglichkeiten sind vielfach, ob sie tatsächlich einen Nutzen haben, kann ich nicht beurteilen. Vor allem, wenn sie bereits gespidert wurden, ist es schwierig. (Profile zu schützen ist gar nicht so einfach (reiner Erfahrungswert)).
Grüße