Seite 1 von 2
Bot / Crawl - cuill.com
Verfasst: 26.12.2007 23:17
von mark2
Hallo
Seit ein paar tagen ist fast ohne Unterbrechung der Bot von Culli.com in meinem forum unterwegs und durchsucht sämtliche Themen.
Wie kann ich diesen bot am einfachsten von meiner Seite fern halten ohne den
Cracker Tracker Professional G5 einbauen zu müssen.
Meine robots.txt sieht momentan so aus.
Code: Alles auswählen
User-agent: *
Disallow: /bilder/
Disallow: /board_mods/
Disallow: /googleearth/
Disallow: /music-sounds/
Disallow: /mysqldumper/
Disallow: /phpBB2/admin/
Disallow: /phpBB2/db/
Disallow: /phpBB2/images/
Disallow: /phpBB2/userpix/
Disallow: /phpBB2/includes/
Disallow: /phpBB2/language/
Disallow: /phpBB2/templates/
Disallow: /phpBB2/config.php
Disallow: /phpBB2/faq.php
Disallow: /phpBB2/groupcp.php
Disallow: /phpBB2/login.php
Disallow: /phpBB2/memberlist.php
Disallow: /phpBB2/nickpagelist.php
Disallow: /phpBB2/modcp.php
Disallow: /phpBB2/posting.php
Disallow: /phpBB2/privmsg.php
Disallow: /phpBB2/profile.php
Disallow: /phpBB2/report.php
Disallow: /phpBB2/search.php
Disallow: /phpBB2/viewonline.php
User-agent: Slurp
Crawl-delay: 10
User-Agent: msnbot
Crawl-Delay: 10
Wenn ich den Namen des bots wüsste könnte ich dann diesen code zusätzlich in die robot.txt stellen und nur diesen sperren ?
Verfasst: 26.12.2007 23:36
von gsxfan
Hallo.
Hier findest Du alles, was Du zu dem Bot wissen willst.
Und jetzt, wo ich die IP-Adressen sehe, weiss ich auch, wer da vor ein paar Tagen bis zu 10x als Gast mit der jeweils gleichen IP angemeldet war.
Uwe
Verfasst: 27.12.2007 00:07
von mark2
Hi Thx.
Twiceler heißt der also.
Der bot ist mal extrem aufdringlich. Der Google bot ist vielleicht ein bis zwei mal am Tag da aber der Twiceler ist jetzt ohne Unterbrechung unterwegs.
Leider erfahre ich gerade dass die robot.txt den bot nicht wirklich fern hält.
Das kann angeblich nur eine .htaccess´
Nur hab ich keine Ahnung wie die aussehen muß.
Verfasst: 27.12.2007 00:27
von 4seven
Hallo mark2,
den kannst du leicht bannen:
Gib einfach in die Bannliste
*.cuill.com ein.
So werden alle Adressbereiche mit eingeschlossen.
Oder die manuelle Methode:
38.99.13.*
64.1.215.*
208.36.144.*
Wenn du z.b.
anonymouse.org bannst, sinds gleich 5-7 IP's
Ansonsten gibts da noch >
Spider-Trap 
Über
.htaccess gehts noch wirkungsvoller:
Code: Alles auswählen
# Block them if certain keywords are in the referring URL
# Achtung: Keinen Zeilenumbruch bei SetEnvIfNoCase:
SetEnvIfNoCase Referer ".*(twiceler|verbotenes|blabla|jede menge_weitere_verbotene_referrers).*" BadReferrer
# Exclude my domain form the above
SetEnvIfNoCase Referer ".*(eigene_domain).*" !BadReferrer
order deny,allow
deny from env=BadReferrer
# Block them if they come from this IP-range
order allow,deny
deny from 38.99
deny from 64.1
deny from 208.36
allow from all
lg
4seven
Verfasst: 27.12.2007 00:53
von mark2
Super das IP Bannen übers ACP hat geholfen.
Allerdings *.cuill.com nimmt das board nicht an. Beim absenden wird die Domain nicht übernommen. Egal die IP wird ja geblockt.
Thx.
Ich versuche jetzt aber noch eine .htaccess mit dem Inhalt. Wenn das funktioniert ist alles andere auch geschützt. Hoffe ich zumindest.
Hier gefunden
Code: Alles auswählen
order allow,deny
allow from all
deny from 64.1.215.162/31
deny from 64.1.215.164/31
deny from 64.1.215.166/32
deny from 38.99.13.121/32
deny from 38.99.13.122/31
deny from 38.99.13.124/31
deny from 38.99.13.126/32
deny from 38.99.44.101/32
deny from 38.99.44.102/31
deny from 38.99.44.104/31
deny from 38.99.44.106/32
deny from 208.36.144.6/31
deny from 208.36.144.8/31
deny from 208.36.144.10/32
Verfasst: 27.12.2007 01:43
von cYbercOsmOnauT
Hallo Markus,
mir scheint, Du hast nicht die große Ahnung von dem, was Du in Deine .htaccess eingibst. Deswegen eine kleine Erklärung meinerseits (damit auch die anderen es nicht blindlings verwenden).
Die Zahl hinter dem / gibt an, wieviele Bits von links aus gezählt wirksam gelten. Der Rest was rechts übrig bleibt ist dann irrelevant. Nun, wie manche wissen, besteht eine IPv4 Adresse aus 4 Byte (Zahlen von 0-255) und ein Byte wiederum aus 8Bits. 8 mal 4 ergibt laut Adam Riese 32. Somit bedeutet 64.1.215.166/32 das hier alle Stellen genauso benötigt werden, wie sie da stehen und somit kann man das /32 auch getrost weglassen.
Stände da eine 31, würde es bedeuten, dass 2 IPs passen, da die letzte (ganz rechts) Bitstelle ignoriert wird.
würde somit 64.1.215.166 und 64.1.215.167 blocken.
Nur so als kleine Randbemerkung. Man lernt nie aus und ich gehöre zu den Menschen die immer gerne verstehen wollen was sie da eingeben.
Grüße,
Tekin
Verfasst: 27.12.2007 02:14
von mark2
Hi Tekin
Das hast du richtig erkannt.
Habe jetzt jede IP einzeln aufgeführt. Ohne /32 bzw /31
Vielleicht etwas übertrieben aber so ist der Twiceler definitiv weg.
Thx für die Info.
Verfasst: 27.12.2007 11:51
von gsxfan
Hallo.
Das geht auch etwas einfacher. Tekin hats schon angesprochen, aber nicht zu Ende gebracht.
Die Angaben zum Twiceler und dessen IP-Adressen sind doch ganz leicht in jeweils eine Zeile zu bringen, da es sich jeweils um Blöcke von aufeinander folgenden IP-Adressen handelt.
38.99.13.120/29
entspricht der Subnet-Mask 255.255.255.248 und umfasst eine IP-Range von 6 Adressen. Die Netz-ID ist 38.99.13.120 und Broadcast 38.99.13.127, also 6 Hosts pro Subnet. Mit diesem Eintrag ist der erste Block bereits komplett ausgeschlossen, wozu also alle Adressen einzeln auflisten?
Beim zweiten Block wird das schon etwas schwieriger, da der Adressbereich nicht genau passt. Aber mit
38.99.44.96/28
schliesse ich die IP-Range von 38.99.44.97-38.99.44.110 aus. Ok, das sind 16 Hosts, also ein paar mehr. Würde mich jetz auch nicht weiter stören.
64.1.215.160/29
schliesst den dritten Block aus und
208.36.144.0/28
schliesst wieder einen Block von 16 IP-Adressen aus.
Das Ganze nennt sich Subnet mask oder Maskieren von Subnets und lässt sich
HIER nachlesen.
Uwe
Verfasst: 27.12.2007 11:57
von cYbercOsmOnauT
Na so wie Du es oben geschrieben hattest, kannst Du es ja auch verwenden. Ich wollte nur erklären, was es damit auf sich hat.
Verfasst: 27.12.2007 12:01
von 4seven
Zur Erinnerung
(s.o.):
** Hiermit blockt man als Erstes durch Referrer-Analyse
(schonmal genial):
- **SetEnvIfNoCase Referer ".*(
twiceler|verbotenes|blabla|jede menge_weitere_verbotene_referrers).*" BadReferrer
(wichtig > keinen Zeilenumbruch bei allen "SetEnvIfNoCase Referer's" )
- Im mittleren Segment trägt man seine Domain als Ausnahme ein.
- Im unteren Abschnitt wiederholt man dann noch die IP-Bereiche
(doppelt hält besser) 
Zur Zeit die effektivste Lösung
(meine Meinung)
Code: Alles auswählen
# Block them if certain keywords are in the referring URL
# Achtung: Keinen Zeilenumbruch bei SetEnvIfNoCase:
SetEnvIfNoCase Referer ".*(twiceler|verbotenes|blabla|jede menge_weitere_verbotene_referrers).*" BadReferrer
# Exclude my domain form the above
SetEnvIfNoCase Referer ".*(eigene_domain).*" !BadReferrer
order deny,allow
deny from env=BadReferrer
# Block them if they come from this IP-range
order allow,deny
deny from 38.99
deny from 64.1
deny from 208.36
allow from all
lg
4seven