Bot / Crawl - cuill.com

[mark2]

Hallo
Seit ein paar tagen ist fast ohne Unterbrechung der Bot von Culli.com in meinem forum unterwegs und durchsucht sämtliche Themen.

Code: Alles auswählen

IP 64.1.215.166  crawl-5.cuill.com 

Wie kann ich diesen bot am einfachsten von meiner Seite fern halten ohne den Cracker Tracker Professional G5 einbauen zu müssen.
Meine robots.txt sieht momentan so aus.

Code: Alles auswählen

User-agent: *
Disallow: /bilder/
Disallow: /board_mods/
Disallow: /googleearth/
Disallow: /music-sounds/
Disallow: /mysqldumper/
Disallow: /phpBB2/admin/
Disallow: /phpBB2/db/
Disallow: /phpBB2/images/
Disallow: /phpBB2/userpix/
Disallow: /phpBB2/includes/
Disallow: /phpBB2/language/
Disallow: /phpBB2/templates/
Disallow: /phpBB2/config.php
Disallow: /phpBB2/faq.php
Disallow: /phpBB2/groupcp.php
Disallow: /phpBB2/login.php
Disallow: /phpBB2/memberlist.php
Disallow: /phpBB2/nickpagelist.php
Disallow: /phpBB2/modcp.php
Disallow: /phpBB2/posting.php
Disallow: /phpBB2/privmsg.php
Disallow: /phpBB2/profile.php
Disallow: /phpBB2/report.php
Disallow: /phpBB2/search.php
Disallow: /phpBB2/viewonline.php

User-agent: Slurp
Crawl-delay: 10

User-Agent: msnbot
Crawl-Delay: 10

Wenn ich den Namen des bots wüsste könnte ich dann diesen code zusätzlich in die robot.txt stellen und nur diesen sperren ?

Code: Alles auswählen

User-agent: *
Disallow: /

[gsxfan]

Hallo.

Hier findest Du alles, was Du zu dem Bot wissen willst.
Und jetzt, wo ich die IP-Adressen sehe, weiss ich auch, wer da vor ein paar Tagen bis zu 10x als Gast mit der jeweils gleichen IP angemeldet war.

Uwe

[mark2]

Hi Thx.
Twiceler heißt der also.
Der bot ist mal extrem aufdringlich. Der Google bot ist vielleicht ein bis zwei mal am Tag da aber der Twiceler ist jetzt ohne Unterbrechung unterwegs.

Leider erfahre ich gerade dass die robot.txt den bot nicht wirklich fern hält.
Das kann angeblich nur eine .htaccess´
Nur hab ich keine Ahnung wie die aussehen muß.

[4seven]

Hallo mark2,

den kannst du leicht bannen:

Gib einfach in die Bannliste *.cuill.com ein.

So werden alle Adressbereiche mit eingeschlossen.

Oder die manuelle Methode:

38.99.13.*
64.1.215.*
208.36.144.*

Wenn du z.b. anonymouse.org bannst, sinds gleich 5-7 IP's

Ansonsten gibts da noch > Spider-Trap

Über .htaccess gehts noch wirkungsvoller:

Code: Alles auswählen

# Block them if certain keywords are in the referring URL
# Achtung: Keinen Zeilenumbruch bei SetEnvIfNoCase:

SetEnvIfNoCase Referer ".*(twiceler|verbotenes|blabla|jede menge_weitere_verbotene_referrers).*" BadReferrer

# Exclude my domain form the above
SetEnvIfNoCase Referer ".*(eigene_domain).*" !BadReferrer
order deny,allow
deny from env=BadReferrer

# Block them if they come from this IP-range
order allow,deny
deny from 38.99
deny from 64.1
deny from 208.36
allow from all

lg
4seven

[mark2]

Super das IP Bannen übers ACP hat geholfen.
Allerdings *.cuill.com nimmt das board nicht an. Beim absenden wird die Domain nicht übernommen. Egal die IP wird ja geblockt.

Thx.

Ich versuche jetzt aber noch eine .htaccess mit dem Inhalt. Wenn das funktioniert ist alles andere auch geschützt. Hoffe ich zumindest. Hier gefunden

Code: Alles auswählen

order allow,deny
allow from all
deny from 64.1.215.162/31
deny from 64.1.215.164/31
deny from 64.1.215.166/32
deny from 38.99.13.121/32
deny from 38.99.13.122/31
deny from 38.99.13.124/31
deny from 38.99.13.126/32
deny from 38.99.44.101/32
deny from 38.99.44.102/31
deny from 38.99.44.104/31
deny from 38.99.44.106/32
deny from 208.36.144.6/31
deny from 208.36.144.8/31
deny from 208.36.144.10/32

[cYbercOsmOnauT]

Hallo Markus,

mir scheint, Du hast nicht die große Ahnung von dem, was Du in Deine .htaccess eingibst. Deswegen eine kleine Erklärung meinerseits (damit auch die anderen es nicht blindlings verwenden).

Code: Alles auswählen

deny from 64.1.215.166/32

Die Zahl hinter dem / gibt an, wieviele Bits von links aus gezählt wirksam gelten. Der Rest was rechts übrig bleibt ist dann irrelevant. Nun, wie manche wissen, besteht eine IPv4 Adresse aus 4 Byte (Zahlen von 0-255) und ein Byte wiederum aus 8Bits. 8 mal 4 ergibt laut Adam Riese 32. Somit bedeutet 64.1.215.166/32 das hier alle Stellen genauso benötigt werden, wie sie da stehen und somit kann man das /32 auch getrost weglassen.

Code: Alles auswählen

deny from 64.1.215.166

Stände da eine 31, würde es bedeuten, dass 2 IPs passen, da die letzte (ganz rechts) Bitstelle ignoriert wird.

Code: Alles auswählen

deny from 64.1.215.166/31

würde somit 64.1.215.166 und 64.1.215.167 blocken.

Nur so als kleine Randbemerkung. Man lernt nie aus und ich gehöre zu den Menschen die immer gerne verstehen wollen was sie da eingeben.

Grüße,
Tekin

[mark2]

Hi Tekin

Das hast du richtig erkannt.
Habe jetzt jede IP einzeln aufgeführt. Ohne /32 bzw /31
Vielleicht etwas übertrieben aber so ist der Twiceler definitiv weg.

Thx für die Info.

[gsxfan]

Hallo.

Das geht auch etwas einfacher. Tekin hats schon angesprochen, aber nicht zu Ende gebracht.
Die Angaben zum Twiceler und dessen IP-Adressen sind doch ganz leicht in jeweils eine Zeile zu bringen, da es sich jeweils um Blöcke von aufeinander folgenden IP-Adressen handelt.

38.99.13.120/29

entspricht der Subnet-Mask 255.255.255.248 und umfasst eine IP-Range von 6 Adressen. Die Netz-ID ist 38.99.13.120 und Broadcast 38.99.13.127, also 6 Hosts pro Subnet. Mit diesem Eintrag ist der erste Block bereits komplett ausgeschlossen, wozu also alle Adressen einzeln auflisten?

Beim zweiten Block wird das schon etwas schwieriger, da der Adressbereich nicht genau passt. Aber mit

38.99.44.96/28

schliesse ich die IP-Range von 38.99.44.97-38.99.44.110 aus. Ok, das sind 16 Hosts, also ein paar mehr. Würde mich jetz auch nicht weiter stören.

64.1.215.160/29

schliesst den dritten Block aus und

208.36.144.0/28

schliesst wieder einen Block von 16 IP-Adressen aus.
Das Ganze nennt sich Subnet mask oder Maskieren von Subnets und lässt sich HIER nachlesen.

Uwe

[cYbercOsmOnauT]

Na so wie Du es oben geschrieben hattest, kannst Du es ja auch verwenden. Ich wollte nur erklären, was es damit auf sich hat.

[4seven]

Zur Erinnerung (s.o.):

** Hiermit blockt man als Erstes durch Referrer-Analyse (schonmal genial):

- **SetEnvIfNoCase Referer ".*(twiceler|verbotenes|blabla|jede menge_weitere_verbotene_referrers).*" BadReferrer

(wichtig > keinen Zeilenumbruch bei allen "SetEnvIfNoCase Referer's" )

- Im mittleren Segment trägt man seine Domain als Ausnahme ein.

- Im unteren Abschnitt wiederholt man dann noch die IP-Bereiche (doppelt hält besser)


Zur Zeit die effektivste Lösung (meine Meinung)

Code: Alles auswählen

# Block them if certain keywords are in the referring URL
# Achtung: Keinen Zeilenumbruch bei SetEnvIfNoCase:

SetEnvIfNoCase Referer ".*(twiceler|verbotenes|blabla|jede menge_weitere_verbotene_referrers).*" BadReferrer

# Exclude my domain form the above
SetEnvIfNoCase Referer ".*(eigene_domain).*" !BadReferrer
order deny,allow
deny from env=BadReferrer

# Block them if they come from this IP-range
order allow,deny
deny from 38.99
deny from 64.1
deny from 208.36
allow from all

lg
4seven