Crawler(sengine.info) netEstate - Aussperren möglich?

[Talk19zehn]

Hi, liebe phpBBlerInnen, ist´s irgendwie möglich dem Crawler (Suchmaschinen-Crawler (sengine.info))

• netEstate FOAF crawler
  netEstate NE Crawler
  netEstate RSS crawler

den Zugang zu verweigern?
Alles, was ich finden konnte, waren jene Hinweise vom 16.04.2012: *Informationen auf:

Code: Alles auswählen

http://www.evilazrael.de/taxonomy/term/6

Ist jener klägliche Versuch via robots.txt ausreichend bemessen? Nach den o.g. *Informationen wohl eher nicht!?

Code: Alles auswählen

User-agent: netEstate NE Crawler
Disallow: /

User-agent: netEstate FOAF crawler
Disallow: /

User-agent: netEstate RSS crawler
Disallow: /

Habt ihr bereits ggf. Erfahrungen mit jenen Crawlern??

Danke und Gruß


Edit:
Er kommt im "Dreierpack" daher und ist stundenlang auf der Seite online.

[AYYILDIZLAR]

Hallo Talk19Zehn,

Ich hatte vor einiger Zeit Probleme mit einem bestimmten Gast und habe hier eine gute Lösung für das Problem Gast bekommen. Ich weiß nicht wie das ist mit dem Crawler von dir aber hier in dem Beitrag ganz unten der letzte Beitrag von BNa hat mir für mein Gast Problem weitergeholfen. Es sollte doch möglich sein, diesen Code für dein Crawler umzuschreiben.

Grüße aus dem Spessart

[Talk19zehn]

Hi AYYILDIZLAR, vielen Dank für den Tipp!!! Und mein *Dank geht selbstverständlich unbedingt an BNa ! (vgl. dortigen Beitrag!! ) Ich habe sogleich das ganze Sortiment der hiesigen letzteren Diskussionen aufgenommen: hoffentlich fehlerfrei... ?

*(vgl. Beitrag)
Öffne

includes/functions.php

Finde

Code: Alles auswählen

/**
* @ignore
*/
if (!defined('IN_PHPBB'))
{
    exit;
}

danach eingefügt

Code: Alles auswählen

// no Pixray
$useragent = @$_SERVER['HTTP_USER_AGENT'];

if (strchr($useragent,'Pixray'))
{
	exit;
}
// no Pixray

// no netEstate NE Crawler
$useragent = @$_SERVER['HTTP_USER_AGENT'];

if (strchr($useragent,'netEstate NE Crawler'))
{
	exit;
}
// no netEstate NE Crawler

// no netEstate FOAF crawler
$useragent = @$_SERVER['HTTP_USER_AGENT'];

if (strchr($useragent,'netEstate FOAF crawler'))
{
	exit;
}
// no netEstate FOAF crawler

// no netEstate RSS crawler
$useragent = @$_SERVER['HTTP_USER_AGENT'];

if (strchr($useragent,'netEstate RSS crawler'))
{
	exit;
}
// no netEstate RSS crawler

// no 80legs
$useragent = @$_SERVER['HTTP_USER_AGENT'];

if (strchr($useragent,'80legs'))
{ 
	exit;
}
// no 80legs

In Windeseile hat sich der Crawler nun erst einmal entfernt. Schauen wir mal, was sich im Laufe der Zeit ergibt.

Danke und allerbeste Grüße

[soundlink]

Hi habe das gleiche problem mit nem robot AHREFS wie kann man diesen sperren der ist versteckt als gast. kann man mit diese code auch AHREFS sperren. Wenn ja wie? Danke

[Miriam]

Lies Dir diesen Code, der gepostet, wurde GENAU durch und Du wirst es wissen:

Code: Alles auswählen

// no Pixray
    $useragent = @$_SERVER['HTTP_USER_AGENT'];

    if (strchr($useragent,'Pixray'))
    {
       exit;
    }
    // no Pixray

    // no netEstate NE Crawler
    $useragent = @$_SERVER['HTTP_USER_AGENT'];

    if (strchr($useragent,'netEstate NE Crawler'))
    {
       exit;
    }
    // no netEstate NE Crawler

    // no netEstate FOAF crawler
    $useragent = @$_SERVER['HTTP_USER_AGENT'];

    if (strchr($useragent,'netEstate FOAF crawler'))
    {
       exit;
    }
    // no netEstate FOAF crawler

    // no netEstate RSS crawler
    $useragent = @$_SERVER['HTTP_USER_AGENT'];

    if (strchr($useragent,'netEstate RSS crawler'))
    {
       exit;
    }
    // no netEstate RSS crawler

    // no 80legs
    $useragent = @$_SERVER['HTTP_USER_AGENT'];

    if (strchr($useragent,'80legs'))
    {
       exit;
    }
    // no 80legs

 

Kannst den obigen Code auch etwas kompakter schreiben, vllt siehst Du es dann besser:

Code: Alles auswählen

$no_entry = array(
                "Pixray",
                "netEstate NE Crawler",
                "netEstate FOAF crawler",
                "netEstate RSS crawler",
                "80legs");

if (isset($_SERVER['HTTP_USER_AGENT']) AND in_array($_SERVER['HTTP_USER_AGENT'], $no_entry))
{
    exit;
} 

[soundlink]

vielen dank das hab nun auch ich gesehen ich werde den letzten code nehmen der is kürzer aber halt nur mit AHREFS hoffe das geht

[AYYILDIZLAR]

Hallo,

aber halt nur mit AHREFS hoffe das geht

Natürlich geht das auch nur mit einem Namen in deinem Fall halt mit "Ahrefs", die anderen wurden ja nur mit übernommen. Das musst du natürlich nicht machen, ist jedem selbst überlassen.

Grüße

[Perlchamp]

@Talk19zehn:
wäre dies nicht einfacher ? :

Code: Alles auswählen

if (strchr($useragent,'netEstate'))
{
   exit;
}

... gut, ich weiss jetzt natürlich nicht, ob du Anderes von "netEstate" erlauben möchtest.

@BNa:
ginge anstelle von

Code: Alles auswählen

strchr

auch

Code: Alles auswählen

strstr

bzw.

Code: Alles auswählen

stristr

?

so long

[BNa]

Kannst den obigen Code auch etwas kompakter schreiben, vllt siehst Du es dann besser:

Code: Alles auswählen

$no_entry = array(
                "Pixray",
                "netEstate NE Crawler",
                "netEstate FOAF crawler",
                "netEstate RSS crawler",
                "80legs");

if (isset($_SERVER['HTTP_USER_AGENT']) AND in_array($_SERVER['HTTP_USER_AGENT'], $no_entry))
{
    exit;
} 

Ohne strchr() muss der $_SERVER['HTTP_USER_AGENT'] allerdings exakt so lauten, wie man es einträgt, was nicht praxisgerecht ist, da die Bots hier durchaus gern mal variieren. Mit meinem für Arrays etwas unkompakten Basis Code (war ja auch nur für einen Bot gedacht lt. OP) braucht es nur irgendwo das Wort enthalten.

[BNa]

@BNa:
ginge anstelle von

Code: Alles auswählen

strchr

auch

Code: Alles auswählen

strstr

bzw.

Code: Alles auswählen

stristr

?

so long

Nach einigen Tests habe ich mich für strchr() entschieden, da die Ergebnisse hier zuverlässiger waren.
Teste es einfach aus. Für viele Fälle wird es warscheinlich nicht so einen Unterschied machen.