phpBB.de

Verfasst: **29.04.2012 18:51**

Hi, liebe phpBBlerInnen, ist´s irgendwie möglich dem Crawler (Suchmaschinen-Crawler (sengine.info))

netEstate FOAF crawler
netEstate NE Crawler
netEstate RSS crawler

den Zugang zu verweigern?
Alles, was ich finden konnte, waren jene Hinweise vom 16.04.2012: *Informationen auf:

http://www.evilazrael.de/taxonomy/term/6

Ist jener klägliche Versuch via robots.txt ausreichend bemessen? Nach den o.g. *Informationen wohl eher nicht!?

Code: Alles auswählen

User-agent: netEstate NE Crawler
Disallow: /

User-agent: netEstate FOAF crawler
Disallow: /

User-agent: netEstate RSS crawler
Disallow: /

Habt ihr bereits ggf. Erfahrungen mit jenen Crawlern??

Danke und Gruß

Edit:
Er kommt im "Dreierpack" daher und ist stundenlang auf der Seite online.

Verfasst: **29.04.2012 19:04**

Hallo Talk19Zehn,

Ich hatte vor einiger Zeit Probleme mit einem bestimmten Gast und habe hier eine gute Lösung für das Problem Gast bekommen. Ich weiß nicht wie das ist mit dem Crawler von dir aber hier in dem Beitrag ganz unten der letzte Beitrag von BNa hat mir für mein Gast Problem weitergeholfen. Es sollte doch möglich sein, diesen Code für dein Crawler umzuschreiben.

Grüße aus dem Spessart

Verfasst: **29.04.2012 19:44**

Hi AYYILDIZLAR, vielen Dank für den Tipp!!!

Und mein *Dank geht selbstverständlich unbedingt an BNa ! (vgl. dortigen Beitrag!! ) Ich habe sogleich das ganze Sortiment der hiesigen letzteren Diskussionen aufgenommen: hoffentlich fehlerfrei... ?

*(vgl. Beitrag)
Öffne

includes/functions.php

Finde

Code: Alles auswählen

/**
* @ignore
*/
if (!defined('IN_PHPBB'))
{
    exit;
}

danach eingefügt

Code: Alles auswählen

// no Pixray
$useragent = @$_SERVER['HTTP_USER_AGENT'];

if (strchr($useragent,'Pixray'))
{
	exit;
}
// no Pixray

// no netEstate NE Crawler
$useragent = @$_SERVER['HTTP_USER_AGENT'];

if (strchr($useragent,'netEstate NE Crawler'))
{
	exit;
}
// no netEstate NE Crawler

// no netEstate FOAF crawler
$useragent = @$_SERVER['HTTP_USER_AGENT'];

if (strchr($useragent,'netEstate FOAF crawler'))
{
	exit;
}
// no netEstate FOAF crawler

// no netEstate RSS crawler
$useragent = @$_SERVER['HTTP_USER_AGENT'];

if (strchr($useragent,'netEstate RSS crawler'))
{
	exit;
}
// no netEstate RSS crawler

// no 80legs
$useragent = @$_SERVER['HTTP_USER_AGENT'];

if (strchr($useragent,'80legs'))
{ 
	exit;
}
// no 80legs

In Windeseile hat sich der Crawler nun erst einmal entfernt. Schauen wir mal, was sich im Laufe der Zeit ergibt.

Danke und allerbeste Grüße

Verfasst: **29.06.2012 16:05**

Hi habe das gleiche problem mit nem robot AHREFS wie kann man diesen sperren der ist versteckt als gast. kann man mit diese code auch AHREFS sperren. Wenn ja wie? Danke

Verfasst: **29.06.2012 17:41**

Lies Dir diesen Code, der gepostet, wurde GENAU durch und Du wirst es wissen:

Code: Alles auswählen

// no Pixray
    $useragent = @$_SERVER['HTTP_USER_AGENT'];

    if (strchr($useragent,'Pixray'))
    {
       exit;
    }
    // no Pixray

    // no netEstate NE Crawler
    $useragent = @$_SERVER['HTTP_USER_AGENT'];

    if (strchr($useragent,'netEstate NE Crawler'))
    {
       exit;
    }
    // no netEstate NE Crawler

    // no netEstate FOAF crawler
    $useragent = @$_SERVER['HTTP_USER_AGENT'];

    if (strchr($useragent,'netEstate FOAF crawler'))
    {
       exit;
    }
    // no netEstate FOAF crawler

    // no netEstate RSS crawler
    $useragent = @$_SERVER['HTTP_USER_AGENT'];

    if (strchr($useragent,'netEstate RSS crawler'))
    {
       exit;
    }
    // no netEstate RSS crawler

    // no 80legs
    $useragent = @$_SERVER['HTTP_USER_AGENT'];

    if (strchr($useragent,'80legs'))
    {
       exit;
    }
    // no 80legs

Kannst den obigen Code auch etwas kompakter schreiben, vllt siehst Du es dann besser:

Code: Alles auswählen

$no_entry = array(
                "Pixray",
                "netEstate NE Crawler",
                "netEstate FOAF crawler",
                "netEstate RSS crawler",
                "80legs");

if (isset($_SERVER['HTTP_USER_AGENT']) AND in_array($_SERVER['HTTP_USER_AGENT'], $no_entry))
{
    exit;
}

Verfasst: **29.06.2012 19:36**

vielen dank das hab nun auch ich gesehen ich werde den letzten code nehmen der is kürzer aber halt nur mit AHREFS hoffe das geht

Verfasst: **29.06.2012 19:41**

Hallo,

soundlink hat geschrieben:aber halt nur mit AHREFS hoffe das geht

Natürlich geht das auch nur mit einem Namen in deinem Fall halt mit "Ahrefs", die anderen wurden ja nur mit übernommen. Das musst du natürlich nicht machen, ist jedem selbst überlassen.

Grüße

Verfasst: **29.06.2012 20:17**

@Talk19zehn:
wäre dies nicht einfacher ? :

Code: Alles auswählen

if (strchr($useragent,'netEstate'))
{
   exit;
}

... gut, ich weiss jetzt natürlich nicht, ob du Anderes von "netEstate" erlauben möchtest.

@BNa:
ginge anstelle von

Code: Alles auswählen

strchr

auch

Code: Alles auswählen

strstr

bzw.

Code: Alles auswählen

stristr

?

so long

Verfasst: **29.06.2012 20:45**

Miriam hat geschrieben: Kannst den obigen Code auch etwas kompakter schreiben, vllt siehst Du es dann besser:

Code: Alles auswählen

$no_entry = array(
                "Pixray",
                "netEstate NE Crawler",
                "netEstate FOAF crawler",
                "netEstate RSS crawler",
                "80legs");

if (isset($_SERVER['HTTP_USER_AGENT']) AND in_array($_SERVER['HTTP_USER_AGENT'], $no_entry))
{
    exit;
}

Ohne strchr() muss der $_SERVER['HTTP_USER_AGENT'] allerdings exakt so lauten, wie man es einträgt, was nicht praxisgerecht ist, da die Bots hier durchaus gern mal variieren. Mit meinem für Arrays etwas unkompakten Basis Code (war ja auch nur für einen Bot gedacht lt. OP) braucht es nur irgendwo das Wort enthalten.

Verfasst: **29.06.2012 20:47**

Perlchamp hat geschrieben:@BNa:
ginge anstelle von
Code: Alles auswählen
strchr
auch
Code: Alles auswählen
strstr
bzw.
Code: Alles auswählen
stristr
?

so long

Nach einigen Tests habe ich mich für strchr() entschieden, da die Ergebnisse hier zuverlässiger waren.
Teste es einfach aus. Für viele Fälle wird es warscheinlich nicht so einen Unterschied machen.

phpBB.de

Crawler(sengine.info) netEstate - Aussperren möglich?

Crawler(sengine.info) netEstate - Aussperren möglich?

Re: Crawler(sengine.info) netEstate - Ausperren möglich?

Re: Crawler(sengine.info) netEstate - Aussperren möglich?

Re: Crawler(sengine.info) netEstate - Aussperren möglich?

Re: Crawler(sengine.info) netEstate - Aussperren möglich?

Re: Crawler(sengine.info) netEstate - Aussperren möglich?

Re: Crawler(sengine.info) netEstate - Aussperren möglich?

Re: Crawler(sengine.info) netEstate - Aussperren möglich?

Re: Crawler(sengine.info) netEstate - Aussperren möglich?

Re: Crawler(sengine.info) netEstate - Aussperren möglich?