... Yandex ... Warum?

Der Offtopic-Treff auf phpBB.de - Hier ist (unter Beachtung des phpBB.de-Knigges) fast alles erlaubt :-)
Antworten
ZNC
Mitglied
Beiträge: 229
Registriert: 21.05.2014 13:48
Wohnort: Köln

... Yandex ... Warum?

Beitrag von ZNC »

Die Seite meines Mannes ist derzeit mehr als tot, wir wollen aber voraussichtlich Ende 2018/Anfang 2019 einen Versuch wagen, das Forum zu aktivieren. Nunja, ich habe alle Zeit der Welt, trotzdem mußte ich den Internetauftritt vorübergehend wegen der DSGVO in Wartung stellen, einfach weil ich mit der Formulierung noch nicht im Klaren bin. Dies war dann der Anlass, mir mal die Aufrufstatistiken anzuschauen und was soll ich sagen:

Die meist besuchte Seite ist "/download/file.php" :-? :-? :-? :o :o :o

Verwiesen auf die Seiten wurde durch:
1. Position - (Direct Request)
2. Position http ://burger-imperia.com/
3. Position http ://pizza-tycoon.com/
4. Position http ://pizza-imperia.com/
5. Position https ://duckduckgo.com/
6. Position http ://bit.do/mydirtyhobby
7. Position http ://hundejo.com/


Hundejo, burger, pizza - gehts noch???

Anwenderprogramme, die auf die Seiten zugreifen:
1. Position Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)
2. Position Mozilla/5.0 (compatible; spbot/5.0.3; +http://OpenLinkProfiler.org/bot )
3. Position MauiBot (crawler.feedback+wc@gmail.com)
4. Position Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
5. Position Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)
6. Position Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.189 Safari/537.36 Vivaldi/1
7. Position Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
8. Position Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.183 Safari/537.36 Vivaldi/1
9. Position Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
10. Position Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0
11. Position Mozilla/5.0 (compatible; SemrushBot/2~bl; +http://www.semrush.com/bot.html)
12. Position Mozilla/5.0 (Windows NT 5.0; rv:44.0) Gecko/20100101 Firefox/44.0
13. Position Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)


Russland an erster Stelle, warum? :roll: :roll: :roll:

All das kann ich mir nicht erklären. Insbesondere, warum verstärkt auf "/download/file.php" zugegriffen wird. Wie sieht es bei Euch aus?
Der, die, das, wer, wie. was ... wer nicht fragt bleibt dumm. :D
hackepeter13
Valued Contributor
Beiträge: 3545
Registriert: 21.04.2004 12:22
Wohnort: Berlin
Kontaktdaten:

Re: ... Yandex ... Warum?

Beitrag von hackepeter13 »

ZNC hat geschrieben:All das kann ich mir nicht erklären. Insbesondere, warum verstärkt auf "/download/file.php" zugegriffen wird. Wie sieht es bei Euch aus?
Das wird dir hier wohl keiner so richtig erklären können.

Was man dir erklären kann, ist das die Datei verwendet wird, wenn bspw. ein Datei-Anhang in einem Beitrag geöffnet/geladen wird.

Yandex scheint eine russische Suchmaschine zu sein und dessen Bot spidert eben gerne das Forum. Keine Ahnung um was sich dein Forum handelt, aber es scheint für den Russen interessant zu sein. :grin:

Aber wenn dich das stört kannst du ja den Bot sperren, bzw. per .htaccess oder robots.txt ausschließen.
Benutzeravatar
canonknipser
Ehemaliges Teammitglied
Beiträge: 2053
Registriert: 10.09.2011 11:14
Kontaktdaten:

Re: ... Yandex ... Warum?

Beitrag von canonknipser »

hackepeter13 hat geschrieben:
ZNC hat geschrieben:nsbesondere, warum verstärkt auf "/download/file.php" zugegriffen wird. Wie sieht es bei Euch aus?
Was man dir erklären kann, ist das die Datei verwendet wird, wenn bspw. ein Datei-Anhang in einem Beitrag geöffnet/geladen wird.
Evtl. solltest du überprüfen, ob Bots das Recht haben, Anhänge zu lesen (Download). Dann werden deine Bilder und weiteren Anhänge schön in den Suchdiensten angezeigt, sofern du das willst. Wenn nicht, kannst du der BOT-Gruppe (und ggf. auch Gästen, den unbekannte Bots sind auch Gäste ;) ) das Download-Recht entziehen.
hackepeter13 hat geschrieben:Aber wenn dich das stört kannst du ja den Bot sperren, bzw. per .htaccess oder robots.txt ausschließen.
die robots.txt funktioniert nur bei Bots, die sich an die freiwilligen Konventionen halten, diese zu beachten. Wenn ein Bot das nicht tut, musst du ihn hart sperren, also über phpBB-Rechte oder Server-Rechte (.htaccess resp. bei anderen Servern wie nginx die entsprechende Konfigurationsdatei)
Grüße, canonknipser
"there are only 10 types of people: those, who understand binary and those, who don't"
just arrived ;) - Bilder
Kein Support via PN, nur im Board und (manchmal) im IRC
ZNC
Mitglied
Beiträge: 229
Registriert: 21.05.2014 13:48
Wohnort: Köln

Re: ... Yandex ... Warum?

Beitrag von ZNC »

Angeln Russen gerne oder sollte ich vielleicht die robots.txt kyrillisch abfassen? Russland, China, Pizza ... man lernt nicht aus :lol:
Spaß beiseite vielen Dank für Eure Rückmeldungen.

"/download/file.php" wird also dann aktiviert, wenn Robots, Gäste und User sich die Bilder downloaden, gut zu wissen. Auch, wenn diese sich nur die Bilder anschauen?

.htaccess + Robots.txt würde ich nur bei problematischen Fällen, wo ich adhoc keinen Rat wüßte, nutzen. Arglist läßt sich nicht ausschließen. Worauf man achten sollte, wären die richtigen Verzeichnis-/Dateirechte, Admin-User + Passwords zu hegen und zu pflegen und die richtigen Leute in das Forum lassen.
Der, die, das, wer, wie. was ... wer nicht fragt bleibt dumm. :D
Benutzeravatar
canonknipser
Ehemaliges Teammitglied
Beiträge: 2053
Registriert: 10.09.2011 11:14
Kontaktdaten:

Re: ... Yandex ... Warum?

Beitrag von canonknipser »

ZNC hat geschrieben:"/download/file.php" wird also dann aktiviert, wenn Robots, Gäste und User sich die Bilder downloaden, gut zu wissen. Auch, wenn diese sich nur die Bilder anschauen?
"Anschauen" ist auch ein Download ;)
Grüße, canonknipser
"there are only 10 types of people: those, who understand binary and those, who don't"
just arrived ;) - Bilder
Kein Support via PN, nur im Board und (manchmal) im IRC
ZNC
Mitglied
Beiträge: 229
Registriert: 21.05.2014 13:48
Wohnort: Köln

Re: ... Yandex ... Warum?

Beitrag von ZNC »

@Canonenknipser, ja, ist es :lol: :grin:
Der, die, das, wer, wie. was ... wer nicht fragt bleibt dumm. :D
zugumzugum
Mitglied
Beiträge: 2
Registriert: 31.05.2018 01:56

Re: ... Yandex ... Warum?

Beitrag von zugumzugum »

Falls du trotzdem den Yandex Bot ausschliessen möchtest, kannst du dies in dein robots.txt schreiben und diese Datei in deinem htdocs root platzieren. Dies gilt dann für alle Yandex Bots:

Code: Alles auswählen

User-agent: Yandex
Disallow: /
Quelle: https://yandex.com/support/webmaster/co ... ts-txt.xml

Der russische Bot ist übrigens nicht böser oder gefährlicher als die unzähligen anderen :)
Benutzeravatar
Melmac
Ehemaliges Teammitglied
Beiträge: 3623
Registriert: 15.10.2012 03:27

Re: ... Yandex ... Warum?

Beitrag von Melmac »

zugumzugum hat geschrieben:Falls du trotzdem den Yandex Bot ausschliessen möchtest, kannst du dies in dein robots.txt schreiben
=>
canonknipser hat geschrieben:die robots.txt funktioniert nur bei Bots, die sich an die freiwilligen Konventionen halten, diese zu beachten. Wenn ein Bot das nicht tut, musst du ihn hart sperren, also über phpBB-Rechte oder Server-Rechte (.htaccess resp. bei anderen Servern wie nginx die entsprechende Konfigurationsdatei)
:wink:
Handle nur nach derjenigen Maxime, durch die du zugleich wollen kannst, dass sie ein allgemeines Gesetz werde.
(Immanuel Kant)
Benutzeravatar
BNa
Valued Contributor
Beiträge: 3169
Registriert: 12.04.2010 23:51
Kontaktdaten:

Re: ... Yandex ... Warum?

Beitrag von BNa »

ZNC hat geschrieben:Anwenderprogramme, die auf die Seiten zugreifen:
1. Position Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)
2. Position Mozilla/5.0 (compatible; spbot/5.0.3; +http://OpenLinkProfiler.org/bot )
3. Position MauiBot (crawler.feedback+wc@gmail.com)
4. Position Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
etc...


Dazu mal ab hier lesen
viewtopic.php?f=74&t=211714&start=30#p1260742

und "Deine" Problem-Bots der angegebenen Syntax entsprechend dort einpassen.
Funktioniert, zumindest bei mir, erste Sahne.

Zumal der Bot einfach nur eine leere Seite bekommt, daher kein "Flooding"..
ZNC
Mitglied
Beiträge: 229
Registriert: 21.05.2014 13:48
Wohnort: Köln

Re: ... Yandex ... Warum?

Beitrag von ZNC »

Vielen Dank Euch.
Der, die, das, wer, wie. was ... wer nicht fragt bleibt dumm. :D
Antworten

Zurück zu „Smalltalk“