... Yandex ... Warum?

Der Offtopic-Treff auf phpBB.de - Hier ist (unter Beachtung des phpBB.de-Knigges) fast alles erlaubt :-)
ZNC
Mitglied
Beiträge: 229
Registriert: 21.05.2014 13:48
Wohnort: Köln

... Yandex ... Warum?

Beitragvon ZNC » 25.05.2018 09:18

Die Seite meines Mannes ist derzeit mehr als tot, wir wollen aber voraussichtlich Ende 2018/Anfang 2019 einen Versuch wagen, das Forum zu aktivieren. Nunja, ich habe alle Zeit der Welt, trotzdem mußte ich den Internetauftritt vorübergehend wegen der DSGVO in Wartung stellen, einfach weil ich mit der Formulierung noch nicht im Klaren bin. Dies war dann der Anlass, mir mal die Aufrufstatistiken anzuschauen und was soll ich sagen:

Die meist besuchte Seite ist "/download/file.php" :-? :-? :-? :o :o :o

Verwiesen auf die Seiten wurde durch:
1. Position - (Direct Request)
2. Position http ://burger-imperia.com/
3. Position http ://pizza-tycoon.com/
4. Position http ://pizza-imperia.com/
5. Position https ://duckduckgo.com/
6. Position http ://bit.do/mydirtyhobby
7. Position http ://hundejo.com/


Hundejo, burger, pizza - gehts noch???

Anwenderprogramme, die auf die Seiten zugreifen:
1. Position Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)
2. Position Mozilla/5.0 (compatible; spbot/5.0.3; +http://OpenLinkProfiler.org/bot )
3. Position MauiBot (crawler.feedback+wc@gmail.com)
4. Position Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
5. Position Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)
6. Position Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.189 Safari/537.36 Vivaldi/1
7. Position Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
8. Position Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.183 Safari/537.36 Vivaldi/1
9. Position Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
10. Position Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0
11. Position Mozilla/5.0 (compatible; SemrushBot/2~bl; +http://www.semrush.com/bot.html)
12. Position Mozilla/5.0 (Windows NT 5.0; rv:44.0) Gecko/20100101 Firefox/44.0
13. Position Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)


Russland an erster Stelle, warum? :roll: :roll: :roll:

All das kann ich mir nicht erklären. Insbesondere, warum verstärkt auf "/download/file.php" zugegriffen wird. Wie sieht es bei Euch aus?
Der, die, das, wer, wie. was ... wer nicht fragt bleibt dumm. :D

hackepeter13
Valued Contributor
Beiträge: 3410
Registriert: 21.04.2004 12:22
Wohnort: Berlin
Kontaktdaten:

Re: ... Yandex ... Warum?

Beitragvon hackepeter13 » 27.05.2018 16:03

ZNC hat geschrieben:All das kann ich mir nicht erklären. Insbesondere, warum verstärkt auf "/download/file.php" zugegriffen wird. Wie sieht es bei Euch aus?

Das wird dir hier wohl keiner so richtig erklären können.

Was man dir erklären kann, ist das die Datei verwendet wird, wenn bspw. ein Datei-Anhang in einem Beitrag geöffnet/geladen wird.

Yandex scheint eine russische Suchmaschine zu sein und dessen Bot spidert eben gerne das Forum. Keine Ahnung um was sich dein Forum handelt, aber es scheint für den Russen interessant zu sein. :grin:

Aber wenn dich das stört kannst du ja den Bot sperren, bzw. per .htaccess oder robots.txt ausschließen.

Benutzeravatar
canonknipser
Supporter
Supporter
Beiträge: 1686
Registriert: 10.09.2011 11:14
Kontaktdaten:

Re: ... Yandex ... Warum?

Beitragvon canonknipser » 27.05.2018 23:21

hackepeter13 hat geschrieben:
ZNC hat geschrieben:nsbesondere, warum verstärkt auf "/download/file.php" zugegriffen wird. Wie sieht es bei Euch aus?
Was man dir erklären kann, ist das die Datei verwendet wird, wenn bspw. ein Datei-Anhang in einem Beitrag geöffnet/geladen wird.
Evtl. solltest du überprüfen, ob Bots das Recht haben, Anhänge zu lesen (Download). Dann werden deine Bilder und weiteren Anhänge schön in den Suchdiensten angezeigt, sofern du das willst. Wenn nicht, kannst du der BOT-Gruppe (und ggf. auch Gästen, den unbekannte Bots sind auch Gäste ;) ) das Download-Recht entziehen.
hackepeter13 hat geschrieben:Aber wenn dich das stört kannst du ja den Bot sperren, bzw. per .htaccess oder robots.txt ausschließen.
die robots.txt funktioniert nur bei Bots, die sich an die freiwilligen Konventionen halten, diese zu beachten. Wenn ein Bot das nicht tut, musst du ihn hart sperren, also über phpBB-Rechte oder Server-Rechte (.htaccess resp. bei anderen Servern wie nginx die entsprechende Konfigurationsdatei)
Grüße, canonknipser
"there are only 10 types of people: those, who understand binary and those, who don't"
just arrived ;) - Bilder
Kein Support via PN, nur im Board und (manchmal) im IRC

ZNC
Mitglied
Beiträge: 229
Registriert: 21.05.2014 13:48
Wohnort: Köln

Re: ... Yandex ... Warum?

Beitragvon ZNC » 30.05.2018 06:13

Angeln Russen gerne oder sollte ich vielleicht die robots.txt kyrillisch abfassen? Russland, China, Pizza ... man lernt nicht aus :lol:
Spaß beiseite vielen Dank für Eure Rückmeldungen.

"/download/file.php" wird also dann aktiviert, wenn Robots, Gäste und User sich die Bilder downloaden, gut zu wissen. Auch, wenn diese sich nur die Bilder anschauen?

.htaccess + Robots.txt würde ich nur bei problematischen Fällen, wo ich adhoc keinen Rat wüßte, nutzen. Arglist läßt sich nicht ausschließen. Worauf man achten sollte, wären die richtigen Verzeichnis-/Dateirechte, Admin-User + Passwords zu hegen und zu pflegen und die richtigen Leute in das Forum lassen.
Der, die, das, wer, wie. was ... wer nicht fragt bleibt dumm. :D

Benutzeravatar
canonknipser
Supporter
Supporter
Beiträge: 1686
Registriert: 10.09.2011 11:14
Kontaktdaten:

Re: ... Yandex ... Warum?

Beitragvon canonknipser » 30.05.2018 07:12

ZNC hat geschrieben:"/download/file.php" wird also dann aktiviert, wenn Robots, Gäste und User sich die Bilder downloaden, gut zu wissen. Auch, wenn diese sich nur die Bilder anschauen?
"Anschauen" ist auch ein Download ;)
Grüße, canonknipser
"there are only 10 types of people: those, who understand binary and those, who don't"
just arrived ;) - Bilder
Kein Support via PN, nur im Board und (manchmal) im IRC

ZNC
Mitglied
Beiträge: 229
Registriert: 21.05.2014 13:48
Wohnort: Köln

Re: ... Yandex ... Warum?

Beitragvon ZNC » 30.05.2018 19:43

@Canonenknipser, ja, ist es :lol: :grin:
Der, die, das, wer, wie. was ... wer nicht fragt bleibt dumm. :D

zugumzugum
Mitglied
Beiträge: 2
Registriert: 31.05.2018 01:56

Re: ... Yandex ... Warum?

Beitragvon zugumzugum » 31.05.2018 19:00

Falls du trotzdem den Yandex Bot ausschliessen möchtest, kannst du dies in dein robots.txt schreiben und diese Datei in deinem htdocs root platzieren. Dies gilt dann für alle Yandex Bots:

Code: Alles auswählen

User-agent: Yandex
Disallow: /


Quelle: https://yandex.com/support/webmaster/controlling-robot/robots-txt.xml

Der russische Bot ist übrigens nicht böser oder gefährlicher als die unzähligen anderen :)

Benutzeravatar
Melmac
Supporter
Supporter
Beiträge: 3448
Registriert: 15.10.2012 03:27

Re: ... Yandex ... Warum?

Beitragvon Melmac » 31.05.2018 22:43

zugumzugum hat geschrieben:Falls du trotzdem den Yandex Bot ausschliessen möchtest, kannst du dies in dein robots.txt schreiben

=>
canonknipser hat geschrieben:die robots.txt funktioniert nur bei Bots, die sich an die freiwilligen Konventionen halten, diese zu beachten. Wenn ein Bot das nicht tut, musst du ihn hart sperren, also über phpBB-Rechte oder Server-Rechte (.htaccess resp. bei anderen Servern wie nginx die entsprechende Konfigurationsdatei)

:wink:
Handle nur nach derjenigen Maxime, durch die du zugleich wollen kannst, dass sie ein allgemeines Gesetz werde.
(Immanuel Kant)

Benutzeravatar
BNa
Valued Contributor
Beiträge: 2408
Registriert: 12.04.2010 23:51
Kontaktdaten:

Re: ... Yandex ... Warum?

Beitragvon BNa » 01.06.2018 23:00

ZNC hat geschrieben:Anwenderprogramme, die auf die Seiten zugreifen:
[i][color=#0040BF]1. Position Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)
2. Position Mozilla/5.0 (compatible; spbot/5.0.3; +http://OpenLinkProfiler.org/bot )
3. Position MauiBot (crawler.feedback+wc@gmail.com)
4. Position Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
etc...


Dazu mal ab hier lesen
viewtopic.php?f=74&t=211714&start=30#p1260742

und "Deine" Problem-Bots der angegebenen Syntax entsprechend dort einpassen.
Funktioniert, zumindest bei mir, erste Sahne.

Zumal der Bot einfach nur eine leere Seite bekommt, daher kein "Flooding"..

ZNC
Mitglied
Beiträge: 229
Registriert: 21.05.2014 13:48
Wohnort: Köln

Re: ... Yandex ... Warum?

Beitragvon ZNC » 07.06.2018 14:16

Vielen Dank Euch.
Der, die, das, wer, wie. was ... wer nicht fragt bleibt dumm. :D


Zurück zu „Smalltalk“