... Yandex ... Warum?
... Yandex ... Warum?
Die Seite meines Mannes ist derzeit mehr als tot, wir wollen aber voraussichtlich Ende 2018/Anfang 2019 einen Versuch wagen, das Forum zu aktivieren. Nunja, ich habe alle Zeit der Welt, trotzdem mußte ich den Internetauftritt vorübergehend wegen der DSGVO in Wartung stellen, einfach weil ich mit der Formulierung noch nicht im Klaren bin. Dies war dann der Anlass, mir mal die Aufrufstatistiken anzuschauen und was soll ich sagen:
Die meist besuchte Seite ist "/download/file.php"
Verwiesen auf die Seiten wurde durch:
1. Position - (Direct Request)
2. Position http ://burger-imperia.com/
3. Position http ://pizza-tycoon.com/
4. Position http ://pizza-imperia.com/
5. Position https ://duckduckgo.com/
6. Position http ://bit.do/mydirtyhobby
7. Position http ://hundejo.com/
Hundejo, burger, pizza - gehts noch???
Anwenderprogramme, die auf die Seiten zugreifen:
1. Position Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)
2. Position Mozilla/5.0 (compatible; spbot/5.0.3; +http://OpenLinkProfiler.org/bot )
3. Position MauiBot (crawler.feedback+wc@gmail.com)
4. Position Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
5. Position Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)
6. Position Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.189 Safari/537.36 Vivaldi/1
7. Position Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
8. Position Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.183 Safari/537.36 Vivaldi/1
9. Position Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
10. Position Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0
11. Position Mozilla/5.0 (compatible; SemrushBot/2~bl; +http://www.semrush.com/bot.html)
12. Position Mozilla/5.0 (Windows NT 5.0; rv:44.0) Gecko/20100101 Firefox/44.0
13. Position Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
Russland an erster Stelle, warum?
All das kann ich mir nicht erklären. Insbesondere, warum verstärkt auf "/download/file.php" zugegriffen wird. Wie sieht es bei Euch aus?
Die meist besuchte Seite ist "/download/file.php"
Verwiesen auf die Seiten wurde durch:
1. Position - (Direct Request)
2. Position http ://burger-imperia.com/
3. Position http ://pizza-tycoon.com/
4. Position http ://pizza-imperia.com/
5. Position https ://duckduckgo.com/
6. Position http ://bit.do/mydirtyhobby
7. Position http ://hundejo.com/
Hundejo, burger, pizza - gehts noch???
Anwenderprogramme, die auf die Seiten zugreifen:
1. Position Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)
2. Position Mozilla/5.0 (compatible; spbot/5.0.3; +http://OpenLinkProfiler.org/bot )
3. Position MauiBot (crawler.feedback+wc@gmail.com)
4. Position Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
5. Position Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)
6. Position Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.189 Safari/537.36 Vivaldi/1
7. Position Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
8. Position Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.183 Safari/537.36 Vivaldi/1
9. Position Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
10. Position Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0
11. Position Mozilla/5.0 (compatible; SemrushBot/2~bl; +http://www.semrush.com/bot.html)
12. Position Mozilla/5.0 (Windows NT 5.0; rv:44.0) Gecko/20100101 Firefox/44.0
13. Position Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
Russland an erster Stelle, warum?
All das kann ich mir nicht erklären. Insbesondere, warum verstärkt auf "/download/file.php" zugegriffen wird. Wie sieht es bei Euch aus?
Der, die, das, wer, wie. was ... wer nicht fragt bleibt dumm.
-
- Valued Contributor
- Beiträge: 3545
- Registriert: 21.04.2004 12:22
- Wohnort: Berlin
- Kontaktdaten:
Re: ... Yandex ... Warum?
Das wird dir hier wohl keiner so richtig erklären können.ZNC hat geschrieben:All das kann ich mir nicht erklären. Insbesondere, warum verstärkt auf "/download/file.php" zugegriffen wird. Wie sieht es bei Euch aus?
Was man dir erklären kann, ist das die Datei verwendet wird, wenn bspw. ein Datei-Anhang in einem Beitrag geöffnet/geladen wird.
Yandex scheint eine russische Suchmaschine zu sein und dessen Bot spidert eben gerne das Forum. Keine Ahnung um was sich dein Forum handelt, aber es scheint für den Russen interessant zu sein.
Aber wenn dich das stört kannst du ja den Bot sperren, bzw. per .htaccess oder robots.txt ausschließen.
- canonknipser
- Ehemaliges Teammitglied
- Beiträge: 2053
- Registriert: 10.09.2011 11:14
- Kontaktdaten:
Re: ... Yandex ... Warum?
Evtl. solltest du überprüfen, ob Bots das Recht haben, Anhänge zu lesen (Download). Dann werden deine Bilder und weiteren Anhänge schön in den Suchdiensten angezeigt, sofern du das willst. Wenn nicht, kannst du der BOT-Gruppe (und ggf. auch Gästen, den unbekannte Bots sind auch Gäste ) das Download-Recht entziehen.hackepeter13 hat geschrieben:Was man dir erklären kann, ist das die Datei verwendet wird, wenn bspw. ein Datei-Anhang in einem Beitrag geöffnet/geladen wird.ZNC hat geschrieben:nsbesondere, warum verstärkt auf "/download/file.php" zugegriffen wird. Wie sieht es bei Euch aus?
die robots.txt funktioniert nur bei Bots, die sich an die freiwilligen Konventionen halten, diese zu beachten. Wenn ein Bot das nicht tut, musst du ihn hart sperren, also über phpBB-Rechte oder Server-Rechte (.htaccess resp. bei anderen Servern wie nginx die entsprechende Konfigurationsdatei)hackepeter13 hat geschrieben:Aber wenn dich das stört kannst du ja den Bot sperren, bzw. per .htaccess oder robots.txt ausschließen.
Grüße, canonknipser
"there are only 10 types of people: those, who understand binary and those, who don't"
just arrived - Bilder
Kein Support via PN, nur im Board und (manchmal) im IRC
"there are only 10 types of people: those, who understand binary and those, who don't"
just arrived - Bilder
Kein Support via PN, nur im Board und (manchmal) im IRC
Re: ... Yandex ... Warum?
Angeln Russen gerne oder sollte ich vielleicht die robots.txt kyrillisch abfassen? Russland, China, Pizza ... man lernt nicht aus
Spaß beiseite vielen Dank für Eure Rückmeldungen.
"/download/file.php" wird also dann aktiviert, wenn Robots, Gäste und User sich die Bilder downloaden, gut zu wissen. Auch, wenn diese sich nur die Bilder anschauen?
.htaccess + Robots.txt würde ich nur bei problematischen Fällen, wo ich adhoc keinen Rat wüßte, nutzen. Arglist läßt sich nicht ausschließen. Worauf man achten sollte, wären die richtigen Verzeichnis-/Dateirechte, Admin-User + Passwords zu hegen und zu pflegen und die richtigen Leute in das Forum lassen.
Spaß beiseite vielen Dank für Eure Rückmeldungen.
"/download/file.php" wird also dann aktiviert, wenn Robots, Gäste und User sich die Bilder downloaden, gut zu wissen. Auch, wenn diese sich nur die Bilder anschauen?
.htaccess + Robots.txt würde ich nur bei problematischen Fällen, wo ich adhoc keinen Rat wüßte, nutzen. Arglist läßt sich nicht ausschließen. Worauf man achten sollte, wären die richtigen Verzeichnis-/Dateirechte, Admin-User + Passwords zu hegen und zu pflegen und die richtigen Leute in das Forum lassen.
Der, die, das, wer, wie. was ... wer nicht fragt bleibt dumm.
- canonknipser
- Ehemaliges Teammitglied
- Beiträge: 2053
- Registriert: 10.09.2011 11:14
- Kontaktdaten:
Re: ... Yandex ... Warum?
"Anschauen" ist auch ein DownloadZNC hat geschrieben:"/download/file.php" wird also dann aktiviert, wenn Robots, Gäste und User sich die Bilder downloaden, gut zu wissen. Auch, wenn diese sich nur die Bilder anschauen?
Grüße, canonknipser
"there are only 10 types of people: those, who understand binary and those, who don't"
just arrived - Bilder
Kein Support via PN, nur im Board und (manchmal) im IRC
"there are only 10 types of people: those, who understand binary and those, who don't"
just arrived - Bilder
Kein Support via PN, nur im Board und (manchmal) im IRC
Re: ... Yandex ... Warum?
@Canonenknipser, ja, ist es
Der, die, das, wer, wie. was ... wer nicht fragt bleibt dumm.
-
- Mitglied
- Beiträge: 2
- Registriert: 31.05.2018 01:56
Re: ... Yandex ... Warum?
Falls du trotzdem den Yandex Bot ausschliessen möchtest, kannst du dies in dein robots.txt schreiben und diese Datei in deinem htdocs root platzieren. Dies gilt dann für alle Yandex Bots:
Quelle: https://yandex.com/support/webmaster/co ... ts-txt.xml
Der russische Bot ist übrigens nicht böser oder gefährlicher als die unzähligen anderen
Code: Alles auswählen
User-agent: Yandex
Disallow: /
Der russische Bot ist übrigens nicht böser oder gefährlicher als die unzähligen anderen
Re: ... Yandex ... Warum?
=>zugumzugum hat geschrieben:Falls du trotzdem den Yandex Bot ausschliessen möchtest, kannst du dies in dein robots.txt schreiben
canonknipser hat geschrieben:die robots.txt funktioniert nur bei Bots, die sich an die freiwilligen Konventionen halten, diese zu beachten. Wenn ein Bot das nicht tut, musst du ihn hart sperren, also über phpBB-Rechte oder Server-Rechte (.htaccess resp. bei anderen Servern wie nginx die entsprechende Konfigurationsdatei)
Handle nur nach derjenigen Maxime, durch die du zugleich wollen kannst, dass sie ein allgemeines Gesetz werde.
(Immanuel Kant)
(Immanuel Kant)
Re: ... Yandex ... Warum?
ZNC hat geschrieben:Anwenderprogramme, die auf die Seiten zugreifen:
1. Position Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)
2. Position Mozilla/5.0 (compatible; spbot/5.0.3; +http://OpenLinkProfiler.org/bot )
3. Position MauiBot (crawler.feedback+wc@gmail.com)
4. Position Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
etc...
Dazu mal ab hier lesen
viewtopic.php?f=74&t=211714&start=30#p1260742
und "Deine" Problem-Bots der angegebenen Syntax entsprechend dort einpassen.
Funktioniert, zumindest bei mir, erste Sahne.
Zumal der Bot einfach nur eine leere Seite bekommt, daher kein "Flooding"..
Area51@4seven | Area51@4seven / Reloaded | Kein Support via PN
Club goin up, on a Tuesday...
Club goin up, on a Tuesday...
Re: ... Yandex ... Warum?
Vielen Dank Euch.
Der, die, das, wer, wie. was ... wer nicht fragt bleibt dumm.