Fragen zu den Bots

[allesweg]

Wenn man nicht will, dass die Bots die Seite besuchen einfach das machen:

.txt Datei mit dem Namen "Robots" erstellen, auf die oberste Ebene der Seite laden...

Hallo,

Die robots.txt habe ich erstellt und ins root-Verzeichnis kopiert, aber wie lade ich sie auf die oberste Ebene der Seite?
Sorry, die Frage mag blöd sein, würde mich trotzdem über eine Antwort freuen

Viele Grüße,

Anke

[coolsoft]

das war schon richtig so - das gleiche ist dasselbe
mach dich mal kundig, wie man die wirklich lästigen Bots (yandex.ru und noch ein paar andere) per .htaccess ausschliessen kann, die sich nicht an die robots.txt halten..

[allesweg]

Hallo,

leider hält sich irgendwie gar kein bot an die robots.txt, ich habe testhalber alle bots ausgesperrt mit diesem Befehl:

Code: Alles auswählen

User-agent: *
Disallow: /

Aber zur Zeit sind wieder ein googlebot und ein slurp anwesend

Deshalb zwei blöde Fragen hinterher, wieso sollten die überhaupt auf die "Idee" kommen, diese robots.txt auszulesen? Müsste nicht irgendwo ein Hinweis sein, der die da hinschickt?
Und miúss in der Datei nicht mehr stehen als das oben von mir zitierte?

Ja, ich habe wenig Ahnung, aber wer nicht fragt bleibt dumm, sagt schon die Sesamstraße

Viele Grüße,

Anke

[Rambaldi]

Also ich gebe mal ehrlich zu, ich war zu faul hier 9 Seiten zu lesen weil ich schon in den ersten beiden keine Lösung fand.

Meine Frage:
Kann man Bots als unsichtbare user zulassen?
Ich möchte damit erreichen, das mods und admins immer sehen welcher bot da war und wann, aber möchte nicht das die User diese sehen!
Am besten wäre es natürlich wenn die zum Besucherrekord nicht dazu gezählt werden.
Weder im normalen noch im MOD "Wer war hier"

Ist das alles möglich?

[sopi]

Die Antwort kommt auf Seite 3

Ich hab da allerdings ein Problem, denn ich hab das jetzt schon seit über einem Jahr so eingestellt und bisher schien alles super zu funktionieren.
Aber jetzt hat mir gestern ein User geschrieben, dass er einen der Bots gesehen hätte.
Ich hab noch mal überprüft, die Einstellungen für die Bots sind gleich geblieben und der User hat kein Recht unsichtbare User zu sehen *versteht die Welt nicht mehr*

Irgendwelche Ideen?
lg
sopi

[TaT-2-Junkie]

Hallo zusammen...

ich habe nichts zu meiner Frage gefunden, also schreibe ich mal alles hier nieder...ich hoffe ich bin hier richtig...

also in den letzten Tagen kommt mehrmals stündlich der Bot von Yandex vorbei, angezeigt als Gast. Ich habe rausgefunden, dass Yandex das russische Gegenstück von Google ist. Jetzt meine Fragen:

Hat jemand Erfahrungen mit dem Bot?
Wenn ja ist er gefährlich? Habe immer so meine bedenken wenn was aus Russland kommt. Aber muss ja nicht alles schlimm sein wenn er gefährlich ist wie sperre ich den Bot am besten?
Falls es okay ist wenn er vorbei kommt, wie kann ich den Bot so einfügen, dass er als Bot erkannt wird?

Hier seine Daten:
Gast IP: 77.88.24.25 » Whois
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

Hoffe ihr könnt mir weiterhelfen.

[schnagga]

Yandex wird nicht als Bot angezeigt...??

Entweder hast du noch eine altertümliche phpBB Version oder ich habe den mal per Hand nachgetragen.
Trage bei Agenten-Übereinstimmung einfach yandex ein. Der Bot sollte dann erkannt werden.

Böse ist der Bot nicht. Allerdings möchte ich den Nutzen in Frage stellen. Der Bot trommelt wie ein Weltmeister (=Trafic), bringt aber kaum Besucher. Jedenfalls nicht bei mir.
Wenn du Traffic extra bezahlen musst und keine russischen Inhalte hast, würde ich den Bot per robots.txt sperren. Yandex beachtet diese Anweisungen.

LG

[TaT-2-Junkie]

habe die neueste Version...okay trage den dann mal ein...danke

[shakira1111]

Hi wieder Metzle

Dann kannst du die auch nicht wirklich ausschalten, soviel ich weiß, da mir keine Funktion bekannt wäre, die Bots unsichtbar macht....
...welcher Bot, wann bei dir im Forum war oder du kannst dort auch die Bots löschen oder deaktivieren....

Hm. Aber das kann ja doch auch nicht Sinn der Sache sein. Mich stört es jedenfalls gewaltig, dass die einzelnen Bots da andauernd "öffentlich" angezeigt werden. Das muss man doch irgendwie ändern können, dass die wie "Gäste" oder sonstiges behandelt werden, eben ohne Anzeige des Namens usw. Und gleich Löschen oder ähnliches kann auch erstrecht nicht der Sinn sein. Bei der 2er Version wurden die Bots doch auch nicht angezeigt, sowas muss doch bei der 3er besser zu handhaben sein, sonst find ich das schon eine ziemlich negative Eigenschaft der neuen Version.

Nein, den vom Forum. Direkt unter Allgemein im ACP ---> Den Cache leeren

Ach so. Jo, okay, hab eh auf rekompilierung gestellt gehabt.

Nun ja, hilft mir also momentan alles nichts weiter.
Aber vielen herzlichen dank trotzdem Metzle!
Vielleicht lässt sich da ja noch irgendeine Lösung/Modifikation bei finden, denn so wie es jetzt ist, ist das wirklich sehr störend. Denn es geht meiner Meinung nach keinen der "normalen" User an, welche Bots da gerade die Site aufsuchen usw. Dies ist eine interne Sache und als das sollte dies auch in der Software behandelt werden, was ja im Moment nicht der Fall ist.

Auch dass man bei den Systemgruppen nicht den Typ ändern kann, ist auch nicht besonders prickelnd.

Hallo,

Wie und wo kann ich den Cache leeren.. Iergenwie finde ich das nicht

LG

shaki

[Metzle]

Hallo,

entweder direkt auf der Startseite des ACP oder per FTP-Programm den Inhalt des Ordner cache, außer die Dateien index.htm und .htaccess, löschen.