[3.3] Gesamtes Forum möglichst unsichtbar machen?

[Tydan]

Hallo,

das Forum was hier neu entsteht, ist eine in sich geschlossene Mitgliedergruppe, quasi eine VIP Forum.

Wie lässt sich das gesamte Forum denn so gut wie es geht vor Crawlern und Bots verbergen und das auch gerade das Impressum und der Datenschutz Inhalt nicht bei Google auf dem Index landen?

Ein simples:

User-agent: *
Disallow: /

in der robots.txt wird doch sicher nicht reichen?

Was wäre denn optimalst diesbezüglich machbar?

THX

[Mahony]

Hallo Tydan

Wie lässt sich das gesamte Forum denn so gut wie es geht vor Crawlern und Bots verbergen....

Ich würde einfach der Gruppe Bots alle Rechte entziehen (also auf NIE setzen). Wenn auch Gäste keine Einsicht haben sollen, dann das gleiche auch bei der Gruppe Gäste machen.

Grüße: Mahony

[vfrblue]

Und in eine eventuell vorhandene ".htaccess" folgende Anweisung einfügen:

Code: Alles auswählen

Header set X-Robots-Tag "noindex, nofollow, noarchive"

[Tydan]

Der Befehl "noindex" wurde glaube ich im letzten September bei Krake Google aus den Funktionen entfernt?
Das funktioniert dann aber bei allen anderen Bots noch?

Was ist mit robots.txt? Keine Einträge?

[vfrblue]

Die Eintragungen in der .htaccess gehen vor. Eintrag in der "robots.txt" sind daher unnötig.
Dass die Anweisung "noindex" bei Google nicht mehr greifen soll, kann ich mir nicht vorstellen. Dann würde ja alles, was im Netz so keucht und fleucht, von Google indexiert werden können.

[Tydan]

Konnte ich mir auch nicht so recht vorstellen, aber ich hatte das hier gelesen:

https://www.seo-kueche.de/blog/kein-noi ... -txt-mehr/

Hätte Google sicher gerne, einfach alles scrawlen können!
Ich setze derweil mal den x-robots .htaccess Eintrag..

[vfrblue]

Das bezieht sich nur auf die "robots.txt". Diese Anweisungen werden eigentlich schon längere Zeit nicht mehr für die Datei genutzt.
Für "Meta Robots" und "X-Robots" kann es weiterhin eingesetzt werden.