phpBB.de

Ich fand die Sache mit dem Newsletter sehr gut.

Und was die Phishing Gefahr angeht? naja...

Prima, dass es mit dem Slurp funktioniert. Sollte auch nur eine Ergänzung sein. daher auch das [ot]

Ich habe die Vermutung, dass Google ein Problem mit der (scheinbar doppelt) vorhandenen index.html hat. Sie ist zwar physisch nicht vorhanden, aber ist trotzdem "anwählbar". Ich kann mich aber auch ...

[OT]

Um den Slurp per .htaccess auszusperren muss die rewrite-rule folgendermassen geändert werden:

# prevent bots from spidering
RewriteCond %{HTTP_USER_AGENT} slurp
RewriteRule ^.* - [F,L]

Das ^ bedeutet, dass der User-Agent mit dem entsprechenden String anfangen soll. Wenn das ^ fehlt, dann ...

hmm. Ja. Das mag funktionieren. Das habe ich noch nicht ausprobiert.

Diese Problematik sollte LarsNeo noch in seinem Eingangspost erwähnen.

Noch kurz zu meiner Erfahrung. Ich hatte zuerst folgende Regel implementiert:

User-agent: Googlebot
Disallow: /*?

User-agent: *
Disallow: /blah
etc ...

Hallo zusammen,

Möchte ein paar Sachen zur robots.txt von Larsneo sagen. Erstmal danke, für die super mod. Bei mir im Forum funktioniert sie wunderbar.

Nun zur Robots.txt: Ich habe bei mir festgestellt, dass Google nach Implementierung der o.a. Robots.txt auch angefangen hat alle möglichen und ...