robots.txt

[Ubunti]

Code: Alles auswählen

User-agent: *
Disallow: /memberlist.php
Disallow: /memberlist.php*
Disallow: /search.php
Disallow: /search.php*
Disallow: /ucp.php
Disallow: /ucp.php*
Disallow: /posting.php
Disallow: /posting.php*
Disallow: /report.php
Disallow: /report.php*
Disallow: /viewonline.php
[b]Disallow: /impressum.php
Disallow: /impressum.php*[/b]
Disallow: /download.php
Disallow: /download.php*
Disallow: /*?sid=*
Disallow: /*&sid=*
Disallow: /*?hilit=*
Disallow: /*&hilit=*

So schaut die robots.txt bei mir aus und das Impressum ist trotztem indiziert worden von Google, warum?
ist irgendwo ein Fehler drinnen?

[Passat]

Keine Ahnung.

Aber das Durchsuchen der Memberlist, der Suchfunktion etc. kannst du über die Rechteverwaltung blockieren, da brauchts keine Einträge in der robots.txt.
ACP -> Berechtigungen -> Gruppenrechte -> Bots und ACP -> Berechtigungen - Gruppenspezifische Forenrechte -> Bots

[Ubunti]

danke,
aber mir gehts da viel mehr ums Impressum

[Metzle]

Hallo,

man muss auch mal klar sagen, dass sich nicht alle Bots an eine robots.txt halten

[Ubunti]

Seit wann hält sich Google Bot nicht an robots.txt

[4seven]

google schon, aber einige der unredlichen hinterhof-spider nicht.

[tas2580]

Hast du einen Google Webmaster Account? Da kannst du deine robots.txt prüfen und einzelne Seiten aus Google löschen.

Gruß Tobi

[DeepSurfer]

Wenn ich mir die Zeile mit dem "Disallow /impressum.php" anschaue so sehe ich in dem Zitat hier das ein
" "davor steht, wenn dies in der robots.txt auch vorhanden ist dann wird dieser Befehl übersehen.

"Google" hält sich an robots.txt Anweisungen.

Besser ist es das impressum.php in ein Unterpfad zu legen.

greets

[Ubunti]

das mit b ist in Ordnung, dachte dass das bei "Code" fett geschrieben wird