Seite 1 von 1
robots.txt
Verfasst: 12.03.2010 10:50
von Ubunti
Code: Alles auswählen
User-agent: *
Disallow: /memberlist.php
Disallow: /memberlist.php*
Disallow: /search.php
Disallow: /search.php*
Disallow: /ucp.php
Disallow: /ucp.php*
Disallow: /posting.php
Disallow: /posting.php*
Disallow: /report.php
Disallow: /report.php*
Disallow: /viewonline.php
[b]Disallow: /impressum.php
Disallow: /impressum.php*[/b]
Disallow: /download.php
Disallow: /download.php*
Disallow: /*?sid=*
Disallow: /*&sid=*
Disallow: /*?hilit=*
Disallow: /*&hilit=*
So schaut die robots.txt bei mir aus und das Impressum ist trotztem indiziert worden von Google, warum?
ist irgendwo ein Fehler drinnen?
Re: robots.txt
Verfasst: 12.03.2010 10:58
von Passat
Keine Ahnung.
Aber das Durchsuchen der Memberlist, der Suchfunktion etc. kannst du über die Rechteverwaltung blockieren, da brauchts keine Einträge in der robots.txt.
ACP -> Berechtigungen -> Gruppenrechte -> Bots und ACP -> Berechtigungen - Gruppenspezifische Forenrechte -> Bots
Re: robots.txt
Verfasst: 12.03.2010 16:56
von Ubunti
danke,
aber mir gehts da viel mehr ums Impressum
Re: robots.txt
Verfasst: 13.03.2010 12:45
von Metzle
Hallo,
man muss auch mal klar sagen, dass sich nicht alle Bots an eine robots.txt halten
Re: robots.txt
Verfasst: 13.03.2010 14:57
von Ubunti
Seit wann hält sich Google Bot nicht an robots.txt
Re: robots.txt
Verfasst: 13.03.2010 15:00
von 4seven
google schon, aber einige der unredlichen hinterhof-spider nicht.
Re: robots.txt
Verfasst: 13.03.2010 15:04
von tas2580
Hast du einen Google Webmaster Account? Da kannst du deine robots.txt prüfen und einzelne Seiten aus Google löschen.
Gruß Tobi
Re: robots.txt
Verfasst: 13.03.2010 16:49
von DeepSurfer
Wenn ich mir die Zeile mit dem "Disallow /impressum.php" anschaue so sehe ich in dem Zitat hier das ein
" "davor steht, wenn dies in der robots.txt auch vorhanden ist dann wird dieser Befehl übersehen.
"Google" hält sich an robots.txt Anweisungen.
Besser ist es das impressum.php in ein Unterpfad zu legen.
greets
Re: robots.txt
Verfasst: 13.03.2010 22:30
von Ubunti
das mit b ist in Ordnung, dachte dass das bei "Code" fett geschrieben wird