Seite 2 von 5
Verfasst: 21.01.2005 18:42
von Andreas84
und über meine .htaccess sollte ich das nicht gleich sperren?
Denn auf Abakus wird oft geschrieben, dass man den Googlebot nur über die .htaccess aussperren kann, weil er meist die robots.txt ignoriert. Stimmt das?
Verfasst: 21.01.2005 19:32
von larsneo
warum sollte man den googlebot
sperren - ziel der suchmaschinenoptimierung ist doch normalerweise genau diesem bot den zugriff so leicht als möglich zu machen
Verfasst: 21.01.2005 19:52
von Andreas84
klar möchte ich ihn nicht sperren
aber ich möchte solche Seiten für den Boot komplett sperren:
http://www.rucksack-center.de/forum/vie ... hp?p=65#65
Denn das wird doch als doppelter Content angesehen.
Gruß,
Andreas
Verfasst: 22.01.2005 17:24
von Andreas84
Hallo,
ich habe nun die robots.txt erstellt. Wo und wie muss ich das nun einbauen, dass Google die robots.txt auch beachtet?
Verfasst: 23.01.2005 00:27
von larsneo
die robots.txt muss in der root der präsenz sein (auch wenn dein forum in einem unterordner läuft)
Verfasst: 23.01.2005 01:51
von BraveEagle
will nur sicher gehn, dass ich meine robots.txt nun richtig habe nach der Anleitung hier und in dem
Short URL Mod. Das Forum liegt direkt auf der Seite (also kein Unterordner oder so)
Code: Alles auswählen
User-agent: *
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /config.php
Disallow: /profile.php
Disallow: /groupcp.php
Disallow: /memberlist.php
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /viewonline.php
Disallow: /faq.php
Disallow: /ptopic*.html$
Disallow: /ntopic*.html$
Disallow: /ftopic*asc*.html$
User-agent: Googlebot
Disallow: /*?
Passt das?
Verfasst: 23.01.2005 08:45
von Andreas84
Hallo,
wenn ich das jetzt auf dem gesamten server abspeicher, muss ich wahrscheinlich nur von meiner Index Seite (ich meine nicht das Forum Index) auf diese robots.txt linken oder?
Verfasst: 23.01.2005 11:42
von larsneo
du musst die robots.txt gar nicht verlinken - 'gute' bots schauen zuerst nach, ob unter http://www.irgendeine_domain.de/robots.txt diese datei vorhanden ist und werten sie falls gefunden entsprechend aus.
Verfasst: 23.01.2005 12:04
von BraveEagle
@ larenso stimmt meine txt?
Verfasst: 23.01.2005 15:41
von Andreas84
Hallo,
aber jetzt möchte ich nochmal fragen, ob die Google eigtl. der doppelte Kontent stört, oder ob das sogar besser für die Optimierung ist.
Gruß,
Andreas