suchmaschinenfreundlich?

[Andreas84]

und über meine .htaccess sollte ich das nicht gleich sperren?

Denn auf Abakus wird oft geschrieben, dass man den Googlebot nur über die .htaccess aussperren kann, weil er meist die robots.txt ignoriert. Stimmt das?

[larsneo]

warum sollte man den googlebot sperren - ziel der suchmaschinenoptimierung ist doch normalerweise genau diesem bot den zugriff so leicht als möglich zu machen

[Andreas84]

klar möchte ich ihn nicht sperren
aber ich möchte solche Seiten für den Boot komplett sperren:
http://www.rucksack-center.de/forum/vie ... hp?p=65#65
Denn das wird doch als doppelter Content angesehen.

Gruß,
Andreas

[Andreas84]

Hallo,

ich habe nun die robots.txt erstellt. Wo und wie muss ich das nun einbauen, dass Google die robots.txt auch beachtet?

[larsneo]

die robots.txt muss in der root der präsenz sein (auch wenn dein forum in einem unterordner läuft)

[BraveEagle]

will nur sicher gehn, dass ich meine robots.txt nun richtig habe nach der Anleitung hier und in dem Short URL Mod. Das Forum liegt direkt auf der Seite (also kein Unterordner oder so)

Code: Alles auswählen

User-agent: *
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /config.php
Disallow: /profile.php
Disallow: /groupcp.php
Disallow: /memberlist.php 
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /viewonline.php
Disallow: /faq.php
Disallow: /ptopic*.html$
Disallow: /ntopic*.html$
Disallow: /ftopic*asc*.html$

User-agent: Googlebot
Disallow: /*?

Passt das?

[Andreas84]

Hallo,

wenn ich das jetzt auf dem gesamten server abspeicher, muss ich wahrscheinlich nur von meiner Index Seite (ich meine nicht das Forum Index) auf diese robots.txt linken oder?

[larsneo]

du musst die robots.txt gar nicht verlinken - 'gute' bots schauen zuerst nach, ob unter http://www.irgendeine_domain.de/robots.txt diese datei vorhanden ist und werten sie falls gefunden entsprechend aus.

[BraveEagle]

@ larenso stimmt meine txt?

[Andreas84]

Hallo,
aber jetzt möchte ich nochmal fragen, ob die Google eigtl. der doppelte Kontent stört, oder ob das sogar besser für die Optimierung ist.

Gruß,
Andreas