Wie erstelle ich eine robots.txt Datei?

[electrohunter]

Hallo,

ich habe die Tage eine robots.txt Datei erstellt, damit einige meiner Unterforen in Suchmaschinen nicht gefunden werden. Leider tauchen sie auch nach vier Tagen auf. Ich denke, ich habe einfach die Pfade zu den Seiten falsch geschrieben.

Hier ein Beispiel:

Disallow: /impressum.php
Disallow: /tippspiel.html

Nun frage ich mich, wie lautet die Adresse richtig? Wenn ich über ein FTP-Programm auf den Ordner zugreifen will, wo die Seite drin ist, dann gehe ich:

html >> forum >> da sind alle Foren-Daten drin, auch die php-Dateien

Möchte ich aber auf die HTML-Datei zugreifen, muss ich so gehen:

html >> forum >> styles >> absolution >> template und in diesem Ordner sind dann nun die HTML-Seiten.

So, nun meine Frage, wie lautet denn der Pfad richtig? Für das die php-Datei müsste das schon stimmen: Disallow: /impressum.php und für die HTML-Seite?

Vielleicht: Disallow: /styles/absolution/template/tippspiel.html

Wäre toll, wenn da jemand helfen könnte. Danke

[Mahony]

Hallo
http://www.topsubmit.de/dienste/webseit ... generator/

Grüße: Mahony

[electrohunter]

Hallo,

wie man eine robots.txt Datei erstelle weiß ich ja, dafür brauche ich keinen Generator. Trotzdem Danke für deinen Hinweis. Mir geht es um den richtigrn Pfad, weil ich einfach nicht weiß, welchen ich benutzen muss.

Mein Problem ist, wenn ich mich mit Filezilla mit dem Server verbinde, dann kommen mehrere Ordner. Darunter ist einer mit dem Namen html. Den klicke ich an und dann folgen wieder recht viele Ordner. Dort gibt es einen Ordner mit dem Namen Forum. Wenn ich nun in diesen Ordner die robots.txt rein mache, dann wird sie im Browser auch unter meinedomain.de/robots.txt gefunden. Doch die HTML-Seiten liegen alle bei mir im Ordner style >> absolution >> template ... und nun versuche ich schon seit Tagen mehrere Pfade ohne Erfolg. Jetzt habe ich es so hochgeladen:

User-agent: *
Disallow: /impressum.php
Disallow: /viewtopic.php
Disallow: /viewforum.php
Disallow: /styles/absolution/template/impressum.html

Ich hoffe das klappt jetzt.

Viele Grüße

[Mahony]

Hallo

wie man eine robots.txt Datei erstelle weiß ich ja

Hm...warum fragst du dann?

Mir geht es um den richtigrn Pfad, weil ich einfach nicht weiß, welchen ich benutzen muss.

Hättest du dich mal im Generator durch geklickt dann wüsstest du auch, wie man den Pfad angibt (das sieht man dort anhand der Beispiele).


P.S. Um sicher zu gehen dass Bots nichts lesen können, würde ich ihnen einfach mal die Leserechte (über die Rechtvergabe) entziehen. siehe dazu auch KB:rechtesystem

P.P.S. Es dauert übrigens einige Zeit, bis die Suchergebnisse aus den Suchmaschinen verschwinden. Vier Tage sind kein Zeitraum, in denen die Suchergebnisse aus den Suchmaschinen verschwunden sind. Ich würde da mit mindestens einem Monat (eher mehreren Monaten) rechnen.


Grüße: Mahony

[electrohunter]

Hallo,

ich habe mir den Generator genau angeschaut und das Problem ist einfach, dass ich ganz andere Ordner vor mir liegen habe. Die Rechte will ich ja nicht komplett entziehen. Die Index-Seite, also die Hauptseite soll in Google unbedingt gefunden werden. Daran arbeite ich nun seit 2 Wochen, damit mein Forum auf der 1. Seite in Google zu finden ist. Gebe ich die Domain direkt ein, dann taucht sie in Google an 1. Stelle auf. Doch danach sucht niemand, sondern nach bestimmten Keywords und da tauche einmal auf Seite 6 auf, oder gar nicht. Ich kenne mich schon mit Webdesign und Webprogrammierung aus. Meine Websites tauchen immer auf der 1. Seite auf, dass ist nicht das Problem, sondern dieses phpBB, dass macht mich echt krank. Gebe ich nun mein Forum in Google ein, dann tauchen da 5-6 Seiten nacheinander auf. Index, Impressum, Unterforen usw. Genau das will ich damit verhindern. Ich möchte lediglich die normale Domain auf der 1. Seite, wenn jemand danach sucht. Auf meinen anderen Websites die ich habe, kann ich verfolgen, dass täglich ca. 100-200 Personen über Google meine Website besuchen. Bei meinem Forum, dass es seit 2,5 Monaten gibt, sind es bis jetzt 2 Personen und das ist Witz. Wenn jemand ein bestimmtes Wort in Google eingibt und wir da nicht auftauchen, dann kann ja auch niemand mein Forum finden. Normalerweise muss Text auf der Website stehen, Text was in den MeTags, im Title und im Inhalt auftaucht. Wenn man das richtig macht, dann wird auch die Website auf der 1-3 Google Seiten gefunden. Doch im phpBB Forum gibt es ja kein Text und das ist das Hauptproblem.

Nun hoffe ich, dass es diesmal mit den neuen Pfaden klappt.

Trotzdem Danke für deine Hilfe!

[Mahony]

Hallo

ich habe mir den Generator genau angeschaut und das Problem ist einfach, dass ich ganz andere Ordner vor mir liegen habe.

Das spielt doch überhaupt keine Rolle. Es ist doch logisch, dass du andere Verzeichnisse hast, als die die dort verwendet werden. Es kommt dabei auf das Prinzip an und dieses lässt sich auf jedes Verzeichnis umsetzen.

Die Rechte will ich ja nicht komplett entziehen.

Davon war auch nicht die Rede.

Die Index-Seite, also die Hauptseite soll in Google unbedingt gefunden werden. Daran arbeite ich nun seit 2 Wochen, damit mein Forum auf der 1. Seite in Google zu finden ist.

Wenn dein Forum auf der ersten Seite gefunden werden soll, benötigst du nur eins - guten Content (Inhalt) in deinem Forum und gute Backlinks.

Ich möchte lediglich die normale Domain auf der 1. Seite, wenn jemand danach sucht.

Ein Forum ist ein Forum und dort kommt es auf die Beiträge an und sonst auf nichts anderes. Ohne (gute) Inhalte zum Foren-Thema wirst du nicht sehr hoch gelistet werden. Das ist Fakt.

Doch im phpBB Forum gibt es ja kein Text und das ist das Hauptproblem.

Doch, den Text gibt es wohl - nämlich die Beiträge aus deinem Forum (auf nichts anderes kommt es bei einem Forum an).

P.S. Die von dir angegebenen Pfade sollten eigentlich korrekt sein.

User-agent: *
Disallow: /impressum.php
Disallow: /viewtopic.php
Disallow: /viewforum.php
Disallow: /styles/absolution/template/impressum.html

Grüße: Mahony

[electrohunter]

Hallo Mahony,

danke für deine ausführliche Antwort. In meinem Forum sind zurzeit über 4000 Beiträge und es wird nur über ein Thema geschrieben, also am Inhalt sollte es nicht liegen. Ich warte einfach mal bis zum Wochenende ab, was jetzt Google macht. Bis jetzt hatte Google nämlich alle zwei Tage die Titeländerung von mir übernommen. Ich habe vieles ausprobiert und nun habe ich endlich meinen Titel und MetaTags mit denen ich zufrieden bin.

Danke noch einmal.

Viele Grüße

electrohunter