Seite 3 von 6
Verfasst: 22.06.2005 15:47
von Chris2005
[OT]
Um den Slurp per .htaccess auszusperren muss die rewrite-rule folgendermassen geändert werden:
Code: Alles auswählen
# prevent bots from spidering
RewriteCond %{HTTP_USER_AGENT} slurp
RewriteRule ^.* - [F,L]
Das ^ bedeutet, dass der User-Agent mit dem entsprechenden String anfangen soll. Wenn das ^ fehlt, dann wird nur geprüft, ob der String irgendwo vorkommt.
[/OT]
In Bezug auf Deine index.php könntest Du folgendes ausprobieren.
Code: Alles auswählen
.htaccess:
RewriteRule ^[/]*index.php$ / [L,R=301]
RewriteCond %{REQUEST_URI} ^/index\.html
RewriteRule (.*) /index.php [L]
etc.
Das funktioniert bei mir wunderbar. Wenn jemand die
index.html aufruft wird er auf
/ weitergeleitet. Analog bei Aufruf der
index.php
Hintergrund dieser Aktion ist folgender: msn tut sich mit
/ und
index.html bzw.
index.php etwas schwer. So verschwindet die Doppellistung bei msn.
Edit: Habe mir gerade Deine Seite mal angeguckt. Wenn ich die Domain aufrufe, kommt die Startseite. Klicke ich auf forum, lande ich auf http://www.poplatschky.de/index.html.
Kann es sein, dass hier das Problem liegt? Für Google ist /=index.html. Du solltest Dein Forum in ein gesondertes Verzeichnis verschieben. Dann hast Du eine saubere Trennung.
Verfasst: 22.06.2005 16:02
von plACEbo
ich versuche slurp mit larsneos Tipp loszuwerden:
Code: Alles auswählen
SetEnvIfNoCase User-Agent slurp spambot=1
<Limit GET POST PUT>
Order allow,deny
deny from env=spambot
allow from all
</Limit>
Was ich bisher aus den Logs erkennen kann versucht slurp weiterhin auf Seiten zuzugreifen. "Who is online" listet allerdings kein slurp mehr auf, wahrscheinlich weil er keine Seiten mehr liefert bekommt. Scheint zu funktionieren.
Was Google jetzt mit meiner Site macht muss ich erstmal abwarten.
Edit: Habe mir gerade Deine Seite mal angeguckt. Wenn ich die Domain aufrufe, kommt die Startseite. Klicke ich auf forum, lande ich auf ...
Das ist die index.html vom Rewrite MOD (SHORT URL) und nicht die physische index.html im root.
Matthias
Verfasst: 22.06.2005 16:32
von Chris2005
Prima, dass es mit dem Slurp funktioniert. Sollte auch nur eine Ergänzung sein. daher auch das [ot]
Ich habe die Vermutung, dass Google ein Problem mit der (scheinbar doppelt) vorhandenen index.html hat. Sie ist zwar physisch nicht vorhanden, aber ist trotzdem "anwählbar". Ich kann mich aber auch irren.
Verfasst: 07.07.2005 18:53
von tost
ich wollte nochmal fragen ob es inzwischen genauere Ergebnisse in Bezug auf Slurp gibt und ob es andere Bots "gefährdet" bzw. an der Indizierung hindert...
Wenn ich die Methode von larsneo anwende muss ich ja direkt die Apache Konfiguration editieren, ist in meinem Falle möglich.
Nur wäre es gut zu wissen welche Module dafür gebraucht werden und wo ich das dann eintragen muss...
Grüße
tost
Verfasst: 02.08.2005 08:48
von Gast210225
Hallo,
meine robotx.txt sieht im Moment so aus:
User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /common.php
Disallow: /extension.inc
Disallow: /faq.php
Disallow: /groupcp.php
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /profile.php
Disallow: /search.php
Und ich hab' den Short URL reloaded Mod eingebaut. Nnnur Google indiziert irgendwie meine Seiten nicht richtig:
http://www.google.de/search?hl=de&q=sit ... uche&meta=
Wisst ihr warum?
Johannes
Verfasst: 02.08.2005 10:58
von tost
Du hast auch erst 56 Beiträge, das Forum scheint noch ziemlich neu zu sein...
Warte erstmal ab, andere Foren haben 1000 Beiträge und werden von Google gar nicht erst gefunden...
tost
Verfasst: 02.08.2005 13:39
von Gast210225
Hallo,
es existiert schon 3 Monate (glaub ich) aber erst seit 2 Wochen ist aweng was los... *g*
Google hatte schon mal 11 Seiten, und nun nur noch 6 oder 7. Das find ich etwas komisch
Johannes
Verfasst: 02.08.2005 16:30
von mgutt
deine Seite ist dem SlowDeath verfallen (zu unpopulär, Du brauchst mehr Backlinks, etc.), aber das ist ein anderes Thema.
Verfasst: 02.08.2005 19:11
von Gast210225
Ah? Wo finde ich mehr infos zu SlowDeath? Bzw. wie bringe ich google dazu, wieder (wenn ich mehr Backlinks habe) meine Seite zu besuchen?
Edit: ich hab' rausgefunden, das SlowDeath manchmal durch einen Fehler in der robots.txt hervorgerufen wird. Stimmt das, wenn ja, hab ich nen Fehler in meiner robots.txt?
Verfasst: 02.08.2005 23:52
von mgutt
les mal mehrere Seiten dazu durch:
http://www.google.de/search?hl=de&q=slo ... ogle&meta=
Es gibt keine "Lösung" dafür. Bei Dir muss ich einfach hart sagen, dass Deine Seite absolut unpopulär ist.
Das jetzt weiter auszuführen würde das Thema sprengen.
Übrigens ist deine Domain mit "www", also so:
http://www.google.de/search?hl=de&c2cof ... x.de&meta=
mit und ohne sind für die Suchmaschinen zwei verschiedene paar Schuhe.
Dies zur Popularität:
http://www.google.de/search?hl=de&lr=&c ... inux.de%22
Dies zur Popularität von phpbb.de:
http://www.google.de/search?hl=de&c2cof ... e%22&meta=
Aber wie gesagt, mach bitte ein neues Thema auf. Da es hier abweicht.