Short URLs für phpBB2 (reloaded / robots.txt)

[Chris2005]

[OT]

Um den Slurp per .htaccess auszusperren muss die rewrite-rule folgendermassen geändert werden:

Code: Alles auswählen

# prevent bots from spidering
RewriteCond %{HTTP_USER_AGENT} slurp
RewriteRule ^.* - [F,L]

Das ^ bedeutet, dass der User-Agent mit dem entsprechenden String anfangen soll. Wenn das ^ fehlt, dann wird nur geprüft, ob der String irgendwo vorkommt.

[/OT]

In Bezug auf Deine index.php könntest Du folgendes ausprobieren.

Code: Alles auswählen

.htaccess:

RewriteRule ^[/]*index.php$ / [L,R=301]

RewriteCond %{REQUEST_URI} ^/index\.html
RewriteRule (.*) /index.php [L]

etc.

Das funktioniert bei mir wunderbar. Wenn jemand die index.html aufruft wird er auf / weitergeleitet. Analog bei Aufruf der index.php

Hintergrund dieser Aktion ist folgender: msn tut sich mit / und index.html bzw. index.php etwas schwer. So verschwindet die Doppellistung bei msn.

Edit: Habe mir gerade Deine Seite mal angeguckt. Wenn ich die Domain aufrufe, kommt die Startseite. Klicke ich auf forum, lande ich auf http://www.poplatschky.de/index.html.

Kann es sein, dass hier das Problem liegt? Für Google ist /=index.html. Du solltest Dein Forum in ein gesondertes Verzeichnis verschieben. Dann hast Du eine saubere Trennung.

[plACEbo]

ich versuche slurp mit larsneos Tipp loszuwerden:

Code: Alles auswählen

SetEnvIfNoCase User-Agent slurp spambot=1 
<Limit GET POST PUT> 
Order allow,deny 
deny from env=spambot 
allow from all 
</Limit>

Was ich bisher aus den Logs erkennen kann versucht slurp weiterhin auf Seiten zuzugreifen. "Who is online" listet allerdings kein slurp mehr auf, wahrscheinlich weil er keine Seiten mehr liefert bekommt. Scheint zu funktionieren.

Was Google jetzt mit meiner Site macht muss ich erstmal abwarten.

Edit: Habe mir gerade Deine Seite mal angeguckt. Wenn ich die Domain aufrufe, kommt die Startseite. Klicke ich auf forum, lande ich auf ...

Das ist die index.html vom Rewrite MOD (SHORT URL) und nicht die physische index.html im root.

Matthias

[Chris2005]

Prima, dass es mit dem Slurp funktioniert. Sollte auch nur eine Ergänzung sein. daher auch das [ot]

Ich habe die Vermutung, dass Google ein Problem mit der (scheinbar doppelt) vorhandenen index.html hat. Sie ist zwar physisch nicht vorhanden, aber ist trotzdem "anwählbar". Ich kann mich aber auch irren.

[tost]

ich wollte nochmal fragen ob es inzwischen genauere Ergebnisse in Bezug auf Slurp gibt und ob es andere Bots "gefährdet" bzw. an der Indizierung hindert...

Wenn ich die Methode von larsneo anwende muss ich ja direkt die Apache Konfiguration editieren, ist in meinem Falle möglich.
Nur wäre es gut zu wissen welche Module dafür gebraucht werden und wo ich das dann eintragen muss...

Grüße
tost

[Gast210225]

Hallo,
meine robotx.txt sieht im Moment so aus:

User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /common.php
Disallow: /extension.inc
Disallow: /faq.php
Disallow: /groupcp.php
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /profile.php
Disallow: /search.php

Und ich hab' den Short URL reloaded Mod eingebaut. Nnnur Google indiziert irgendwie meine Seiten nicht richtig: http://www.google.de/search?hl=de&q=sit ... uche&meta=
Wisst ihr warum?

Johannes

[tost]

Du hast auch erst 56 Beiträge, das Forum scheint noch ziemlich neu zu sein...

Warte erstmal ab, andere Foren haben 1000 Beiträge und werden von Google gar nicht erst gefunden...

tost

[Gast210225]

Hallo,
es existiert schon 3 Monate (glaub ich) aber erst seit 2 Wochen ist aweng was los... *g*
Google hatte schon mal 11 Seiten, und nun nur noch 6 oder 7. Das find ich etwas komisch

Johannes

[mgutt]

deine Seite ist dem SlowDeath verfallen (zu unpopulär, Du brauchst mehr Backlinks, etc.), aber das ist ein anderes Thema.

[Gast210225]

Ah? Wo finde ich mehr infos zu SlowDeath? Bzw. wie bringe ich google dazu, wieder (wenn ich mehr Backlinks habe) meine Seite zu besuchen?
Edit: ich hab' rausgefunden, das SlowDeath manchmal durch einen Fehler in der robots.txt hervorgerufen wird. Stimmt das, wenn ja, hab ich nen Fehler in meiner robots.txt?

[mgutt]

les mal mehrere Seiten dazu durch:
http://www.google.de/search?hl=de&q=slo ... ogle&meta=

Es gibt keine "Lösung" dafür. Bei Dir muss ich einfach hart sagen, dass Deine Seite absolut unpopulär ist.

Das jetzt weiter auszuführen würde das Thema sprengen.

Übrigens ist deine Domain mit "www", also so:

http://www.google.de/search?hl=de&c2cof ... x.de&meta=

mit und ohne sind für die Suchmaschinen zwei verschiedene paar Schuhe.

Dies zur Popularität:
http://www.google.de/search?hl=de&lr=&c ... inux.de%22

Dies zur Popularität von phpbb.de:
http://www.google.de/search?hl=de&c2cof ... e%22&meta=

Aber wie gesagt, mach bitte ein neues Thema auf. Da es hier abweicht.