Seite 1 von 1

Bots aus Forum 5 ( f=5 ) per robots.txt aussperren

Verfasst: 15.06.2011 17:51
von uwe.ha
Hallo zusammen,

wie kann ich Bots dazu bekommen, BEITRÄGE (viewtopic.php) aus einem bestimmten Unterforum (Kleinanzeigen) nicht zu indexieren (da die eh nach kurzer Zeit wieder autom. gelöscht werden)?

Beispiel-URL:

Code: Alles auswählen

http://www.domain.tld/phpBB/viewtopic.php?f=5&t=1
Meinem Verständnis nach müsste der Eintrag in der robots.txt so lauten:

Code: Alles auswählen

User-agent: *
Disallow: /phpBB/viewtopic.php?f=5*
Frage mich nur:
- Verstehen die Bots das "?f=5" , und beziehen die Sperre NUR auf die Beiträge im f=5 ... nicht dass dann KEINE viewtopic mehr indiziert wird.
- Kann / muss man den Platzhalter "*" verwenden?

Vielen Dank

Re: Bots aus Forum 5 ( f=5 ) per robots.txt aussperren

Verfasst: 15.06.2011 18:17
von Balint
Hallo,

dafür gibt es unter phpBB das Rechtesystem: KB:rechtesystem - damit kannst du forenbasiert bestimmten Benutzergruppen (in diesem Fall Bots) den Zugang verweigern.


Viele Grüße,
Bálint

Re: Bots aus Forum 5 ( f=5 ) per robots.txt aussperren

Verfasst: 15.06.2011 19:00
von uwe.ha
Balint hat geschrieben:dafür gibt es unter phpBB das Rechtesystem:
ach ja, richtig ... aber wäre per robots.txt nicht "sauberer"?
Per Rechtevergabe würden die Bots ja trotzdem auf die Beiträge zugreifen wollen, bevor sie die Zugriffsverweigerung erhalten (Traffic, wenn auch minimal, aber jede Anfrage "belastet" den Server).
Per robots würden sie erst gar nicht drauf zugreifen.

Re: Bots aus Forum 5 ( f=5 ) per robots.txt aussperren

Verfasst: 15.06.2011 20:29
von Passat
Nein.
Du kannst es auch so einstellen, das die Bots das entsprechende Unterforum gar nicht erst sehen.
Und da sie es gar nicht erst sehen, wissen sie auch nichts davon und versuchen auch gar nicht erst, drauf zuzugreifen.

ACP->Berechtigungen->gruppenspezifische Forenrechte->Gruppe Bots wählen ->Foren wählen->Rolle: Kein Zugang.
Damit werden alle Rechte für diese Gruppe in diesen Foren auf nein gesetzt, dazu gehören auch die Rechte "kann Forum lesen" und "kann Forum sehen".

Re: Bots aus Forum 5 ( f=5 ) per robots.txt aussperren

Verfasst: 15.06.2011 22:09
von Talk19zehn
Hello,

"Böse Bots" erreichst du nicht unbedingt per robots.txt. Sie ist ja nicht mehr als eine Bitte.......? :wink:

Re: Bots aus Forum 5 ( f=5 ) per robots.txt aussperren

Verfasst: 16.06.2011 10:16
von uwe.ha
@ Passat: Prima, Danke!

@ Talk19zehn: Is klar ... es geht aber um die "Guten", speziell Google