Bots aus Forum 5 ( f=5 ) per robots.txt aussperren

[uwe.ha]

Hallo zusammen,

wie kann ich Bots dazu bekommen, BEITRÄGE (viewtopic.php) aus einem bestimmten Unterforum (Kleinanzeigen) nicht zu indexieren (da die eh nach kurzer Zeit wieder autom. gelöscht werden)?

Beispiel-URL:

Code: Alles auswählen

http://www.domain.tld/phpBB/viewtopic.php?f=5&t=1

Meinem Verständnis nach müsste der Eintrag in der robots.txt so lauten:

Code: Alles auswählen

User-agent: *
Disallow: /phpBB/viewtopic.php?f=5*

Frage mich nur:
- Verstehen die Bots das "?f=5" , und beziehen die Sperre NUR auf die Beiträge im f=5 ... nicht dass dann KEINE viewtopic mehr indiziert wird.
- Kann / muss man den Platzhalter "*" verwenden?

Vielen Dank

[Balint]

Hallo,

dafür gibt es unter phpBB das Rechtesystem: KB:rechtesystem - damit kannst du forenbasiert bestimmten Benutzergruppen (in diesem Fall Bots) den Zugang verweigern.


Viele Grüße,
Bálint

[uwe.ha]

dafür gibt es unter phpBB das Rechtesystem:

ach ja, richtig ... aber wäre per robots.txt nicht "sauberer"?
Per Rechtevergabe würden die Bots ja trotzdem auf die Beiträge zugreifen wollen, bevor sie die Zugriffsverweigerung erhalten (Traffic, wenn auch minimal, aber jede Anfrage "belastet" den Server).
Per robots würden sie erst gar nicht drauf zugreifen.

[Passat]

Nein.
Du kannst es auch so einstellen, das die Bots das entsprechende Unterforum gar nicht erst sehen.
Und da sie es gar nicht erst sehen, wissen sie auch nichts davon und versuchen auch gar nicht erst, drauf zuzugreifen.

ACP->Berechtigungen->gruppenspezifische Forenrechte->Gruppe Bots wählen ->Foren wählen->Rolle: Kein Zugang.
Damit werden alle Rechte für diese Gruppe in diesen Foren auf nein gesetzt, dazu gehören auch die Rechte "kann Forum lesen" und "kann Forum sehen".

[Talk19zehn]

Hello,

"Böse Bots" erreichst du nicht unbedingt per robots.txt. Sie ist ja nicht mehr als eine Bitte.......?

[uwe.ha]

@ Passat: Prima, Danke!

@ Talk19zehn: Is klar ... es geht aber um die "Guten", speziell Google