wie verbiete ich google, bestimmte foren zu indexieren?

[AnonymerBeobachter]

achso, ich kpoier ihn hierrein, ist nur klein:

Code: Alles auswählen

############################################################## 
## MOD Title: enhance-google-indexing 
## MOD Author: Showscout & R. U. Serious 
## MOD Description: If the User_agent includes the string 'Googlebot', then no session_ids are appended to links, which will (hopefully) allow google to index more than just your index-site. 
## MOD Version: 0.9.1 
## 
## Installation Level: easy 
## Installation Time: 2 Minutes 
## Files To Edit: includes/sessions.php 
## Included Files: n/a 
############################################################## 
## For Security Purposes, Please Check: http://www.phpbb.com/mods/downloads/ for the 
## latest version of this MOD. Downloading this MOD from other sites could cause malicious code 
## to enter into your phpBB Forum. As such, phpBB will not offer support for MOD's not offered 
## in our MOD-Database, located at: http://www.phpbb.com/mods/downloads/ 
############################################################## 
## Author Notes: There may be issues with register globals on newer 
##       PHP version. If you know for sure and also how to fix it post in 
##       this thread: http://www.phpbb.com/phpBB/viewtopic.php?t=32328 
## 
##       Obviously, if someone thinks it's funny to surf around with a 
##       user_agent containing Googlebot and at the same time does not 
##       allow cookies, he will loose his session/login on every pageview. 
##       Should he complain to you, tell him to eat your shorts. 
## 
##       If you want to add further crawlers look at the appropiate line and 
##       feel free to add part of the user_agent which should be _unique_ 
##       unique to that, so a user is never confused with a bot. 
## 
############################################################## 
## Version History: 0.9.0 initial release, only googlebot 
##                         0.9.1 added inktomi (MSN-search/crawler-bot) 
############################################################## 
## Before Adding This MOD To Your Forum, You Should Back Up All Files Related To This MOD 
############################################################## 

#-----[ OPEN  ]------------------------------------------ 
includes/sessions.php 

#-----[ FIND ]------------------------------------------ 
   global $SID; 

   if ( !empty($SID) && !eregi('sid=', $url) ) 

#-----[ REPLACE WITH ]------------------------------------------ 
   global $SID, $HTTP_SERVER_VARS; 

   if ( !empty($SID) && !eregi('sid=', $url) && !strstr($HTTP_SERVER_VARS['HTTP_USER_AGENT'] ,'Googlebot') && !strstr($HTTP_SERVER_VARS['HTTP_USER_AGENT'] ,'slurp@inktomi.com;')) 

# 
#-----[ SAVE/CLOSE ALL FILES ]------------------------------------------ 
# 
# EoM 

[fussle]

danke

[schneids54]

Hi,

hast Du schon mal versucht, eine Datei mit dem Namen robots.txt in das Root-Verzeichnis Deines Servers zu legen.

Die Datei müsste wie folgt aussehen:

User-Agent: *
Disallow: /

Mehr dazu findest Du unter http://www.robotstxt.org/wc/norobots.html

Viel Glück

Michael

[PhilippK]

@Michael:
manchmal hilft's, das Ursprungsposting vor 'ner Antwort durchzulesen

nun,ich habe den google mod installiert, und freu mich auch, wenn er uns indexiert.

Der Mod macht nichts anderes, als das Session-Handling bei Google etwas abzuwürgen (Google mag das nicht so wirklich, da sich die Session-ID jedesmal ändert). Da sollte eigentlich kein Sicherheitsrisiko drin sein. Ich hatte mal was von einem Mod gehört, der Googlebot noch als eigenen User geführt hat - da wäre das Risiko dann schon höher...

Gruß, Philipp

[fussle]

allgemein wäre es sicher ganz sinnvoll (mehr oder weniger) die bots als solche zu idendifizieren.
hatte da schon mal ein thema aufgemacht.

in erster linie wäre es erstmal aber wichtiger, das die seiten indexiert werden können.

ich habe gestern abend noch den mod eingebaut. irgendwie hat der alte nicht so ganz funktioniert. mal sehen, ob es jetzt geht ...