google bot mod für 2.0.4

[codemonkey]

Also ich habe den google Mod schon länger drin und jetzt neu für die 204 eingebaut. Heute hat google mein Portal gespidert. Allerdings ist im google Archiv immernoch eine alte Version.
Auch meine Foren Index Seite wurde gestern und vorgestern gespidert. Mehrmals sogar. Aber im google Archiv ist immernoch eine sehr alte Version vorhanden. Die ist, schätze ich, so 3 Wochen alt. Wie kann das sein.

Gespidert, aber irgendwie doch nicht richtig gespidert??

[dogholiday]

Hab denn Mod installiert vor ca 3 Wochen goggle kam scohn öfters bei mir vorbei, aber das Forum konnte er scheinbar nie durchsuchen.

Was mache ich falsch und wie kann ich testen ob ich es richtig gemacht habe.

[fussle]

ist es nicht möglich ein neues mitglied - meinetwegen Google Bot - zu registrieren und dieses mitglied anhand des IP-Range zu identitizieren ?

[Syco23]

ist es nicht möglich ein neues mitglied - meinetwegen Google Bot - zu registrieren und dieses mitglied anhand des IP-Range zu identitizieren ?

wozu? damit es keine Session-id gibt oder damit du weiß ob google da war? falls das zweite der Fall ist -> Googlestats installieren (einfach bei google - wo sonst - suchen, gleich das erste)

Kann vielleicht irgendjeamnd den kompletten MOD für phpBB 2.0.4 posten?!

[fussle]

Googlestats ? da hab ich noch nie was von gehört, aber man lernt ja nie aus.

eigentlich wollte ich mir anzeigen lassen wann der bot die seite spidert, bisher wird er ja nur als gast angezeigt ...

Google Mod so wie ich ihn bei mir eingebaut habe:

Code: Alles auswählen

#-----[ OPEN  ]------------------------------------------ 
includes/sessions.php 

#-----[ FIND ]------------------------------------------ 
   global $SID; 

   if ( !empty($SID) && !eregi('sid=', $url) ) 

#-----[ REPLACE WITH ]------------------------------------------ 
   global $SID, $HTTP_SERVER_VARS; 

   if ( !empty($SID) && !eregi('sid=', $url) && !strstr($HTTP_SERVER_VARS['HTTP_USER_AGENT'] ,'Googlebot') && !strstr($HTTP_SERVER_VARS['HTTP_USER_AGENT'] ,'slurp@inktomi.com;')) 

#-----[ SAVE/CLOSE ALL FILES ]------------------------------------------

[saerdnaer]

also ich hab den hack ein bischen umgeschrieben... jetzt werden auch überhaupt keine sessions mehr für den google bot erstellt:

common.php:
suche:

Code: Alles auswählen

?>

davor einfügen:

Code: Alles auswählen

define('NO_SID', ( strstr($HTTP_SERVER_VARS['HTTP_USER_AGENT'] ,'Googlebot') || strstr($HTTP_SERVER_VARS['HTTP_USER_AGENT'], 'slurp@inktomi.com;') ) );

includes/sessions.php:
suche:

Code: Alles auswählen

function session_pagestart($user_ip, $thispage_id)
{
	global $db, $lang, $board_config;
	global $HTTP_COOKIE_VARS, $HTTP_GET_VARS, $SID;
	
	$current_time = time();
	unset($userdata);

danach einfügen:

Code: Alles auswählen

	if ( NO_SID )
	{
		$sql = "SELECT * 
			FROM " . USERS_TABLE . " 
			WHERE user_id = " . ANONYMOUS;
		if ( !($result = $db->sql_query($sql)) )
		{
			message_die(CRITICAL_ERROR, 'Could not get anonymous user data', '', __LINE__, __FILE__, $sql);
		}
		$userdata = $db->sql_fetchrow($result);
		$userdata['session_logged_in'] = false;
		$SID = '';
		return $userdata;
	}

suchen:

Code: Alles auswählen

if ( !empty($SID) && !preg_match('#sid=#', $url) )

ersetzen durch:

Code: Alles auswählen

if ( !NO_SID && !empty($SID) && !preg_match('#sid=#', $url) )

ah

[fussle]

funtioniert der besser ?

[saerdnaer]

für den google bot ist da eingendlich kein unterschied aber für dein board da keine gast sessions erzeugt werden...

ah

[Syco23]

funtioniert der besser ?

*auchwissenwill*

Googlestats ? da hab ich noch nie was von gehört, aber man lernt ja nie aus.

eigentlich wollte ich mir anzeigen lassen wann der bot die seite spidert, bisher wird er ja nur als gast angezeigt ...

Ja, genau das macht ja Googlestats. du musst das Script nur in alle Seiten einbinden und weißt dann genau wann welcher Googlebot (da gibts so einge) welche Seiten wie oft gespidert hat. direkt in phpBB kann mans nicht einbinden, aber vielleicht findet sich ja wer, ders ein bisschen umändert, einen hack daraus macht.. und dicken Respekt von 90% der phpBB User bekommt ..

[saerdnaer]

naja wie gesagt wenn der google bot eine seite aufruft wird eine gast session erzeugt... wenn er die nächste seite aufruft wird wieder eine erzeugt das phpbb meint das wäre ein andere user da es ja keine sessionid bekommt, da der bot keine cookies unterstützt... usw.

ah