Wordlist Wordmatch mysql Probleme

[Chrischn25]

Hallo Philipp,

klar - hier:

Code: Alles auswählen

phpbb_posts                445.194   MyISAM      33,4 MB  
phpbb_posts_text                445.195   MyISAM      341,0 MB 

Grüße,
Chrischn

[PhilippK]

Nun, ganz so wenig Beiträge hast du ja nicht - und die Benutzer scheinen da auch tatsächlich was zu schreiben (ca. 80-100 Wörter pro Antwort). Rechnest du die Daten um, so macht das ca. 12 Zeichen pro Wort - das ist realistisch...
Was du machen kannst: mal den DB Maintenance Mod drüber laufen lassen - dass könnte ein paar MB bringen...

Gruß, Philipp

[R. U. Serious]

Es gibt im phpbb-code im code einen Teil der sehr häufig vorkommende Worte markiert und nicht weiter in die Suchtabellen einträgt. Diese Prüfung muss aber
1) sehr häufig vorkommen
2) ist relativ "teuer"
3) findet bei einer ordentlichen search_stopword datei nur ganz selten wörter.

IMHO kann man die ohne weitere Folgen entfernen. Dazu mache folgendes:


Öffne includes/functions_search.php und kommentiere folgende Zeile aus:

Code: Alles auswählen

		remove_common('single', 0.4, $word);

evtl. heisst hat die Zeile auch 4/10 statt 0.4 dort stehen, je nach Version.

Das wird also zu:

Code: Alles auswählen

		//remove_common('single', 0.4, $word);

Gib bitte Bescheid, wenn es geholfen haben sollte. Danke!

edit: Darüber hinaus habe ich gehört, dass die Indizierungs unter mySQL 4.x spürbar performanter sein soll. Evtl. hilft ein Update von mySQL auch bei deinem performance Problem...

[PhilippK]

Wobei natürlich gerade in dem Ausschluss von Wörtern ein nicht gerade unbedeutender Ansatz zur Reduktion des DB-Volumens liegen könnte
Frage am Rande: hast du eine search_stopwords.txt im Einsatz?

Gruß, Philipp

[R. U. Serious]

Wobei natürlich gerade in dem Ausschluss von Wörtern ein nicht gerade unbedeutender Ansatz zur Reduktion des DB-Volumens liegen könnte

Theoretisch ja, und bei manchen Typen von Boards mag das helfen. In den von mir betreuten Foren, wurde nie ein einziges Wort als common markiert. Sprich, das Ding hat Null nutzen gehabt. Und wie aus Chrischn25s query-log hervorgeht, sind die Queries die es so langsam machen aus genau der Funktion die dafür zuständig ist.
(Man muss sich das mal vor Augen halten:

Code: Alles auswählen

			$sql = "SELECT m.word_id 
				FROM " . SEARCH_MATCH_TABLE . " m, " . SEARCH_WORD_TABLE . " w 
				WHERE w.word_text IN ($word_id_sql)  
					AND m.word_id = w.word_id 
				GROUP BY m.word_id 
				HAVING COUNT(m.word_id) > $common_threshold";

Bei jeder Aktion an einem Post wird für jedes Wort gezählt wie oft es vorkommt. Dazu ein Join der beiden search-tabllen und ein group by mit einem where, dass sich auf string bezieht...)

Also IMHO definitiv einen Versuch wert. Aber wie immer: Your mileage may vary.

[Chrischn25]

Hallo zusammen!

Philipp: Ja, die Daten sind realistisch... Den Maintenance-Mod habe ich schon drüberlaufen lassen - die search-table im Test-Forum schon neu aufbauen lassen (dauerte eine Ewigkeit) - hat ausser einer Reduktion gar nichts gebracht. Stopwords habe ich eben mal eingebaut - hilft aber nicht wirklich.

R. U. Serious: remove_common auskommentiert - bisher ohne ersichtlichen Erfolg... Ich lasse es aber mal draußen und logge wieder mit

Ich habe erst vor 3 Wochen auf mySQL 4.x upgedatet - ebenso kein Erfolg.


@euch beide: bringt euch ein Testforum mit einem aktuellen Datenbestand was sowie Zugriff auf meine lokale phpmyadmin? Würde ich ggf. zur Verfügung stellen können...

Ich danke euch mal soweit!

Grüße
Chrischn

edit: remove_common auskommentiert und bis jetzt (nach Neustart des mySQL) noch keine slow-queries. Ich lasse mitloggen... Mal sehen ob sich was tun tut.

[PhilippK]

Chrischn,

wie gut ist dein Englisch? Dann würde ich dich nämlich gerne auf das englische phpBB.com verweisen - weil dort wurde schon ein paar mal über extrem große Boards diskutiert. Wenn's daran hapert, würde ich die Anfrage für dich verfassen.

Gruß, Philipp

[Chrischn25]

Hallo ihr beiden!

Entschuldigt die lange Antwortzeit. Ich liege krankheitsbedingt (Grippe) im Bett...

R. U. Serious: remove_common auskommentiert - neues log zum Anschauen auf meinem Server http://www.klein-putz.de/log/slow-query.log

Es hat den Anschein, als würden sich die slow-queries in Grenzen halten und im Durchschnitt ist eine langsame Query 15 Sekunden lang.

Vor dem remove_common war das log deutlich voller!

Danke mal für den Tipp!

Philipp: Mein Schul-Englisch ist einigermaßen ok. Mittlerweile habe ich auch das englische phpbb quergelesen und schon einige Hinweise bekommen. Aber das Problem scheint zum Glück wirklich zu existieren (ich hatte schon befürchtet, meine Seite sei ein Sonderfall ).
Wobei ich deine Hilfe benötige ist die genaue (deutsche) Formulierung für die Anfrage. Eine Anfrage à la "mein Forum ist so langsam" bringt weniger gutes Feedback.

Du hast ja verdammt viel Hintergrundwissen und weißt genauer, wo das Probem eigentlich liegt. Vielleicht kannst du dir auch nochmal das log anschauen?

Herzlichen Dank soweit!

Grüße,
Chrischn

[PhilippK]

So, jetzt habe ich auf phpBB.com auch etwas gesucht - und das hier gefunden:
http://www.phpbb.com/phpBB/viewtopic.ph ... 796#672796

Ist zwar ein etwas anderes Problem - könnte aber funktionieren. Könntest du den im Beitrag von Acyd Burn beschriebenen Fix mal ausprobieren?

Gruß, Philipp

[Chrischn25]

Hi Philipp!

Vielen Dank für den Link. Leider habe ich aber noch die 2.04er und somit sieht die functions_search ein wenig anders aus. Soweit ich sehen konnte, ist das Entfernen der Wörter mit weniger als <3 bzw. >20 Zeichen drin.

Nach dem Auskommentieren der remove_common ist das Posten und Editieren schon wesentlich schneller geworden - ich habe aber immer noch eine realtiv große slow-query. Bezieht sich aber hauptsächlich auf Suchabfragen, nicht auf das Editieren von Postings.

Ich werde auch nochmals bei phpbb.com stöbern - vielleicht werde ich ja noch fündig.

Wenn dir noch etwas einfällt -> nur her damit.

Viele Grüße und einen schönen Tag!

Chrischn