Hallo,
ich hab grad mal ein Backup meiner Datenbank im Forum gemacht und hab dabei gesehen, das die Tabellen "search_wordmatch" und "search_wordlist" absolut den meisten Speicherplatz einnehmen, teilweise mit über 350.000 Datensätzen.
Klar, bei 23.000 Beiträgen kommt da schon was zusammen, aber da sind auch viele "sinnlose" wort drin wie "gruß", "raum", "ende" oder "hierfür".
Wirkt sich so eine Datenmenge in speziell diesen beiden Tabellen auf die Performance des gesamten Forums aus?
Falls ja, kann man das irgendwie abspecken?
Wäre für Hinweise dankbar.
Grüße
Michael
Search Tabellen im Forum riesengroß
Forumsregeln
phpBB 2.0 hat das Ende seiner Lebenszeit überschritten
phpBB 2.0 wird nicht mehr aktiv unterstützt. Insbesondere werden - auch bei Sicherheitslücken - keine Patches mehr bereitgestellt. Der Einsatz von phpBB 2.0 erfolgt daher auf eigene Gefahr. Wir empfehlen einen Umstieg auf phpBB 3.1, welches aktiv weiterentwickelt wird und für welches regelmäßig Updates zur Verfügung gestellt werden.
phpBB 2.0 hat das Ende seiner Lebenszeit überschritten
phpBB 2.0 wird nicht mehr aktiv unterstützt. Insbesondere werden - auch bei Sicherheitslücken - keine Patches mehr bereitgestellt. Der Einsatz von phpBB 2.0 erfolgt daher auf eigene Gefahr. Wir empfehlen einen Umstieg auf phpBB 3.1, welches aktiv weiterentwickelt wird und für welches regelmäßig Updates zur Verfügung gestellt werden.
-
michaelxxx
- Mitglied
- Beiträge: 136
- Registriert: 15.10.2004 18:40
Ich bin sicher, mit einer Methode um die sinnlosen Wörter rauszufiltern (ohne eine Listen), läßt sich viel Geld verdienen. Dann leg mal los.
Das wirkt sich logischerweise nur auf die Suchfunktion aus.michaelxxx hat geschrieben:Wirkt sich so eine Datenmenge in speziell diesen beiden Tabellen auf die Performance des gesamten Forums aus?
PS: Zum Thema Liste und falls die Suche lahmt oder wegen der Größe: http://www.phpbb.de/doku/kb/suchtabellen_verkleinern
Hallo ... ich muss da nochmal nachhaken.
Ich finde es einen Hammer, das es sowas gibt, obwohl ne Suchtabelle ja prima ist, aber diese nicht wirklich bereinigt werden
Um das mal deutlich zu machen:
Ich habe hier nen Forum 2.x mit 131769 Posts.
Also nicht wenig, aber auch nicht wirklich viel.
Jetzt der Hammer:
search_wordlist -> 15MB (geht vielleicht noch)
search_wordmatch -> 150MB
search_wordmatch_he -> 89MB (wozu ist die denn ??)
Die Gesamtdatenbank ist ca. 350MB gross ... das ist ja wohl grosser Mist.
Und ob mir dieser stopword-Trick wie oben im Link hilft, ist fraglich und hilft nur zu ca. 15% ...
So eine DB kann man nur mit grossem Aufwand und viel Zeit mit mysqldumper sichern ... das ist echt grosser Mist.
Hat jemand noch Vorschläge, ausser dieser Sache mit "[HowTo] Grösse der search Tabellen verringern" ???
Könnte man nicht diese 3 obigen Tabellen ganz löschen, und dann wieder aufbauen lassen ??
Findet er ohne diese Tabellen keine Posts mehr, oder wie genau wirkt sich das aus ??
Mich würde mal interessieren, was sich die Entwickler dabei gedacht haben
Ich finde es einen Hammer, das es sowas gibt, obwohl ne Suchtabelle ja prima ist, aber diese nicht wirklich bereinigt werden
Um das mal deutlich zu machen:
Ich habe hier nen Forum 2.x mit 131769 Posts.
Also nicht wenig, aber auch nicht wirklich viel.
Jetzt der Hammer:
search_wordlist -> 15MB (geht vielleicht noch)
search_wordmatch -> 150MB
search_wordmatch_he -> 89MB (wozu ist die denn ??)
Die Gesamtdatenbank ist ca. 350MB gross ... das ist ja wohl grosser Mist.
Und ob mir dieser stopword-Trick wie oben im Link hilft, ist fraglich und hilft nur zu ca. 15% ...
So eine DB kann man nur mit grossem Aufwand und viel Zeit mit mysqldumper sichern ... das ist echt grosser Mist.
Hat jemand noch Vorschläge, ausser dieser Sache mit "[HowTo] Grösse der search Tabellen verringern" ???
Könnte man nicht diese 3 obigen Tabellen ganz löschen, und dann wieder aufbauen lassen ??
Findet er ohne diese Tabellen keine Posts mehr, oder wie genau wirkt sich das aus ??
Mich würde mal interessieren, was sich die Entwickler dabei gedacht haben
Hallo.
Ich weiß hier ist phpBB2, aber mit phpBB3 lässt sich auf die MySQL Suchfunktion zurückgreifen und somit das Abspeichern großer Suchtabellen komplett verhindern. Höchstwahrscheinlich ist die MySQL-Variante sogar performanter.
Siehe auch: http://www.phpbb.de/viewtopic.php?t=153579 und http://www.phpbb.de/viewtopic.php?t=148651
Damals (als phpBB2 neu war) ging man wohl davon aus, dass große Boards eh auf eigenen Servern laufen müssen und man somit ausreichend Speicherplatz hat. Jedoch möchte niemand groß Speicherplatz verschenken, das ist verständlich.
Wenn man die Tabelle löscht und neuaufbaut, ist sie genauso groß wie vorher.
Eine erweiterte Stop-Word-Liste ist eventuell im Forum zu finden. Damit lassen sich eine Großzahl von oft verwendeten Wörtern beim Suchen ausschließen.
Gruß,
bantu.
Ich weiß hier ist phpBB2, aber mit phpBB3 lässt sich auf die MySQL Suchfunktion zurückgreifen und somit das Abspeichern großer Suchtabellen komplett verhindern. Höchstwahrscheinlich ist die MySQL-Variante sogar performanter.
Siehe auch: http://www.phpbb.de/viewtopic.php?t=153579 und http://www.phpbb.de/viewtopic.php?t=148651
Damals (als phpBB2 neu war) ging man wohl davon aus, dass große Boards eh auf eigenen Servern laufen müssen und man somit ausreichend Speicherplatz hat. Jedoch möchte niemand groß Speicherplatz verschenken, das ist verständlich.
Wenn man die Tabelle löscht und neuaufbaut, ist sie genauso groß wie vorher.
Eine erweiterte Stop-Word-Liste ist eventuell im Forum zu finden. Damit lassen sich eine Großzahl von oft verwendeten Wörtern beim Suchen ausschließen.
Gruß,
bantu.
Powered by Coffee
Vielen dank bantu für Deine Antwort ...
Nun, unabhängig von dem Webspace welchen man zur Verfügung hat, oder nicht, finde ich eine solche DB-Tabellengrösse unverschämt und ist wohl kaum bei anderen Boards zu finden.
Eine Gesamt-DB-Grösse von 350MB ist einfach zuviel !!
Man stelle sich vor das das Forum von planet3dnow.de mit über 1.3 Millionen Posts, solche Suchtabellen hätte ...
Das Problem ist denke ich auch, das schon sehr lange keine "Bereinigung" im Forenadmin gemacht wurde ... (ist nicht mein eigenes Forum).
Wenn die Suchtabellen neu aufgebaut würden und man diese öfter pflegen würde, könnte es ja besser sein, oder meinst Du nicht ??
Frage ist auch, wenn ich jetzt versuchen würde in der Forenadmin über die "DB Maintenance" (ist wohl nen Zusatz) mit der "Prüfe die Wort-Liste-Tabelle" Funktion, aufzuräumen, ob das Script das überhaupt schafft (30 sek. Scriptlaufzeit) ???
Anschliessend könnte man noch "Suchindex neu aufbauen" ... das gibts auch unter dieser DB maintenance ...
Hab ich da überhaupt ne Chance ??
Und was passiert, wenn ich versuche die Wortlist-Tabelle aufzuräumen, dieses aber mittendrin abbricht ??
Wäre wohl auch nicht gut, da ja 2 Tabellen voneinander abhängig sind.
Und hast du ne Ahnung was diese Tabelle: search_wordmatch_he ist ??
DANKE.
Nun, unabhängig von dem Webspace welchen man zur Verfügung hat, oder nicht, finde ich eine solche DB-Tabellengrösse unverschämt und ist wohl kaum bei anderen Boards zu finden.
Eine Gesamt-DB-Grösse von 350MB ist einfach zuviel !!
Man stelle sich vor das das Forum von planet3dnow.de mit über 1.3 Millionen Posts, solche Suchtabellen hätte ...
Das Problem ist denke ich auch, das schon sehr lange keine "Bereinigung" im Forenadmin gemacht wurde ... (ist nicht mein eigenes Forum).
Wenn die Suchtabellen neu aufgebaut würden und man diese öfter pflegen würde, könnte es ja besser sein, oder meinst Du nicht ??
Frage ist auch, wenn ich jetzt versuchen würde in der Forenadmin über die "DB Maintenance" (ist wohl nen Zusatz) mit der "Prüfe die Wort-Liste-Tabelle" Funktion, aufzuräumen, ob das Script das überhaupt schafft (30 sek. Scriptlaufzeit) ???
Anschliessend könnte man noch "Suchindex neu aufbauen" ... das gibts auch unter dieser DB maintenance ...
Hab ich da überhaupt ne Chance ??
Und was passiert, wenn ich versuche die Wortlist-Tabelle aufzuräumen, dieses aber mittendrin abbricht ??
Wäre wohl auch nicht gut, da ja 2 Tabellen voneinander abhängig sind.
Und hast du ne Ahnung was diese Tabelle: search_wordmatch_he ist ??
DANKE.
Naja, eine Datenbank ist eine Datenbank.
Über die DB-Größen von phpbb.com und/oder phpbb.de wollen wir garnicht sprechen. Ganz zu schweigen von Gaia (z.Z. 1161144935 Posts) usw.
Siehe auch: http://www.big-boards.com/
In etwa muss man für den Suchindex die gleiche Datengröße wie für die Posts rechnen. Das ist auch gerechtfertigt, wenn man sich das System anschaut, das dahinter steckt. Fast jedes Wort wird ja in die Search-Tabelle aufgenommen.
Es ist schon eine Weile her, dass ich phpBB2 eingesetzt habe. Ich benutze es eigentlich nur auf phpbb.de, mehr nicht.
Die Tabelle search_wordmatch_he gibt es bei der Standardinstallation nicht.
Diese Mods sind eine Unterstützung zum Beheben von aufgetretenen Fehlern. Den Suchindex neu aufzubauen wird keinerlei Lösung bringen.
Wenn ihr unbedingt eine kleinere DB wollt, müsst ihr a) schauen, ob es für phpBB2 ein anderes Search-Backend gibt, dass ihr "einmodden" könnt. Oder b) auf phpBB3 konvertieren.
Gruß,
bantu.
Über die DB-Größen von phpbb.com und/oder phpbb.de wollen wir garnicht sprechen. Ganz zu schweigen von Gaia (z.Z. 1161144935 Posts) usw.
Siehe auch: http://www.big-boards.com/
In etwa muss man für den Suchindex die gleiche Datengröße wie für die Posts rechnen. Das ist auch gerechtfertigt, wenn man sich das System anschaut, das dahinter steckt. Fast jedes Wort wird ja in die Search-Tabelle aufgenommen.
Es ist schon eine Weile her, dass ich phpBB2 eingesetzt habe. Ich benutze es eigentlich nur auf phpbb.de, mehr nicht.
Die Tabelle search_wordmatch_he gibt es bei der Standardinstallation nicht.
Diese Mods sind eine Unterstützung zum Beheben von aufgetretenen Fehlern. Den Suchindex neu aufzubauen wird keinerlei Lösung bringen.
Wenn ihr unbedingt eine kleinere DB wollt, müsst ihr a) schauen, ob es für phpBB2 ein anderes Search-Backend gibt, dass ihr "einmodden" könnt. Oder b) auf phpBB3 konvertieren.
Gruß,
bantu.
Powered by Coffee
Vielen Dank nochmal bantu ...
ok, dann läuft es wohl wirklich darauf hinaus, auf das phpbb 3 upzudaten (es wird ja wohl bald released) oder zu einer anderen Forensoftware, z.B. SMF, zu wechseln ...
Na mal sehen .... ich muss mir das phpbb3 nochmal genauer ansehen und hoffe das das RC5 schon recht stabil und "ordentlich" läuft
Danke für Deinen Support.
ok, dann läuft es wohl wirklich darauf hinaus, auf das phpbb 3 upzudaten (es wird ja wohl bald released) oder zu einer anderen Forensoftware, z.B. SMF, zu wechseln ...
Na mal sehen .... ich muss mir das phpbb3 nochmal genauer ansehen und hoffe das das RC5 schon recht stabil und "ordentlich" läuft
Danke für Deinen Support.
Moin !zoc hat geschrieben: Nun, unabhängig von dem Webspace welchen man zur Verfügung hat, oder nicht, finde ich eine solche DB-Tabellengrösse unverschämt und ist wohl kaum bei anderen Boards zu finden.
Woher beziehst Du das Wissen, das bei anderen Boards die Datenbanken kleiner sind !? Es ist doch klar, das eine Datenbank mit Zunahmen der Beiträge an Größe zunimmt, oder ?
Gruß,
Steve
