
Es gibt verschiedene Zeichensätze, der Hexcode wird je nachdem bei Sonderzeichen in ein anderes Sonderzeichen umgesetzt, z. B: ein ä.
In phpBB2 war die Codierung anders, wie Du schon schreibst, in der 3 wird UTF8 benutzt, das heißt, es muß praktisch ein Übersetzer zwischengeschaltet werden, wie bei einer Fremdsprache, damit sich die beiden verstehen. Gibst Du unter der 3 neue Zeichen ein, steht die ja auf UTF8 und erzeugt auch logischerweise die richtigen UTF8-Zeichen!
Also, mache ein Backup Deiner alten Datenbank und achte dabei darauf, daß für den Export UTF8 gewählt wird(Voreinstellungsmäßig wird da wahrscheinlich zum Beispiel eben Latin eingestellt sein!), dann versteht auch die neue Datenbank die Zeichen richtig.