Umlaute in Anhängen nur bei kleinen Bildern möglich

[keltoi]

Hallo liebe Community,

vor Kurzem habe ich ein phpbb 3.1.6 Forum übernommen. Das komplette Forum ist dabei von einem Server auf den anderen gewechselt und hat auch die Domain geändert. (Mit Eurem super Artikel in der knowledgeBase alles auch kein Problem)

Nun habe ich folgendes mysteriöse Problem beim Hochladen von Dateianhängen. Ich habe ein Bild, z.b. "Bärchi.jpg" mit 400x400 Pixeln (Forum lässt bis 600x600 zu) und ca. 50 kiB (Forum ist auf <60 kiB eingestellt) versucht hochzuladen. Es kommt eine Warung: B??rchi.jpg ist kein zulässiger Dateiname. Der Witz ist: Wenn ich die Datei massiv verkleinere auf z.b. 200x200 Pixel und ca. 25 kiB, wird die Datei anstandslos geladen!

Und jetzt wird es noch mysteriöser: Ich hatte zuvor schon mal testweise einen Datenbankdump in ein leeres Testforum importiert, das immer noch zu Übungszwecken läuft. Hier kann ich auch das große Bild problemlos hochladen!

Bei den beiden Foren gibt es im Wesentlichen zwei Unterschiede: Das Testforum ist eine Leerinstallation von phpbb gewesen, in die ich die Datenbank importiert habe, aber sonst keine Daten mitgenommen habe (z.B. avatare, Anhänge u.s.w.) Das echte Forum wurde mit der gesamten Ordnerstruktur kopiert. Der zweite Unterschied ist, dass der erste Dump wohl nur irgend ein beliebiges Backup war, welches ich mit UTF8-Zeichensatz importiert habe. Umlaute waren alle da, alles gut. Der ehemalige Admin hatte mir nun aber für den echten Umzug die Datenbank aus Angst vor Umlaut-Verlust als Latin1 exportiert. Mit UTF8 importiert, komplett schief gegangen! Also habe ich die Datenbank nochmal komplett leer gemacht und beim Importieren (mit MySQLDumper) dann auf Latin1 umgestellt. Diesmal sind alle Umlaute im Forum wieder enthalten. Ist halt die Frage, ob das jetzt noch irgend einen Unterschied macht. Wenn ich in PHPMyAdmin schaue, sind beide jetzt UTF8 codiert. Aber, wie gesagt, sonst gibt es bei beiden Installationen keine Unterschiede.


Außerdem ist mir aufgefallen, dass teilweise beim Hochladen von Bildern die Dateigröße sich nochmal ändert. Besonders bei Bildern mit 600 Pixeln Kantenlänge kann es passieren, dass eine Datei, die 55 KB hatte, am Ende als zu groß abgelehnt wird, da sie angeblich mehr als 80 kiB groß sei... Verkleinert man das Bild auf 599 Pixel, passiert dies nicht, selbst wenn man nachträglich das Bild noch etwas "schwerer" macht (z.B. mit RIOT) Das hat zwar mit dem eigentlichen Thema nichts zu tun, aber ist für mich ein Hinweis, dass das Forum an irgend einer Stelle noch mehr mit dem Bild anstellt, als es einfach nur auf den Server zu laden und irgendwo einen Hinweis zu hinterlassen... Müsste man evtl an dieser Stelle (nur, wo ist die?) ansetzen, den Fehler zu suchen?

Für Eure Hilfe wäre ich Euch wirklich ausgesprochen dankbar!
Falls Ihr mehr Infos benötigt, werde ich mein bestes tun, die fehlenden Infos nachzureichen.

Viele Grüße und danke
Keltoi

[gn#36]

Ich glaube was die Abmessungen angeht gibt es einen Bug, der Bilder mit den Maximalabmessungen ablehnt. Wenn du 600x600 eingestellt hast, ist ein 600px breites Bild also zu groß, du müsstest 601px erlauben. Die falsche Fehlermeldung liegt daran, dass es nur eine Fehlermeldung für beide Probleme gibt.

Wenn die Umlaute im Forum richtig dargestellt werden würde ich mir über die Datenbank erst mal keine Gedanken machen. Wo ich allerdings auch schon Probleme mit Umlauten hatte war bei Dateinamen auf dem Server selbst. Das war allerdings nicht in Verbindung mit phpBB, denn da werden eh alle Dateien umbenannt und enthalten dann keine nicht-ASCII Zeichen mehr. Wo genau kommt die Fehlermeldung? Wie heißt die Datei nach dem Verkleinern? Tritt das Problem nur bei Umlauten im Dateinamen auf?

[keltoi]

Wo genau kommt die Fehlermeldung? Wie heißt die Datei nach dem Verkleinern? Tritt das Problem nur bei Umlauten im Dateinamen auf?

Ich hab im Forum testweise folgende Dateien hochgeladen:

Bärchi1 182x200 px, 21,5 KB
Bärchi2 441x485 px, 57,1 KB
Baerchi2 (=Bärchi2 umbenannt)

Und so siehts dann nach dem Hochladen aus:

[ externes Bild ]

Die Fehlermeldung kommt, wenn man auf das Ausrufezeichen klickt. Die selbe Datei mit ae statt ä wird problemlos genommen.
Bärchi2 verkleinert zu Bärchi1 wird auch anstandslos genommen.
Ich gehe davon aus, dass das Forum noch irgendwas mit den Bildern anstellt, wenn sie eine bestimmte Größe haben. Wird da irgendwo was komprimiert? Skaliert? Gibt es Einstellungen außerhalb ACP -> Beiträge -> Dateianhänge?

Ach ja, wo wir gerade bei den Einstellungen sind, vielleicht hilft´s weiter?

Einstellungen für Dateianhänge:
Max. Dateigröße 59 KiB
Max Abmessungen: 601 x 601 Px
Vorschaubilder erstellen Nein

(Und sicherheitshalber, obwohl Vorschau deaktiviert ist:)
Max. Breite der Vorschaubilder 601
Minimale Vorschaubild-Dateigröße 60421 Bytes


Zu dem anderen Thema:Die Abmessungen sind schon absichtlich etwas größer. Als ich das Forum übernahm, war 604 px eingestellt, jetzt hab ich es auf 601 reduziert, Interessant war, dass nicht alle Bilder mit 600 px Kantenlänge abgelehnt wurden. Sporadisch kam es aber vor, dass das Bild auf der Festplatte z.B. 55 KB hatte und nach dem Hochladen wurde rechts beim Datenvolumen ein Wert > 60 KB angezeigt --> abgelehnt. Ich habe inzwischen ein Bisschen mit den Einstellungen für "Vorschaubild" gespielt, mal sehen, ob nochmal jemand sich bei mir meldet, weil er sein Bild nicht hochgeladen bekommt.

Ich wäre Euch sehr dankbar, wenn Ihr mir weiterhelfen könntet. Wo könnte ich denn noch nachschauen?

Liebe Grüße
Kelt

[gn#36]

Hm, sehr seltsam. Ich frage mich ob da ein unsichtbares Zeichen in dem Dateinamen ist, wegen dem es nicht geht. Um ehrlich zu sein habe ich noch keinen Durchblick bei dem neuen Uploader, das ist ja ein externes Plugin namens plupload.

Was die Dateiabmessungen angeht kann es auch sein, dass der Bug schon korrigiert wurde. Die Dateigröße einer Datei kann durchaus auf dem Server und lokal verschieden sein. Zum einen werden unterschiedlich viele Metadaten mit den Dateien zusammen gespeichert, die Platz belegen, zum anderen kann die Sektorgröße auf dem Server anders sein als bei dir lokal (auch wenn ich das für recht unwahrscheinlich halte). Ein anderes Speicherformat wäre auch noch möglich, Dateien werden z.B. meist base64 encodiert bevor sie an eine Mail gehängt werden. Diese Encodierung ist aber normalerweise deutlich größer als das Original. Ich meine aber nicht, dass phpBB am Speicherformat was ändert. Vorschaubilder könnten aber automatisch erzeugt werden, ich kann mir aber nicht vorstellen, dass die Vorschaubilder dann auf die Dateigröße angerechnet werden (wenn doch wäre das imho ein Bug).

Insgesamt hätte ich aber vermutet, dass die Unterschiede relativ gering sind. Was mich insbesondere wundert ist dass dieses Verhalten in deinem zweiten Forum nicht reproduzierbar ist. Das könnte es sehr schwer machen, den Fehler zu finden. An mitkopierten Dateianhängen kann es in meinen Augen auch nicht liegen, denn du lädst ja neue Dateien hoch. Liegt das andere Forum in dem es geht auf dem gleichen Server oder liegt das bei dir lokal? Wenn nicht auf dem Server, kannst du mal auf dem selben Server mit einem frisch installierten phpBB testen? (ggf. in die selbe Datenbank mit anderem Prefix installieren).

[keltoi]

Hallo,

Beide Foren liegen auf dem selben Server. Nur der verwendete Dump war ein anderer. Wie gesagt, einmal utf8, einmal latin1 beim Importieren.

Versteckte Zeichen im Dateinamen? Glaub ich nicht. Wenn ich das Bild öffne und speichere kommt der Fehler beim Upload. Wenn ich es verkleinere und unter dem selben Namen speichere, passiert es nicht mehr.
Einen aktuellen Dump mal in ein neu installiertes Forum zu importieren müsste ich mal versuchen, ist nur etwas zeitaufwändig, da die Datenbank recht groß ist. Das Forum existiert seit 10 Jahren und ist recht umfangreich...

Aber ich schreibe dann auf jeden Fall das Ergebnis

Viele Grüße und besten Dank einstweilen
Keltoi

[gn#36]

Nein, ich meinte ohne Dump, nur ein frisch installiertes Forum. Aber wenn beide eh schon auf dem selben Server liegen sollte das eigentlich keinen Unterschied machen.

phpBB stellt die Zeichenformate der Datenbankverbindung auf utf8. Somit weiß mysql, dass alles was ankommt als utf8 interpretiert werden soll und wenn mysql selbst in einer anderen codierung gespeichert ist sollte es automatisch konvertieren. Deshalb sollte es auch funktionieren, wenn die db in latin1 kodiert ist. Deshalb hast du auch kein Kauderwelsch in deinen Beiträgen.

Eigentlich sollte deshalb ein ä kein Problem sein, wie man ja auch an den restlichen Dateien sieht. Wenn ich das richtig sehe kommt das ä aber gar nicht in der Datenbank an, sondern es wird schon vorher abgelehnt. Die einzige Stelle, an der die Fehlermeldung im phpBB Code verwendet wird ist in: https://www.phpbb.de/infos/3.1/xref/nav ... ource.html

Code: Alles auswählen

// check Filename
if (preg_match("#[\\/:*?\"<>|]#i", $file->get('realname'))) 

Das passiert noch beim Upload, sprich, in $file->get('realname') muss aus irgendwelchen Gründen Mist drin stehen. Es erkennt offenbar Fragezeichen in den Dateinamen statt dem Umlaut, und das ist nicht erlaubt (interessanterweise mit Blacklist, nicht Whitelist, also darf der Dateiname so gut wie alles enthalten, nur nicht die zwischen [ und ] befindlichen Zeichen). Der Name der da drin steht ist aber lediglich der, den dein Browser liefert, ohne dass das je in der DB gelandet wäre, zumindest soweit ich das auf die Schnelle beurteilen kann. Ich habe allerdings die Zwischenspeicherung der Uploads auch noch nicht gefunden, irgendwie müssen die ja dir zugeordnet werden, selbst wenn der zugehörige Post noch nicht erstellt wurde.

Naja so oder so scheint es ja am Characterset zu hängen, daher könntest du probieren, die DB einfach wieder zu utf8 zu konvertieren. Wenn du die alte Datenbank noch in betrieb hast würde ich hier stattdessen in utf8 exportieren. Ansonsten aktuelle DB in utf8 exportieren und anschließend wieder importieren.

Für Wordpress gibt's ansonsten ne brauchbare Anleitung für die Konvertierung: https://codex.wordpress.org/Converting_ ... acter_Sets Ist aber ziemlich aufwändig.

[keltoi]

Ich denke, dann werde ich das noch versuchen.
Was mich halt total wurmt, ist, dass die Forensoftware offensichtlich die Umlaute nur bei größeren Dateien nicht nimm. Bei kleinen Dateien ist es dem Forum herzlich egal. Versteh das, wer will, ich tu es nicht!

[gn#36]

Das ist in der Tat seltsam. Betrifft das eigentlich alle Dateianhänge oder nur Bilder?

[keltoi]

Gute Frage, nachdem man bei uns nur Bilder hochladen kann...

[DrWolf]

Ich nutze ein eingebetteten Forum in einem Wordpress Projekt in einem Thema von http://www.templatemonster.com/de/, hatte so ein änliches Problem es wurde aber mit Unterstützung von deren Support erledigt.