[3.3] Defekte Dowloadfiles

[Fritschie]

Hallo,

eine Frage an euch, vielleicht könnt ihr helfen.
Wir bieten im Forum Files zum downloaden an (mehrere Dateien in einem zip File)
Sie werden hochgeladen und dann von den Besucher runtergeladen.
Ich selbst habe sie im zip Format über Dateianhänge hochgeladen und testweise runtergeladen, alles funktioniert
Nun wurde mal wieder eine Datei runtergeladen und dabei kam die Meldung "CRC-Fehler"
Datei wird zwar runtergeladen aber sie ist unvollständig, fehlen ein paar Dateien die dazu gehören.
Ich gleich meinen Provider angeschrieben, sie Datenbank geprüft und was auch noch, konnten keine Fehler finden,
und haben mir geschrieben " sollten sie sich an den Scriptanbieter einmal direkt wenden und dort nachfragen"
Also sozusagen den Ball weitergegeben.
Habe ihr eine Idee was die Ursache sein kann?

Danke für die Hilfe
Jörg Frisch

[LukeWCS]

Hallo

Da wäre mal ein konkretes Beispiel (besser mehrere) hilfreich. Habt ihr solche fehlerhaften Anhänge in öffentlichen Beiträgen, so das wir uns das auch mal direkt anschauen können? Also Links zu solchen Beiträgen?

Denn die Fehlerbeschreibung hier alleine, wird uns kaum weiterbringen. phpBB verändert ja keine Anhänge, sondern "anonymisiert" lediglich den Dateinamen und speichert die Datei in einem geschützten Ordner. Und beim Herunterladen werden diese Dateien auch wieder 1:1 an den Client ausgeliefert, ohne das phhBB den Inhalt verändern würde. Daher wäre aus meiner Sicht der erste Schritt zuerst mal zu ermitteln, um welche Art von Dateifehler es bei dir geht.

Ich gleich meinen Provider angeschrieben, sie Datenbank geprüft und was auch noch, konnten keine Fehler finden,

Attachments haben mit der DB nicht viel zu tun, da wäre nur der Dateiname relevant, aber nicht der Inhalt um den es hier ja geht.

[Fritschie]

Also ihr könnt die Diskussion bzw. die Fehlermeldung hier mitlesen ist öffentlich:

https://www.anlagenmeisterei.de/viewtop ... =25&t=4626
Des weiteren ein Bild mit Störungen auch in dem Thema oder

hier in den Link https://www.anlagenmeisterei.de/viewtop ... 695#p70695 zu einen anderem Thema mit Bildstörungen

Eine defekte zip Datei muss ich suchen ob noch welche vorhanden sind, weil ich gestern die defekten ersetzt habe.

Die Dateien die hochgeladen werden habe ich im Ordner "files" gefunden die lagen da mit solchen langen Nummern 1007_007e3efcc64f3b2c19cd198a22db2e57.
Wenn ich da in der Datenbank nach der Nummer suche komme ich zum Namen des Bildes oder der Datei.
Wenn ich dann die Nummer dazu mit den Dateinamen austausche habe ich das etwas verunstaltete Bild.
Soweit alles ok, aber wer hat dann die Nummer kaputt gemacht, wo sie doch beim hochladen noch ok war und auch 100 x ok runtergeladen wurde

Danke für die Hilfe bzw. Problemfindung
Jörg

[LukeWCS]

Also ihr könnt die Diskussion bzw. die Fehlermeldung hier mitlesen ist öffentlich:

Okay, demnach tritt das Problem sowohl bei Archiven als auch Bildern auf? Ja, was die Bilder angeht, da sind definitiv die Daten Container der Bildformate beschädigt. ZIPs müsste man sich noch anschauen.

Wenn ich dann die Nummer dazu mit den Dateinamen austausche habe ich das etwas verunstaltete Bild.
Soweit alles ok, aber wer hat dann die Nummer kaputt gemacht, wo sie doch beim hochladen noch ok war und auch 100 x ok runtergeladen wurde

Kannst du das bitte mal genauer erläutern? Welche Nummer und was genau hast du geändert?

Wichtig: Bitte erstmal nichts ändern! Zuerst muss der IST-Zustand untersucht werden und erst DANN kann man entscheiden, ob und was gemacht werden muss. Gib das sinngemäss an deine Benutzer weiter, weil jetzt vereinzelt anfangen wollen da zu "reparieren" ist a) erstmal gar nicht angebracht und b) macht die weitere Fehlersuche schwer bis unmöglich wenn "Spuren" vernichtet werden.

Ich betreibe selber phpBB seit ca. 11 Jahren und ich habe es noch nicht erlebt, das phpBB Anhänge zerstören würde. Grundsätzlich ist zu sagen, das phpBB bezüglich Anhänge nur exakt einmal eine Datei zum Schreiben anpackt, nämlich beim Hochladen. Ab da ändert phpBB nichts mehr an dieser Datei. Wenn das Problem also nicht einen speziellen Uploader (Benutzer) bei euch betrifft - da wäre nämlich ein Virenscanner im Verdacht - sondern mehrere Benutzer, dann besteht aus meiner Sicht der Verdacht, dass es mit dem Festplattenspeicher des Hosters ein Problem gab. Auch Hoster sind nicht 100% vor Datenverlust gefeit.

1. Kann man das Ganze denn auf einen bestimmten Zeitraum eingrenzen, wo diese Probleme anfingen?
2. Als nächste wäre mal zu klären, ob diese Dateien auch auf der Webspace Platte beschädigt sind. Das heisst bei solchen defekten Dateien sollten diese mal mit einem eurer Backups abgeglichen werden. So kann man schon mal herausfinden, ob die Fehler erst beim Ausliefern (durch phpBB) der Dateien entstehen, oder ob die Dateien schon fehlerhaft auf der Platte sind.

Um 2 vorzugreifen, aufgrund der Beschreibungen die eure Benutzer da gegeben haben und der Links, gehe ich aktuell vorsichtig davon aus, dass die Dateien schon auf der Platte defekt sind. Aber effektiv wissen wir das erst, wenn ihr Stichproben von defekten Dateien mit einem eurer Backups gemacht habt.

[Fritschie]

Hallo,

mit der Nummer meinte ich nur, das man diese in der Datenbank suchen kann und man findet dort den titel mit endung dazu mehr nicht.
Geändert habe ich auf diese Weise nichts, ich operiere doch nicht in der Datenbank.

Ich habe hier einen Download den man auch offiziell erreicht, (ist auch defekt)
https://www.anlagenmeisterei.de/viewtop ... 084#p66084
ganz nach oben, da ist eine Lok zu sehen und darunter der Downloadlink
Die Lok wurde zB am 18.03.2022 hochgeladen, seit dem 283x runtergeladen und jetzt ist die Datei defekt.

Bis jetzt die Tage hatte ich das Problem auch noch nicht bzw. bemerkt und das Forum habe ich seit 2018.
Eingrenzen kann ich den Zeitraum nicht da ich die Meldung erst vor ein paar Tagen bekommen habe.
Wie Du bestimmt gelesen hast schreibt ein User das Problem mir den Bildern schon seit 2023 ist was nur keiner bemängelt hat.
Er schreibt dort auch Termine von 2024 und die gehen bis März 2024 zurück.
Also können wir davon ausgehen dass dieses Problem schlimmstenfalls schon seit 2023 unbemerkt existiert oder?
Kein Provider hat ein Backup von 2023 und ich auch nicht von der Zeit.

...........................dass die Dateien schon auf der Platte defekt sind.

Was meinst Du damit? Beim hochgeladen waren sie doch in Ordnung, wurden ja auch oft runtergeladen.

Jörg Fritsch

[Mike-on-Tour]

Bist du in letzter Zeit, also ab 2023, mal zu einem neuen Hoster umgezogen und hast dabei alle Dateien deines Forums zunächst auf den lokalen PC gesichert und dann von dort aus auf den Server des neuen Hosters hochgeladen? Und dabei FileZilla in der Auslieferungskonfiguration benutzt?

[Dr.Death]

Worauf Mike abzielt:

Knowledge Base - Binär (BINARY) != ASCII - Beim Upload des Forums beachten

[LukeWCS]

mit der Nummer meinte ich nur, das man diese in der Datenbank suchen kann und man findet dort den titel mit endung dazu mehr nicht.

Ah okay. Mir ist aber nach wie vor unklar, was du mit "Nummer kaputt gemacht" meinst?

Geändert habe ich auf diese Weise nichts, ich operiere doch nicht in der Datenbank.

Das bezieht sich auch darauf, das du bereits angefangen hast defekte Anhänge zu ersetzen. Ich weiss das man da als Admin schnell "unter Druck" geraten kann, aber in so einem Fall heisst es erstmal Ruhe bewahren und nichts ändern, was Spuren/Hinweise vernichtet. Denn es geht ja hier darum herauszufinden, was die Ursache ist.

Also können wir davon ausgehen dass dieses Problem schlimmstenfalls schon seit 2023 unbemerkt existiert oder?

Nein. Das Upload-Datum (Beitragsdatum) ist in dem Fall nicht relevant. Interessant ist mehr der Zeitraum in dem das Problem verursacht wurde. Wenn ich dazu diesen Beitrag heranziehe, den Lurchy verlinkt hat:

https://www.anlagenmeisterei.de/viewtop ... 695#p70695

Dann können wir mal davon ausgehen, dass der Zeitpunkt der Beschädigung frühestens nach "30.06.2024, 19:17" liegen muss. Wenn sich Beiträge jüngeren Zeitpunkts finden wo Anhänge hochgeladen wurden die jetzt defekt sind, dann kann man den Zeitraum weiter verkürzen.

Was meinst Du damit? Beim hochgeladen waren sie doch in Ordnung, wurden ja auch oft runtergeladen.

Ja, aber darum geht es nicht. Es geht doch aktuell darum herauszufinden, ob phpBB etwas damit zu tun haben könnte. Hintergrund meiner Frage: wenn die Dateien schon auf der Platte defekt sind, kann phpBB nichts mit dem Defekt zu haben und die Ursache muss woanders gesucht werden.

Deswegen wäre es hilfreich wenn man einen Beitrag ausfindig machen könnte, bei dem a) ein defekter Anhang vorhanden ist und b) auch das Original noch verfügbar ist. Dann sucht man in der DB, wie du es ja schon herausgefunden hast, nach dem exakten Dateinamen des Anhangs im Ordner files. Dann kann man einen Binärvergleich (File Compare) der beiden Dateien machen was dann zu einem von 2 Ergebnissen führt:

1. Wenn es Abweichungen gibt, liegt ein Defekt vor, der extern (also nicht von phpBB) verursacht wurde.
2. Wenn es keine Abweichungen gibt und das Original auch in Ordnung ist, dann würde phpBB in Frage kommen, denn wenn ein Besucher/Benutzer ein Bild im Forum betrachtet oder einen Anhang herunterlädt (ZIP usw.), dann ist das aus Sicht von phpBB ein Upload zum Client, in dem Fall ein Browser. Und dann käme die Upload Funktion von phpBB ins Gespräch.

Ich glaube aber nicht das 2 zutrifft. Aufgrund der Beschreibungen deiner Benutzer gehe ich von 1 aus. Und da käme dann ein Umzug, oder eine Wiederherstellung eines Backups in Frage, wenn ein FTP Client mit falschen Einstellungen benutzt wurde. Oder eben auch ein Defekt beim Hoster selber.

[LukeWCS]

Zusatz: den binären Abgleich mit dem Original braucht es gar nicht. Ich habe eben im phpBB Source gestöbert wegen Anhänge. Das heisst das Original ist nicht nötig um Defekte festzustellen.

Kannst du mir bitte direkt vom Webserver diese Datei zur Verfügung stellen, die du hier genannt hast?

viewtopic.php?p=1430049#p1430049

Also die Datei 1007_007e3efcc64f3b2c19cd198a22db2e57 und eventuell noch weitere defekte Dateien, bei denen du schon den physischen Dateinamen ermittelt hast. Einfach in ein ZIP packen und den Link dazu hier mitteilen, sofern es Anhänge aus öffentlichen Beiträgen sind.

Achte bitte unbedingt beim Herunterladen vom Webserver darauf, das dein FTP Client Dateien im Binär-Modus überträgt, wie hier bereits geschrieben wurde!

edit: @Fritschie, diesen Beitrag hier kannst du ignorieren, Falschaussage meinerseits! Es bleibt bei dem was ich zuletzt um "14.01.2025 13:10" schrieb.

[Fritschie]

Ich danke Dir erst einmal für Deine Mühen.
Woran hast Du denn diesen genauen Zeitraum festgelegt oder erkannt, sogar noch mit Minutenangabe?
Ich ziehe den Hut den ich nicht auf habe.

Dann können wir mal davon ausgehen, dass der Zeitpunkt der Beschädigung frühestens nach "30.06.2024, 19:17" liegen muss. Wenn sich Beiträge jüngeren Zeitpunkts finden wo Anhänge hochgeladen wurden die jetzt defekt sind, dann kann man den Zeitraum weiter verkürzen.

In Hektik bin ich nicht verfallen und Druck nicht unbedingt, meine User haben mir nur die defekten Anlagen angeboten zum austauschen, deswegen habe ich gleich losgelegt.

Du hast mich da auf auf etwas hingewiesen, ich habe Filezilla mir angeschaut und bei Einstellungen - FTP Dateitypen - Standardübertragungstype steht bei mir auch automatisch.
Diesen nehme ich zwar selten und ein kompletter Umzug stand auch nicht an, da nehme ich ihn.
Aber ich habe Totalcommander und da standen die Einstellungen auch auf automatisch.
Die meisten Bilder werden zwar mit Dateianhang hochgeladen aber wenn User größere Anhänge haben dann erledige ich es mit dem Totalcommander.
Mit einem Backup von vor dem Datum, da werden ja auch die Beiträge seit dem Datum mit entsorgt oder reicht es wenn ich nur den files Ordner tausche?

Aber wie können denn dann Bilder bzw. Downloads defekt sein wenn ich sie über Dateianhang hochlade,
habe sie weder über Filezilla noch Totalcommander oder ein anderes FTP Programm hochgeladen?

Der Provider sagt bei ihm alles ok, deswegen sollte ich mich hier her wenden.




Danke Jörg Fritsch