max. Anzahl Dateien im Files-Verzeichnis

[Kampf Katze]

Das Bilder in der Regel den meisten Serverplatz brauchen und auch Ressourcen benötigen, ist kein Geheimnis.

Wie schon damals jemand sagte, solltest du mal ein Uploadlimit setzten das für die Nutzer gilt. Dann sind sie dazu gezwungen mal ihren Bilderwust selber zu verwalten und ggf. zu löschen wenn sie neun Platz brauchen.

Deinen Nutzern scheint der Umstand, den sie da ausnutzen, nicht klar zu sein. Es ist ja auch nichr Grundlos das Seiten wie Flickr oder 500px für Pro Accounts Geld verlangen.
Wenn du es selber erlaubst das man dir deinen Server so zupflastert ohne klare Limits zu setzten (oder im Gegebsatz Einnahmen zu generieren für einen besseren Server), dann muss man leider ganz klar sagen, dass du dir da wohl ma selber an die Nase fassen musst.

Offensichtlich scheinen dir aber die archivierten Daten am Herz zu liegen, so das du ein löschen ausschließt.
Animiere deine Gäste dazu, auf externen Bilderhostern wie imageshack hoch zu laden und bei dir zu verlinken. Eine globale Foreninfo kann hier helfen. Wird weiterhin so extrem der Server beansprucht, schalte die Uploadfunktion aus / ermögliche Uploads nur bestimmten Gruppen oder Mitgliedern.

[canonknipser]

Animiere deine Gäste dazu, auf externen Bilderhostern wie imageshack hoch zu laden und bei dir zu verlinken.

Ich kann jetzt nicht für den TO schreiben, aber bei uns haben wir extern verlinkte Images (Nutzung des IMG-Tags) explizit verboten (Ausnahme sind Smilies). Dafür gibt es mehrere Gründe:

• Der Benutzer soll sich darüber im Klaren sein, dass er nur Bilder veröffentlichen darf, für die er auch Veröffentlichungsrechte hat
• Wir haben keine Kontrolle über extern gehostete Bilder
  • Austausch von Bildern auf Fremdhosts (beliebte Maßnahme bei Trafficklau: Auf einmal ist da ein Pornobild statt einer Landschaft)
  • Löschung von Bildern auf Fremdhosts (ich liebe große weiße Bilder mit der Aufschrift "Flickr" oder ähnlich )
  • Oftmals schlechte Perfomance, gerade bei Freehostern
• Um zu viel ungewollten Traffic bei unseren Usern zu vermeiden (Stichwort: Mobile Nutzung), werden alle Bilder als Thumbnails dargestellt, dann ist eine bewusste Benutzeraktion notwendig, um das Bild in Originalgröße darzustellen. Bei verlinkten Images haben wir keine Kontrolle über die Dateigröße, weder in Byte noch in Pixeln
• Zusätzlich (eigenerstellte) Features wie Ändern der Hintergrundfarbe oder Anzeige ausgewählter Metadaten, ohne dass der Benutzer Zusatzsoftware installieren muss

BTW: aktuell haben wir ca. 80.000 Dateien im files-Verzeichis (40.000 Bilder + Thumbnails)


Im Übrigen halte ich es für eine Designschwäche im phpBB, das Verzeichnisse unkontrolliert so viele Dateien aufnehmen können (gilt z.B. auch für das Avatar-Uploadverzeichnis)

[redbull254]

Ich kann mir eigentlich nicht vorstellen, dass sonst kein anderer Forenbetreiber nicht mit ähnlichen Problemen kämpft. Oder sind alle zu Facebook

Ich denke, das ist auch eine Preisfrage. Ich zahle einige Hundert Euro im Jahr für das Webspace. Mein Hoster sichert einmal in der Woche mein komplettes Forum-Verzeichnis, dazwischen täglich Inkrementelles Sichern. Ich kann so viele Bilder speichern, wie mein Webspace her gibt. Und bei aktuell 65 GB lege ich mich ganz entspannt zurück. Damit ich besonders entspannt sein kann, sichere ich die Forum-Dateien zusätzlich auch noch einmal auf einer externen Festlatte, die ich im Falle eines absoluten GAUs dem Hoster zuschicken könnte. Hochladen kann man solche Größenordnungen ja kaum noch (13GB).

[canonknipser]

Sichern ist die eine Sache, der Zugriff auf das files-Verzeichnis via ftp eine andere. Oft hat der ftp-Server fest einkompilierte Beschränkungen (2.000 Dateien) für das Auflisten von Dateien. Damit kann man dann bei diesen Datenmengen schon keine vernünftigen manuellen Arbeiten im Verzeichnis durchführen - auch manche Backupprogramme, die auf Filelisting und Sortierung aufsetzen, geraten da in Schwierigkeiten.

[redbull254]

Mal ehrlich, wozu muss ich die Dateien im Ordner "files" denn auflisten? Die sind eh alle verschlüsselt und sagen mir nichts über die Bild-Datei aus. Und ich habe noch kein FTP-Programm benutzt, das Probleme mit dieser Anzahl Dateien hatte. Und wenn, verlasse ich mich auf das Backup meines Hosters. Das er sichert, habe ich schriftlich, fertig. Ich habe seit 7 Jahren das Forum und sichere auf diese Art meine Dateien. Einmal hat es in den Jahren einen Crash gegeben. Mein Hoster hat dann das Backup eingespielt und gut war es. Ein paar Stunden waren verloren an Beiträgen, aber das kann man gut verschmerzen. Ich habe eine lokale Installation mit "XAMPP" gemacht und kontrolliere jedes gemachte Backup sofort auf Funktion. Das herunterladen der Dateien dauert beim reinen Synchronisieren nicht einmal 15 Minuten. Ich kann ehrlich gesagt Dein Problem nicht erkennen.

[mad-manne]

Mal ehrlich, wozu muss ich die Dateien im Ordner "files" denn auflisten?

Ich hoffe mal, daß ich mit meiner Annahme nicht falsch liege ... ABER ein FTP-Client muss meiner Meinung nach zunächst die Dateien im Verzeichniss auflisten, um dann auf Basis dieser Dateiliste die Dateien überhaupt herunterladen zu können. Und da kommt es wie bereits weiter oben in diesem Thread geschrieben zu diversen Schwierigkeiten im Zusammenhang mit einer solch grossen Anzahl von Dateien.

Ich kann zwar durchaus nachvollziehen, daß hier mehrere Nutzer alternative Strategien zur Einbindung von Bildern anraten ... das löst aber eben nicht das eigentliche Problem. Es wäre IMHO durchaus sinnvoll, wenn phpBB die Attachments in einem Ordner-System z.B.: nach dem Schema JAHR/MONAT/Dateien ... innerhalb des files-Ordners ablegen würde.

My 2 cents,
Manne.

[canonknipser]

Ich will jetzt nicht alle Argumente wiederholen, die auf area51 schon ausgetauscht wurden ...

@redbull: Wenn du keine Probleme hast, brauchst du doch nichts zu ändern
Der TO ist jedenfalls in Sorge:

aber meine Angst wächst stetig, dass mir das Dateisystem des Servers irgendwann mal um die Ohren fliegt.

Und solange zum Transfer auf eine neue Domain noch ftp empfohlen wird: Knowledge Base - Transferring Your Board to a New Host or Domain, besteht das Problem mit vorkonfigurierten ftp-Servern weiterhin.
Hier wird das files-Verzeichnis zwar nicht explizit erwähnt, aber ein "copy all" durchgeführt (mit dem Hinweis auf den "binary mode" für erweiterungslose Dateien).
In der deutschen Knowledgebase fehlt dieser Hinweis übrigens

[redbull254]

Mal ehrlich, wozu muss ich die Dateien im Ordner "files" denn auflisten?

Ich hoffe mal, daß ich mit meiner Annahme nicht falsch liege ... ABER ein FTP-Client muss meiner Meinung nach zunächst die Dateien im Verzeichniss auflisten, um dann auf Basis dieser Dateiliste die Dateien überhaupt herunterladen zu können.

Das stimmt natürlich.

Ich kann zwar durchaus nachvollziehen, daß hier mehrere Nutzer alternative Strategien zur Einbindung von Bildern anraten ... das löst aber eben nicht das eigentliche Problem. Es wäre IMHO durchaus sinnvoll, wenn phpBB die Attachments in einem Ordner-System z.B.: nach dem Schema JAHR/MONAT/Dateien ... innerhalb des files-Ordners ablegen würde.

Es gibt meiner Meinung nach kein Problem, wenn man die Dateien gleich beim Hoster sichern lässt. Wer will den mehrere GB Dateien bei den üblichen Upload-Raten auf den Server zurück schaufeln, wenn es mal crasht. Das sichern per FTP ist für mich nur eine zusätzliche Maßnahme. Wenn es eines Tages wirklich nicht mehr mit einem FTP-Programm klappt, dann sichere ich nur noch die Core-Dateien.
Natürlich würde ich auch ein anderes System befürworten, das steht außer Frage.
Die Angst des Themenerstellers verstehe ich vollkommen, ohne Frage, aber ich bin doch der Meinung, das man ab dieser Größe, die er erwähnt, icht mehr eine Eigen-Sicherung betreiben kann? Außer die Sicherungsplatte zum Hoster zu schicken ist es doch nicht mehr möglich, so ein Backup einzuspielen. Was glaubst Du, was passiert, wenn man das versucht?

Solange es kein anderes System von phpBB gibt, bleiben nicht viele Möglichkeiten.

[brutto]

Hallo canonknipser,

wie sagt man so schön. You made my day
Nach einem ersten Überfliegen, ist das genau das was ich gesucht habe.
Ich hatte seinerzeit bereits eine, sagen wir 70%-Lösung. Leider habe ich nicht alle Skripte gefunden, die bei solch einer Lösung modifiziert werden müssen.
Abweichend zu der hier vorgestellten Lösung hab ich allerdings eine andere Verzeichnisnamensnomenklatur benutzt. Hauptgrund war, die bereits vorhandenen Dateien einfach in die künftige Verzeichnisstruktur zu verteilen. Wir haben aus dem Dateinamen mittels md5sum die ersten beiden Zeichen benutzt um die Verzeichnisse zu erstellen. So erhält man Verzeichnissnamen, theoretisch von 00 bis zz. Der Vorteil ist, dass man alle Dateien mittels eines Shell-Befehls (na ja, wenn der Hoster ssh anbietet) auf die neue Verzeichnisstruktur verteilt bekommt.
Sobald ich mal ein wenig freie Zeit habe werde ich das Projekt nochmal neu aufrollen und falls Interesse besteht hier posten.

Du hast mir auf jedenfall ein Riesenstck weitergeholfen.

Servus,
Robert

[redbull254]

Sobald ich mal ein wenig freie Zeit habe werde ich das Projekt nochmal neu aufrollen und falls Interesse besteht hier posten.

Interesse besteht sicherlich. Man soll sich nicht neuen Ideen gegenüber verschließen.