Seite 1 von 1
Memory Exhaust bei file()
Verfasst: 18.04.2007 00:24
von mgutt
Hi,
ich möchte gerne einen Datensatz einlesen, der sich in einer csv-Datei befindet.
Leider ist die Datei so groß, dass der Arbeitsspeicher nicht mehr reicht um diese komplett mit file() einzulesen.
Wie sollte ich nun vorgehen? Ich hole mir die Daten mit copy() von dem Anbieter ab. Kann ich beim copy() die Datei in mehrere Dateien splitten oder was könnte ich sonst noch machen?
Gruß
Marc
Verfasst: 18.04.2007 00:37
von Pyramide
Jemand mit >2700 Beiträgen sollte es doch eigentlich schaffen, die
Funktionen des Dateisystems durchzulesen und dann [php:fopen] und [php:fread] finden
Verfasst: 18.04.2007 00:49
von mgutt
Ne ich dachte direkt an was in Linux.
Habs mit split() gelöst:
Code: Alles auswählen
function splitfile($source)
{
exec("split --lines=5000 $source cache/daten_");
return true;
}
Ist zwar komisch, dass split nur in dem Verzeichnis funktioniert, wo es aufgerufen wird, aber zumindest kann ich den Speicherort definieren.
Danach lese ich das Verzeichnis mit glob() ein und arbeite die Dateien einzeln mit foreach() ab.
Trotzdem Danke!
Verfasst: 18.04.2007 18:37
von Pyramide
Und was ist jetzt der Vorteil deiner Variante? Daß das Programm split und ein beschreibbares Verzeichnis vorhanden sein müssen, warscheinlich nicht
Verfasst: 19.04.2007 13:49
von mgutt
Hi,
ich gehe davon aus, dass es schneller ist.
Auch muss man sich keine Gedanken darüber machen welche Zeile ich auslese, wann man stoppt, dass dann in eine Datei packt etc. Also einfach weniger Aufwand. Derzeit mein Ergebnis:
Code: Alles auswählen
function download($src_file, $dst_file, $gz=false)
{
copy($src_file, $dst_file . ($gz ? '.gz' : ''));
if ( $gz )
{
exec("gunzip $dst_file.gz");
}
chmod($dst_file, 0777);
return true;
}
function splitfile($source, $split)
{
exec("split --lines=500 $source $split");
return true;
}
// Datei lokal sichern
download($csv, $source, $gz);
// Datei splitten
splitfile($source, $split);
Gruß