Mini-Statistik nur für Domainermittlung aber schnell!

[mgutt]

Wie könnte ich relativ easy und simpel für ca. 2-3 Monate eine Statistik führen, die nicht unbedingt Last verursacht. Ich habe ca. 50-70 Domains von denen ich die unwichtigen gerne herausfiltern möchte.

Daten auslesen und in die Datenbank oder in eine Logfile? Was ist am schnellsten. Ich bin etwas pingelig ich weiß, aber ich will nur wissen:

www.maxrev.de 3.234.233 views
www.max-rev.de 0,001 views <- löschen

gruß

[Pyramide]

Analysier doch am Ende des Monats einmal die Apache Logfiles...

[mgutt]

Äh.. eine Logfile hat pro Tag mindestens 100 MB. Ich bekomme, die nichtmal geöffnet, weil die so groß ist

[Pyramide]

Dann lies die Dateien halt Zeilenweise...

[Dennis63]

Es gibt Software, welche die Apache-Logfiles auswertet. Bei 100 MB Logfile pro Tag, dürfte das aber viel Arbeit für die Software werden...

Grüße
Dennis

[mgutt]

Dann lies die Dateien halt Zeilenweise...

Naja und wie mache ich das? Ich habe nun 30 Logfiles von 30 Tagen.

Macht zusammen ca. 4 GB an Daten. Und wie könnte ich da nun Domains und Anzahl auslesen / auswerten?

@ Dennis
gleiche Frage an Dich, gibts da Software? Kann von mir aus ein bissel was kosten, nur mit den Files umgehen sollte es natürlich schon können.

Ich habe mal versucht so eine Logfile mit Word aufzumachen.. nach 10 Minuten habe ich aufgegeben. Der scheint die irgendwie nicht reinschaufeln zu können.

[Pyramide]

Pseudocode:

Code: Alles auswählen

$domains = array();

foreach($datei in $dateien):
    foreach($zeile in $datei):
        $domain = parse($zeile)
        $domains[$domain]++

foreach($domain => $anzahl in $domains):
    echo "$domain: $anzahl aufrufe"

[mgutt]

Per PHP auslesen? Na gut das könnte man ja lokal machen. Müsste ich dann nur jede Datei nach und nach einlesen lassen. Es ändern sich ja nur die letzte Tagesangaben.

[Dennis63]

Es gibt sehr viele "Logfileauswerter". Google mal nach "apacehe logfile auswertung software". Bei 4 GB Wird Dein Rechner aber vermutlich einige Zeit brauchen, um da draus die Logfiles zu erstellen....

Wenn es Dir nur um die Domains geht, könnte man auch eine Mini Statistik programmieren. Eine My-SQL Tabelle mit Datum, Domain und Anzahl. Und pro Seitenaufruf ein Querry. (Bzw beim ersten Aufruf von Domain und Tag zwei Querrys). Ist zwar in der Masse eine Mehrbelastung für den Server, aber ein Querry mehr pro Seitenaufruf schaden sicherlich nicht.
Und dann eine kleine Übersicht, welche Dir die Daten anzeigt. Entweder ganz einfach, ne Liste mit Tag/Domain und Anzahl oder ein klein wenig komfortabler, man läßt mit PHP dann eine Tabelle generieren.

Grüße
Dennis

[mgutt]

Ich habe mal die Demoversion von Mescalero drüber laufen lassen, aber die erkennt irgendwie gar keine Domain, obwohl der Menüpunkt existiert.

Tomahawk ist so ein kostenloses Programm, dass Logfiles an Hand der Domains aufteilt, aber dummerweise das Format anders erwartet (Domain seperat).

Die Datenbankgeschichte wollte ich ja eigentlich nicht machen. Das mit den Logfiles finde ich schon ein guter Ansatz. Da kostet es ja nur meine Performance am Rechner.