data-grabbing & mining - sql-statement nötig

soziologie_student · Beitrag von **soziologie_student** » 22.07.2006 17:04

hi @all

guten Tag an alle, eine Frage -

ist es moeglich aus einem phpBB daten zu grabben und sie dann in eine lokale
phpBB-DB anzulegen.

ich bin an einer Arbeit dran, die vorsieht eine online-diskussion auszuwerten. Dazu brauch ich die Daten aus einem phpBB, und zwar moeglichst vollständig.

Mein Problem wie komm ich da moeglichst einfach dran. Gibt es ein Script das mir hier hilft, die Daten online auzulesen und dann in einen String bringt den ich dann in ein lokales mysql-format eines phpBB bringe? Geht das denn!?

- ich bin dankbar fuer tipps und ideen.

gruss
soziologie-student

gloriosa · Beitrag von **gloriosa** » 22.07.2006 17:38

Hallo,
Du "ziehst" mit dem Board auf eine lokale Testumgebung um.

Siehe dazu >>> KB:umzug <<< und zur Thematik lokale Testumgebung benutze die >>> LINK:suche <<< nach XAMPP und Autor=gloriosa !

soziologie_student · Beitrag von **soziologie_student** » 22.07.2006 17:53

hallo gloriosa

vielen Dank fuer die schnelle Post. Um noch eines nachzuschieben. Es handelt sich bei dem Board nicht um mein lokales (oder eigenes ) Board sondern es geht hier um eine Verfahren mit dem ich Aufgaben wie

- Grabbing
- harvesting
- minging betreiben kann.

Nun muss ich aber noch mals dazu sagen. Es geht mir natürlich nicht um irgendwelche Kriminellen oder sonstigen Ideen oder Absichten. Nein - ich brauche nur einen validen und authentischen Datensatz.

Das ist einfach alles.

ich werde nun nochmals lesen und gucken ob ich deine Angaben irgendwie verstehe, glaube allerdings, dass du davon ausgegangen bist, dass ich ein bestehendes (eigenes Board) umziehen will.

dem ist nicht so - ich brauche ein oben beschriebenes Verfahren mit dem ich Daten, die im Netz sind grabben und dann spaeter storen und minen kann.

vielen Dank fuer weitere Tipps und Ideen.

gloriosa hat geschrieben:Hallo,
Du "ziehst" mit dem Board auf eine lokale Testumgebung um.

Siehe dazu >>> KB:umzug <<< und zur Thematik lokale Testumgebung benutze die >>> LINK:suche <<< nach XAMPP und Autor=gloriosa !

gloriosa · Beitrag von **gloriosa** » 22.07.2006 18:05

Hallo,
derartige Themen sind nicht Bestandteil von phpBB und werden demzufolge hier und schon gar nicht in diesem Forum besprochen.

Da Du ja auf die Datensätze gemäß

soziologie_student hat geschrieben:Nein - ich brauche nur einen validen und authentischen Datensatz.

zugreifen willst, machst Du ein Backup der Datenbank, lädst dieses Backup in einen neue Datenbank auf einen anderen SQL-Server und "brauchst Dir dann nur noch Gedanken" darüber machen was Du auslesen willst um es anschließend auswerten zu können.

Dazu solltest Du im Forum Coding & Technik oder besser im Forum Jobbörse nachfragen, weil das sicherlich Kenntnisse der phpBB-Datenbankstruktur voraussetzt.

Anmerkung : Es müssen nicht unbedingt ganze Kommentare in einem Posting zitiert werden !

Beitrag von **cYbercOsmOnauT** » 22.07.2006 18:06

soziologie_student hat geschrieben:es geht hier um eine Verfahren mit dem ich Aufgaben wie

- Grabbing
- harvesting
- minging betreiben kann.

Nun muss ich aber noch mals dazu sagen. Es geht mir natürlich nicht um irgendwelche Kriminellen oder sonstigen Ideen oder Absichten. Nein - ich brauche nur einen validen und authentischen Datensatz.

Das mag sein, aber wenn wir hier Dir eine Lösung präsentieren würden, könntest Du uns versichern, dass Du (und andere die diesen Thread lesen) damit keinen "Scheiss" bauen?

Ich denke: Nein.. also tut es mir leid, aber von unserer Seite gibt es für so etwas keine Hilfe. Zumal Du auch im falschen Forum gepostet hast. Denn das, was Du suchst, ist keine administrative Hilfe, sondern ein Modgesuch.

Grüße,
Tekin

soziologie_student · Beitrag von **soziologie_student** » 22.07.2006 18:32

moin cYbercOsmOnauT aka tekin ,

hallo @all

danke fuer die antwort. Natuerlich habe ich damit gerechnet dass du (oder jemand anderes danach fragt.

Aber ist es nicht vielmehr so als würde ich eine Zeitung nur lesen - und sie dann abschreiben. Lieber cYbercOsmOnauT , ich denke dass die DATEN alle schon online sind - READABLE to the world.

den einzeigen Vorzug den ich mit der Mining geschichte habe wäre folgender;
ich hätte die DATEN dann eben lokal und könnte besser suche - bessere requests an die DATEN stellen. Das ist der einzige vorzug. Dieser hat aber natürlich viel mit einer Forschungsabsicht und gar nichts mit einer unerlaubten Krimiellen Absicht zu tun.

Aber jettz mal im ERnst - ich kenne das Online (Teledienst ) und sonstiges Spezialrecht nicht. Was ich aber mit dem Script vorhabe ist eben genau das, - Ein genaues lesen dessen was schon ohnehin online ist - öffentlich zugänglich für die Welt.

- Hm vielleicht gibts ja copy rights auf Forendaten - das kann auch wieder sein.
Keine Ahnung. Das muesste man klaeren. Da ich aber ohnehin an engl. Forum interessiert bin ist die Frage noch einmal komplizierter bzw. eben einfach nur anders gelagert.

Nun aber nochmals die Frage nach einer technischen Loesung. Kann man das phpBB-Datensatz eines Threads per Copy in /aus dem Browser laden und dann in einen Dump bringen der dann in die mysql-db eines localen phpBB einzulesen ist!?! Geht das mit irgend einer Grabbing - harversting und mining -. Technologie.

vielen Dank fuer die Beteilugung an der Diskussion

Tekin - ich würde mich sehr freuen wenn du dich nochmals meldest - und wenn ich dir glaubhaft versichern kann dass ich damit eben keinen Scheiss bauen will.

viele Gruesse
soziol stud

cYbercOsmOnauT hat geschrieben:
soziologie_student hat geschrieben:es geht hier um eine Verfahren mit dem ich Aufgaben wie

- Grabbing
- harvesting
- minging betreiben kann.

Nun muss ich aber noch mals dazu sagen. Es geht mir natürlich nicht um irgendwelche Kriminellen oder sonstigen Ideen oder Absichten. Nein - ich brauche nur einen validen und authentischen Datensatz.
Das mag sein, aber wenn wir hier Dir eine Lösung präsentieren würden, könntest Du uns versichern, dass Du (und andere die diesen Thread lesen) damit keinen "Scheiss" bauen?

Ich denke: Nein.. also tut es mir leid, aber von unserer Seite gibt es für so etwas keine Hilfe. Zumal Du auch im falschen Forum gepostet hast. Denn das, was Du suchst, ist keine administrative Hilfe, sondern ein Modgesuch.

Grüße,
Tekin

gloriosa · Beitrag von **gloriosa** » 22.07.2006 18:35

Hallo soziologie_student,
Du solltest alle bisherigen Antworten zu diesem Beitrag vollständig lesen !

soziologie_student · Beitrag von **soziologie_student** » 22.07.2006 18:39

hallo gloriosa,

danke - ich habe auch deine Antwort gelesen.

du schreibst;

gloriosa hat geschrieben: da du zugreifen willst, machst Du ein Backup der Datenbank, lädst dieses Backup in einen neue Datenbank auf einen anderen SQL-Server und "brauchst Dir dann nur noch Gedanken" darüber machen was Du auslesen willst um es anschließend auswerten zu können

danke aber wie soll ichs verstehen? Das ist eben mein problem - wie soll ich ein Backup machen. Ich muss erst grabben.

gloriosa hat geschrieben:Hallo soziologie_student,
Du solltest alle bisherigen Antworten zu diesem Beitrag vollständig lesen !

oder habe ich dich nicht richtig verstanden? Ich hoffe du schreibst nochmals

[bin jetzt fuer mehrere Stunden offline- am spaeteren Abend aber wider online]

gruss
soz-student