Datenimport von Fremddaten - User, Threads, Posts

Fragen zu allen Themen rund ums Programmieren außerhalb von phpBB können hier gestellt werden - auch zu anderen Programmiersprachen oder Software wie Webservern und Editoren.
Antworten
udosa
Mitglied
Beiträge: 3
Registriert: 05.04.2007 17:52

Datenimport von Fremddaten - User, Threads, Posts

Beitrag von udosa »

Hallo Zusammen,

ich habe das Vergnügen ein sehr großes, altes, selbstgeschriebenes Forum auf phpBB zu portieren.

Konfiguration:
- phpBB.de 2.0.22
- mysql 4
- category-hierarchie-mod
- seo-shorturl-mod

Der Datenimport soll hierbei per selbstgeschriebenen Import-Scripten realisiert werden.

Importiert werden sollen die folgenden Elemente:
- User
- Threads
- Post

Ich hab mir mal die DB soweit angeschaut und prinzipiell ist es klar welche DB-Tabellen befüllt werden müßen.

Ich bin nun auf der Suche nach dem einfachsten Weg, die Daten zu importieren. Was mir auffällt ist die Tatsache, daß z.B. die DB-Tabelle "topics" umfagreiche Params zu jedem Eintrag besitzt welche sich wiederum auf die Tabelle "posts" beziehen z.B. topic_first_post_id usw..

Gibts vielleicht eine import api oder ähnliches bei der ich nur die Datensätze allen drei ebenen (User, Threads, Posts) mit id, title, text, datum, author importieren könnte und die anschließend alle unberührten Params entsprechend anpaßt.

... oder gibts vielleicht für den Admin-Bereich einen MOD der allle erweiteren PArams der Thread und Topic Tabellen eigenstädnig herstellt bzw. updated - quasi eine Art maintenance mod.

Irgendwelche Ideen oder Vorschläge. Ich freue mich auf euer Feedback.
Dennis63
Ehemaliges Teammitglied
Beiträge: 2597
Registriert: 02.07.2003 18:46

Beitrag von Dennis63 »

Die Parameter kannst Du beim Importieren zum größten Teil ignorieren.

Es gibt den MOD:maintenance, der Dir das meiste davon wiederherstelllen kann. Wie viel der jedoch in Hinsicht auf ein Konvertierungsversuch "gerade drehen" kann, kann ich leider nicht sagen. Im laufenden Betrieb kann er jedoch so ziemlich (fast) alles wieder richten, was schief gehen kann.

Grüße
Dennis
udosa
Mitglied
Beiträge: 3
Registriert: 05.04.2007 17:52

Beitrag von udosa »

Hi Dennis,

danke für den Tip ich werde mir den Mod mal anschauen.

Bezgl. des Datenimports ziehe ich gerade eine andere Möglichkeit in betracht.

Ich werde einen Versuch mit einem selbstgeschriebenen BOT durchführen, der sich automatisiert als User anmeldet und die Threads und Posts in chronologischer Reihenfolge gescriptet einfügt.

Mal schauen ob das klappt. Probleme mit fehlenden Verknüpfungen sollte es dann wohl nicht geben.

Viele Grüße
Dennis63
Ehemaliges Teammitglied
Beiträge: 2597
Registriert: 02.07.2003 18:46

Beitrag von Dennis63 »

Dann stimmen aber die Datumsangaben nicht mehr. Mit dem Maintenance-Mod dürfte es einfacher werden ohne Bot.

Grüße
Dennis
udosa
Mitglied
Beiträge: 3
Registriert: 05.04.2007 17:52

Beitrag von udosa »

@Dennis
Dann stimmen aber die Datumsangaben nicht mehr. Mit dem Maintenance-Mod dürfte es einfacher werden ohne Bot.
Da geb ich dir natürlich vollkommen recht.

Ich habe mich dennoch für den Bot entschieden und schreibe alle zusätzlichen Values die ich nicht über den Bot updaten kann erstmal mit Platzhalter in den Message-Body z.b. [[INSERTEDDATE=2007-01-01]]. Im zweiten Schritt parse ich dann die Daten aus und schreib sie in die DB.

Einziges Problem bei der ganzen Sache ist die Zeit bei der Verarbeitung von ca. 150.000 Datensätzen.

Aber der curl-based Robot läuft prima!
Antworten

Zurück zu „Coding & Technik“