Datapumper

Einfaches ETL-Tool zur Synchronisation von Warenwirtschaft und Webshop (z.B. xt:Commerce, Zencart)

Zweck

Extraktion relevanter Daten aus verschiedenartigsten Datenquellen. Transformation, Verdichtung oder Kalkulation der Daten in das Schema der Zieldatenbank. Laden oder Schreiben der Daten in die Zieldatenbank. Konkret wird die Lösung derzeit in zwei Fällen verwendet um Stammdaten aus Warenwirtschaftssoftware mit Webshops zu synchronisieren.

Datapumper im Betrieb

Details

Verwendete Komponenten werden anhand einer XML Beschreibung orchestriert. Selbige Datei enthält auch den Ablaufplan für den ETL-Prozess (Extract, Transform, Load). Benutzerdefinierte oder  erweiterte Transformationen werden durch Plugins und eine kontextbasierte Ausdruckssprache (Expression Language, EL) unterstützt.

So sind z.B. Abfragen (ähnlich zu SQL SELECT) über verschiedene Datenquellen hinweg möglich. Eine Datenquelle kann hier eine relationale Datenbank genauso wie ein Webservice oder eine Legacy Anwendung sein. Die Software kann selbständig SSH-Tunnel zum Zielrechner aufbauen.

Verwendete Technologie

  • .Net 2.0 / C#
  • Visual Studio 2005
  • Click-Once Deployment
  • ANTLR Parser Generator
  • ANTLR Stringtemplate