Datapumper

Einfaches ETL-Tool zur Synchronisation von Warenwirtschaft und Webshop (z.B. xt:Commerce, Zencart)

Zweck

Extraktion relevanter Daten aus verschiedenartigsten Datenquellen. Transformation, Verdichtung oder Kalkulation der Daten in das Schema der Zieldatenbank. Laden oder Schreiben der Daten in die Zieldatenbank. Konkret wird die Lösung derzeit in zwei FÀllen verwendet um Stammdaten aus Warenwirtschaftssoftware mit Webshops zu synchronisieren.

Datapumper im Betrieb

Details

Verwendete Komponenten werden anhand einer XML Beschreibung orchestriert. Selbige Datei enthĂ€lt auch den Ablaufplan fĂŒr den ETL-Prozess (Extract, Transform, Load). Benutzerdefinierte oder  erweiterte Transformationen werden durch Plugins und eine kontextbasierte Ausdruckssprache (Expression Language, EL) unterstĂŒtzt.

So sind z.B. Abfragen (Ă€hnlich zu SQL SELECT) ĂŒber verschiedene Datenquellen hinweg möglich. Eine Datenquelle kann hier eine relationale Datenbank genauso wie ein Webservice oder eine Legacy Anwendung sein. Die Software kann selbstĂ€ndig SSH-Tunnel zum Zielrechner aufbauen.

Verwendete Technologie

  • .Net 2.0 / C#
  • Visual Studio 2005
  • Click-Once Deployment
  • ANTLR Parser Generator
  • ANTLR Stringtemplate