Datenintegration mit Open Source

Statt selbst erstellter und oft unübersichtlicher Skripts erledigen in Data-Warehouse-Lösungen zunehmend Produkte der Kategorie Extraktion, Transformation und Laden (ETL) die Befüllung dispositiver Datenbanken. Nach einer Filterung und Bereinigung werden die Daten aggregiert, verdichtet und harmonisiert. Bevor sie möglichst effizient in das Auswertungssystem gelangen, erfolgen oft weitere Berechnungen und Anreicherungen. Da dabei große Datenvolumina bewegt werden, finden solche Arbeiten am effizientesten im Batch-Betrieb statt. Viele Business-Intelligence-Anbieter haben inzwischen ergänzende ETL-Werkzeuge im Portfolio, als Platzhirschen gelten indes IBM und Informatica. Diese Tools sind allerdings relativ teuer und schwierig zu bedienen. Neben kommerziellen Programmen gibt es mit Talend ETL und Pentaho Data Integration (ehemals Kettle) inzwischen auch zwei durchaus leistungsfähige Open-Source-Angebote.