Database Reference
In-Depth Information
■
Datenintegration wird zunehmend als Management-Aufgabe wahrgenommen. Gerade
im Bereich des Master-Data-Management und der Anwendungsintegration sind oft zen-
trale organisatorische Aufgaben und strategische Entscheidungen Teil eines Integrati-
onsprojektes.
■
Datenintegration verlangt fach-, abteilungs- und prozessübergreifende Zusammenar-
beit. Um die IT-Landschaft zu verschlanken, Geschäftsprozesse efizienter zu machen
und Synergien zu nutzen, ist ganzheitliches Denken über gewohnte Grenzen hinaus un-
abdingbar.
In den vorigen Kapiteln wurde an einem konkreten Beispiel gezeigt, wie Daten aus hete-
rogenen Quellen analysiert und entsprechende Transformationsregeln abgeleitet werden.
Mit dem Talend Open Studio for Data Integration wurde eine etablierte Open Source Soft-
ware vorgestellt, mit deren Hilfe die Fusion der Daten auf der Grundlage der abgeleiteten
Regeln und Vorschriften umgesetzt wird. Aus der Menge der im Talend Open Studio for Da-
ta Integration ca. 600 verfügbaren Komponenten wurden diejenigen dargestellt, die immer
wieder und in fast allen Integrationsprojekten benötigt werden. Anhand des Beispielsze-
narios wurden diese Komponenten Schritt für Schritt eingeführt und die Arbeit mit ihnen
demonstriert. Im Ausblick wurde gezeigt, wie man erstellte Projekte für andere nutzbar
machen kann.
Integration läuft nicht in fest vorgegebenen Schienen, daher sind die erstellten Jobs sicher
beispielhaft zu betrachten und auch auf verschiedene andere Arten machbar. Viele Wege
führen hier zum Ziel. So könnten z. B. die Lookup-Tables im TOSDI mit der Komponente
tCreateTable
erstellt werden. Die Verbindungen zu den Quelldatenbanken und zur Zielda-
tenbank könnten in
Context
-Variablen gespeichert werden, um so in allen Jobs verfügbar
zu sein ohne sie immer wieder neu bearbeiten zu müssen. Es könnten manche Teile eines
Jobs zu
Subjobs
zusammengefasst werden, um das Debuggen zu vereinfachen usw.
Nicht behandelt werden konnten wichtige weiterführende Probleme, mit denen sich jeder
konfrontiert sieht, der Daten aus verschiedenen Quellen zusammenführt, wie z. B.:
■
Wie geht man mit durch die Fusion entstehenden mehrfachen, möglicherweise wider-
sprüchlichen Werten um? Wie kann man Qualitätsprobleme schon im Vorfeld der Fusion
erkennen und beseitigen?
■
Wie können andere, semi- oder unstrukturierte Daten eingebunden werden? Wie geht
man mit sehr großen Datenmengen um?
■
Wie geht man mit Änderungen an den Datenquellen um, die während oder nach dem
Integrationsprojekt vorgenommen werden?
Diese Fragen führen zwangsläuig in neue Teilgebiete des Datenmanagements wie z. B.
Da-
tenqualitäts
- und
Master-Data-Management, Big Data
oder
Business Process Management
.
Talend Open Studio bietet auch dafür geeignete Lösungen an. Vielleicht wird das ja nächste
Projekt.
