Data Warehouse Automation (DWA) ist ein wichtiger Teil der Data Warehouse Modernisierung und durch Themen wie Big Data, Advanced Analytics sowie DevOps/DataOps stärker in den Fokus gerückt. Grundsätzlich geht es bei der Data Warehouse Automation darum, alle manuellen Eingriffe im Lifecycle Management eines Data Warehouses, die repetitiv und gleichartig sind, durch Automatisierung obsolet zu machen. Unternehmen müssen sich bewusst sein, dass nicht alle Tätigkeiten im Lebenszyklus eines DWH automatisierbar sind.
Die Data Warehouse Automation ist ein datengesteuertes Konzept, das auf Standardisierung und Automatisierung basiert. DWA ist gleichzeitig ein technisches, strukturelles und kulturelles Transformationsprojekt. Im Zentrum stehen dabei oft ETL-Prozesse (ETL = Extract, Transform und Load), SQL-Abfragen und Datenbank-Objekte.
DWH Automation steht für die Einführung von automatisierten Warehousing-Prozessen, Methoden und Tools für die Verwaltung sowie Pflege eines DWHs, in dem sonst häufig manuell betriebene, repetitive, nicht standardisierte und fehleranfällige Abläufe bestehen.
Das Data Warehouse ist durch seinen Aufbau vielschichtig und umfasst eine große Anzahl von Stakeholdern, Tools und Methoden. Zunächst müssen für eine DWH Automation relevante Prozesse analysiert und in die richtige Abhängigkeit gesetzt werden (Ist-Analyse). Im nächsten Schritt können Unternehmen potenziell automatisierbare Schritte ermitteln. Hierbei können DevOps bzw. DataOps zum Einsatz kommen. Oft geht DWA auch mit einer modellgetriebenen Entwicklung einher.
Das Data Warehouse (DWH) als Speicherort für strukturierte Daten stößt angesichts einer stetig wachsenden Zahl von Datenmengen, Quellen und Operationen zunehmend an die Grenzen der Benutzer- und Entwicklerfreundlichkeit. In klassischen DWH-Prozessen werden die zentralen ETL-Operationen von Hand an verschiedenen Orten durchgeführt – und je nach Fachbereich, Abteilung oder Mitarbeiter:in mehr oder weniger konsistent erledigt.
Über die Automatisierung von Prozessen zur Quellcodegenerierung und Datenintegration im DWH entfallen bei einem Teil dieser Aufgaben personelle Ressourcen. Das hat gleich mehrere entscheidende Vorteile für Unternehmen:
DWH Automation ist kein isoliertes Projekt, sondern im Idealfall eine kontinuierliche Teilaufgabe einer grundsätzlichen DWH Modernisierung. Sie sollte durch DevOps/DataOps angestoßen werden und mit einer ganzheitlichen Entwicklung der Unternehmenskultur als datengetriebenes Unternehmen einhergehen. Die Automatisierungsprozesse eröffnen zahlreiche Anknüpfungspunkte für den generellen Umgang mit Daten und machen im Data Warehouse die effizientere Nutzung von Analysetools und -methoden möglich.
Wie bei jedem Modernisierungsprojekt ist DWA zudem ein wichtiger Anreiz, um etablierte Strukturen und Ansätze im operativen sowie strategischen Geschäft zu hinterfragen und damit agilere Prozesse im gesamten Unternehmen zu implementieren. Grundsätzlich besteht DWH Automation aus folgenden Schritten:
Zu wichtigen DWH Automation Tools zählen zum Beispiel ETL-, Entwicklungs-, Analyse- sowie Visualisierungstools. Im Zuge der Umsetzung des Automatisierungsprojekts sollte darauf geachtet werden, dass die gewählte Plattform bzw. die Tools erweiterungsfähig, anschlussfähig und nahtlos integrierbar sind. Das Data Warehouse als zentrale Datenquelle folgt zwar einem festeren Bauplan als bspw. ein Data Lake, muss aber offen für zukünftige Bedarfe sowie neue Anforderungen an die Bereitstellung von Daten sein.
Durch den Einsatz von Automatisierungswerkzeugen können verschiedene Datentypen konsolidiert und harmonisiert werden, um sicherzustellen, dass die Daten im Warehouse konsistent sind sowie eine hohe Qualität aufweisen.
Eine DWH Automation-Software oder -Plattform sollte auf folgenden essenziellen Säulen ruhen:
Unterschiedliche Lösungen können sich zwar in ihren Details unterscheiden, sollten aber dem Prinzip folgen, dass die DWH Automatisierung zwar ein einmaliges Projekt, aber kein abgeschlossener oder isolierter Prozess ist. Die regelmäßige Arbeit an der DWA und kontinuierliche Verbesserung von Geschäftsprozessen trägt maßgeblich zum Erfolg eines Unternehmens bei.
Sprechen Sie jetzt mit unserem Cloud Analytics Experten und wir zeigen Ihnen, wie Sie Ihr Unternehmen auf die nächste Stufe bringen können.
Dürsin Kurt
CEO Cloud Analytics
Zu Wiki Übersicht