Usage of directed acyclic graphs within ETL-processes focusing on data orchestration tools
Mario Radman · FH JOANNEUM ePUB · 2023
In der heutigen Zeit sind Daten der Eckpfeiler für Organisationen. Traditionelle Prozesse um Daten zu extrahieren, transformieren und zu laden (ETLs) stehe auf dem Prüfstand aufgrund der steigenden Komplexität und Menge an Daten. Diese Arbeit erläutert die Bedeutung von effizienten Programmen zur Datenorchestrierung ("Data Orchestration Tools") und betont die Notwendigkeit innovativer Techniken zur Datenverarbeitung. Der Fokus liegt dabei insbesondere auf den Programmen und deren Integration von gerichteten azyklischen Graphen (DAGs). Ein großer Teil dieser Arbeit besteht aus einem ausführlichen Vergleich verschiedener Programme zur Datenorchestrierung. Dieser Vergleich hebt die Funktionalitäten und Besonderheiten der verschiedenen Programme hervor wobei der Schwerpunkt auf der Nutzung von DAGs liegt. Das zentrale Thema ist, die Bedeutung von DAGs in diesen Programmen zu verstehen. Die Untersuchung geht tiefer darauf ein, warum DAGs ein integraler Bestandteil moderner Datenorchestrierungsprogramme geworden ist, erforscht deren Vor- und Nachteile und taucht in die Mathematik ein, die hinter den DAGs steht. Im laufe der Arbeit wurde klar, dass DAGs in Datenorchestrierungsprogrammen zunehmend eingesetzt werden, was die Vorteile von DAGs unterstreicht. Dazu gehören unter anderem eine bessere Modellierung des Informationsflusses und effiziente Datentransformation. Jedoch gibt es auch Szenarien, in welchen traditionelle ETL-Prozesse vorteilhafter sein könnten als DAG-orientierte Datenorchestrierungsprogramme. Außerdem hat diese Arbeit festgestellt, dass DAGs in Datenorchestrierungsprogrammen für Big Data überrepräsentiert sind. Dies unterstreicht deren signifikaten Rolle bei der Bewältigung großer Datenmengen. Darüber hinaus haben DAG-orientierte Datenorchestrierungsprogramme begonnen, traditionelle ETL-Prozesse in vielen Szenarien als den Standard abzulösen. Obwohl diese, insbesondere bei kleineren und weniger komplexen Datenflüssen, weniger geeignet sind. Der Grund dahinter ist, dass DAGs Funktionalitäten anbieten welche den Nutzer bzw. die Nutzerin ermöglichen Daten auf eine beständigere Weise zu sammeln. Nichtsdestotrotz ist das Einrichten eines Arbeitsablaufs ("Workflows") komplizierter als bei einem klassischen ETL-Prozess. Die Erkenntnisse dieser Untersuchung sind relevant sowohl für den akademischen Bereich als auch für die Industrie und gibt beiden einen Einblick in die Entwicklung von DAGs in der Datenorchestrierung.