5 Minuten Lesezeit

Der ultimative Leitfaden zu Apache Airflow

Datenanalyse

Leitfaden

Python

Was ist Apache Airflow?

Apache Airflow ist ein Werkzeug zum visuellen Erstellen, Organisieren und Überwachen von Arbeitsabläufen (Workflows) und benutzt Aufgabenketten (Pipelines) zur Verarbeitung, Speicherung und Visualisierung von Daten. Eigentümerin der Plattform, die sich mit 1000 Mitwirkenden auf GitHub und 13 000 Sternen noch in der Inkubationsphase befindet, ist die Apache Software Foundation.

Einführung zu Apache Airflow

Apache Airflow ist ein Open-Source-Dienst, der in Python geschrieben wurde und von Dateningenieuren zur Orchestrierung von Workflows und Pipelines verwendet wird. Abhängigkeiten der Pipelines, Code, Protokolle, Trigger-Aufgaben, Fortschritt und Erfolgsstatus werden visualisiert, um bei Bedarf Probleme zu beheben.

Wenn eine Aufgabe abgeschlossen ist oder fehlschlägt, werden Warnungen und Nachrichten über Slack oder E-Mail versendet. Apache Airflow ist flexibel, skalierbar und mit externen Daten kompatibel. Die Plattform macht keine Vorgaben, wie ein Workflow auszusehen hat, und verfügt über eine benutzerfreundliche Oberfläche zur Verfolgung und erneuten Ausführung von Aufträgen.

Wie funktioniert Apache Airflow?

Pipelines werden mit Hilfe von folgenden Kernelementen beschrieben:

DAG

Gerichtete azyklische Graphen (DAG) sind der Eckpfeiler dieser Technologie. Dabei handelt es sich um einen Graphen, der keine Zyklen aufweist, sondern nur parallele Pfade, die aus demselben Auftrag stammen. Einfach ausgedrückt ist ein DAG eine Entität, die Arbeitsaufgaben (Tasks) in Abhängigkeit von der Datenpipeline kombiniert, wobei die Abhängigkeit zwischen den Anwendungen klar dargestellt wird.

Task E ist die letzte Aufgabe des DAG, die von der erfolgreichen Ausführung der vorangegangenen Aufgaben auf der linken Seite abhängt.

Betreiber

Ein Operator ist ein separates Element in der Aufgabenkette (Pipeline). Mit diesen Elementen beschreiben die Entwickler, welche Aufgabe ausgeführt werden muss. Apache Airflow verfügt über eine Liste vordefinierter Operatoren, darunter:

PythonOperator zum Ausführen von Python-Code
BashOperator zum Ausführen von Bash-Skripten oder -Befehlen
PostgresOperator für SQL-Abfragen in PostgreSQL
RedshiftToS3Transfer zum Ausführen von UNLOAD-Befehlen von Redshift zu S3
EmailOperator zum Versenden von E-Mails

Die Begriffe Aufgaben und Operatoren werden manchmal synonym verwendet, aber es handelt sich um unterschiedliche Konzepte, bei denen Operatoren als Muster für die Erstellung von Aufgaben dienen.

Sensor

Ein Sensor ist eine Variante des Operators und kommt in ereignisgesteuerten Pipelines zum Einsatz kommt. Beispiele:

Der PythonSensor wartet darauf, dass die Funktion True zurückgibt
Der S3Sensor prüft die Verfügbarkeit des Objekts anhand des Schlüssels im S3-Bucket

Haken

Hooks sind Dienste von Drittanbietern, die mit externen Plattformen (Datenbanken und API-Ressourcen) interagieren. Hooks sollten keine sensiblen Informationen enthalten, um Datenlecks zu verhindern.

Planer

Der Scheduler überwacht alle DAGs, verwaltet Workflows und übergibt Aufträge an den Executor.

Webserver

Der Webserver stellt die Benutzeroberfläche von Apache Airflow dar. Er hilft bei der Verfolgung des Status und des Fortschritts der Aufgaben und protokolliert Daten von entfernten Datenspeichern.

Datenbank

Alle relevanten Informationen werden in einer Datenbank gespeichert (Aufgaben, Planungszeiträume, Statistiken zu jedem Sprint usw.).

Executor

Der Executor führt die Aufgaben aus und gibt sie an die Worker weiter.

Abschließend wollen wir die Funktionsweise von Apache Airflow anhand eines Beispiels demonstrieren.. Zunächst werden alle DAGs im Hintergrund überarbeitet. Aufgaben, die dringend erledigt werden müssen, erhalten in der Datenbank die Markierung SCHEDULED. Der Planer ruft die Aufgaben aus der Datenbank ab und verteilt sie an die Executoren. Danach erhalten die Aufgaben den Status QUEUED, und sobald die Worker mit der Ausführung beginnen, wird dem Auftrag der Status RUNNING zugewiesen. Wenn die Aufgabe abgeschlossen ist, meldet der Worker sie je Endergebnis als beendet oder fehlgeschlagen, und der Scheduler aktualisiert den Status in der Datenbank.

Merkmale von Apache Airflow

Nachfolgend finden Sie eine Liste der interessantesten Merkmale von Apache Airflow.

Einfach zu bedienen

Grundlegende Python-Kenntnisse sind die einzige Voraussetzung, um Lösungen mit dieser Plattform zu erstellen.

Offene Quelle

Der Dienst ist kostenlos und hat viele aktive Nutzer weltweit.

Einfache Integration

Man kann nahtlos mit ergänzenden Produkten von Microsoft AzureGoogle Cloud Platform, Amazon AWS, usw.

Benutzerfreundliche Oberfläche

Der Status von geplanten und aktiven Aufgaben kann in Echtzeit verfolgt werden.

Prinzipien in Apache Airflow

Im Folgenden erfahren Sie mehr über die grundlegenden Prinzipien von Apache Airflow.

Dynamisch

Airflow-Pipelines werden als Python-Code konfiguriert, um die Generierung der Pipelines dynamisch zu gestalten.

Erweiterbar

Benutzer können Operatoren, Executoren und Bibliotheken erstellen, die für ihre spezifische Geschäftsumgebung geeignet sind.

Skalierbar

Der Dienst besitzt eine modulare Architektur und kann unendlich skaliert werden.

Was sind die Vorteile von Apache Airflow?

Zu den Vorteilen gehören die Möglichkeit der Automatisierung, eine aktive Community, die Visualisierung von Geschäftsprozessen sowie eine angemessene Überwachung und Kontrolle. Wir werden sie kurz durchgehen:

Community

Mehr als 1000 Personen wirken an dem Open-Source-Dienst mit und sorgen für eine regelmäßige Aktualisierung.

Visualisierung von Geschäftsprozessen

Apache ist ein perfektes Werkzeug, um sich einen Überblick über das eigene Workflow-Management zu verschaffen.

Automatisierung

Automatisierung macht die Arbeit der Dateningenieure einfacher und verbessert die Gesamtleistung.

Überwachung und Kontrolle

Das integrierte Warn- und Benachrichtigungssystem ermöglicht es, Verantwortlichkeiten festzulegen und Korrekturen vorzunehmen.

Anwendungsfälle für Apache Airflow

Der praktische Einsatz des Dienstes lässt sich anhand folgender Anwendungsfälle veranschaulichen:

Batch-Aufträge;
Planung und Orchestrierung von Arbeitsabläufen für ein bestimmtes Zeitintervall mittels Airflow;
ETL/ELT-Pipelines, die mit Batch-Daten arbeiten;
Pipelines, die Daten aus externen Quellen empfangen oder eine Datentransformation durchführen;
Training von Modellen für maschinelles Lernen und Auslösen von Aufträgen in SageMaker;
Erstellen von Berichten;
Backups von DevOps-Aufträgen und Speicherung der Ergebnisse in einem Hadoop-Cluster nach Ausführung eines Spark-Jobs.

Apache Airflow als Dienst

Zahlreiche Data-Engineering-Plattformen, die von Apache Airflow unterstützt werden, nutzen die grundlegende Logik und die Vorteile des Dienstes und fügen neue Funktionen hinzu, um spezifische Herausforderungen zu lösen. Sie können als Apache Airflow-Alternativen bezeichnet werden, da sie ähnliche Funktionen aufweisen:

Astro - eine Plattform zur Datenorchestrierung zum Erstellen, Ausführen und Beobachten von Pipelines.
Google Cloud Composer - eine Plattform für die Datenorchestrierung zur Erstellung, Planung und Steuerung von Pipelines.
Qubole - eine offene Data Lake-Plattform für maschinelles Lernen, Streaming und Ad-hoc-Analysen.

Amazon Managed Workflows für Apache Airflow - ein verwalteter Airflow-Workflow-Orchestrierungsdienst zum Einrichten und Betreiben von Datenpipelines auf Amazon Web Services (AWS).

Abschluss

Apache Airflow ist ein leistungsfähiges Werkzeug für das Data Engineering, das mit Diensten und Plattformen von Drittanbietern kompatibel ist. Die Migration zu Airflow verläuft reibungslos und problemlos und ist nicht von den Spezifikationen des Unternehmens abhängig.

Innowise verfügt über Erfahrung mit Apache Airflow und erstellt Lösungen zur Datenorchestrierung unabhängig von Komplexität und Umfang. Apache Airflow ist die perfekte Wahl, um die Kommunikation zwischen den Abteilungen zu verbessern und die Transparenz in den Arbeitsabläufen zu erhöhen.

Unsere Entwickler implementieren mit Apache Airflow ein kundenspezifisches modulares System, das die Arbeit mit großen Datenmengen erleichtert, die Arbeitsabläufe an die Geschäftsprozesse des Kunden anpasst und vollständig verwaltet, dabei lässt es sich auf die Besonderheiten Ihres Geschäftsumfelds abstimmen.

Vielen Dank für Ihre Bewertung!

Vielen Dank für Ihren Kommentar!

Dmitry Nazarevich CTO

Datum: Apr 12, 2025

Inhaltsübersicht

Bewerten Sie diesen Artikel:

★★★★★ 4/5

4.8/5 (37 bewertungen)

Kontakt aufnehmen

Anruf vereinbaren oder füllen Sie das untenstehende Formular aus und wir werden uns mit Ihnen in Verbindung setzen, sobald wir Ihre Anfrage bearbeitet haben.

Name

Unternehmen

E-Mail

Telefon

Nachricht

Senden Sie uns eine Sprachnachricht

Fügen Sie die Dokumente bei

Datei hochladen

Sie können 1 Datei mit bis zu 2 MB anhängen. Gültige Dateiformate: pdf, jpg, jpeg, png.

Durch Klicken auf Senden erklären Sie sich damit einverstanden, dass Innowise Ihre personenbezogenen Daten gemäß unserer Datenschutzrichtlinie verarbeitet, um Ihnen relevante Informationen zukommen zu lassen. Mit der Angabe Ihrer Telefonnummer erklären Sie sich damit einverstanden, dass wir Sie per Sprachanruf, SMS und Messaging-Apps kontaktieren. Es können Gebühren für Anrufe, Nachrichten und Datenübertragung anfallen.

Sie können uns auch kontaktieren
über contact@innowise.com

Wie geht es weiter?

Sobald wir Ihre Anfrage erhalten und bearbeitet haben, werden wir uns mit Ihnen in Verbindung setzen, um Ihre und unterzeichnen ein NDA, um die Vertraulichkeit zu gewährleisten.

Nachdem wir Ihre Wünsche, Bedürfnisse und Erwartungen geprüft haben, erstellt unser Team ein Projekt Projektvorschlag mit Arbeitsumfang, Teamgröße, Zeit- und Kostenvoranschlägen.

Wir vereinbaren einen Termin mit Ihnen, um das Angebot zu besprechen und die Details festzulegen.

Abschließend unterzeichnen wir einen Vertrag und beginnen sofort mit der Arbeit an Ihrem Projekt.

Fallstudien

Blog

Wie Data Analytics die Versicherungsbranche revolutioniert

Sehen Sie, wie fortschrittliche Analysen Versicherern helfen, Risiken vorherzusagen, Policen genau zu tarifieren und Betrug in Echtzeit aufzudecken.

Dmitry Nazarevich

Jun 16, 2025

Blog

Expertenleitfaden für die Modernisierung älterer Software im Gesundheitswesen

Die wichtigsten Schritte zur Aufrüstung älterer medizinischer Systeme bei gleichzeitiger Einhaltung von Vorschriften und Verbesserung der Patientenversorgung.

Aleh Yafimau

Mai 15, 2025

Blog

So verwandeln Sie alltägliche Daten in große Gewinne für Ihr Einzelhandelsgeschäft

Verstehen Sie, wie Einzelhändler BI nutzen, um die Nachfrage vorherzusagen, Angebote zu personalisieren und Abläufe zu optimieren.

Dmitry Nazarevich

Mai 12, 2025

Blog

KI-Proof-of-Concept (PoC)-Leitfaden zur Risikominderung

Stürzen Sie sich nicht blindlings in AI. Hier erfahren Sie, wie ein Konzeptnachweis Zeit und Geld spart.

Maksim Hodar

Mai 12, 2025

Blog

Decision Intelligence: die neue Ära der künstlichen Intelligenz

Sehen Sie, wie Unternehmen AI und Datenmodelle nutzen, um komplexe Entscheidungen im Finanzwesen, im Gesundheitswesen und in der Logistik zu automatisieren.

Dmitry Nazarevich

6. Mai 2025

Blog

Die Pyramide erklimmen: Wie man ein leistungsstarkes Softwareentwicklungsteam strukturiert

So baut man ein leistungsstarkes Entwicklungsteam auf

Lernen Sie die beste Struktur für Softwareteams kennen: wichtige Rollen, Arbeitsabläufe und Skalierungstipps für Startups und große Unternehmen.

Dmitry Nazarevich

29. April 2025

Blog

Die 11 besten CMS-Softwares für e-Commerce 2025

Vergleichen Sie die besten E-Commerce-CMS-Plattformen - Funktionen, Skalierbarkeit und welche Plattform für Ihr Unternehmen geeignet ist.

Dmitry Fedorov

29. April 2025

Blog

E-Commerce-App-Entwicklungskosten im Jahr 2025: Ein kompletter Leitfaden

Entdecken Sie die vollständige Aufschlüsselung der Kosten für E-Commerce-Anwendungen - von den Entwicklungsphasen bis hin zu den Preisen für Funktionen und versteckten Gebühren.

Eugene Shapovalov

Apr 28, 2025

Blog

Den modernen Softwareentwicklungslebenszyklus verstehen (SDLC)

Verstehen Sie, wie SDLC Teams hilft, Zeit, Kosten und Qualität in allen Phasen der Softwareentwicklung zu kontrollieren.

Dmitry Nazarevich

22. April 2025

Blog

Kleine Abdeckung Software Entwicklungstrends 2024

Kodierung der Zukunft: 14 Trends in der Softwareentwicklung, die Sie 2025 nicht ignorieren können

Explore the new wave of software development trends and see how they can enhance ROI and drive business growth.

Dmitry Nazarevich

Apr 21, 2025

Blog

Wie erstellt man ein SRS-Dokument?

Das Schreiben luftdichter Softwareanforderungen: Wichtige Abschnitte, bewährte Verfahren und zu vermeidende häufige Fehler.

Dmitry Nazarevich

Apr 8, 2025

Blog

Mit Big Data-Analysen Ihr Geschäft vorantreiben

Erschließen Sie Wachstum mit Big Data: prädiktive Analysen, Kundeneinblicke und betriebliche Effizienz.

Dmitry Nazarevich

Apr 8, 2025

Der ultimative Leitfaden zu Apache Airflow

Was ist Apache Airflow?

Einführung zu Apache Airflow

Wie funktioniert Apache Airflow?

DAG

Betreiber

Sensor

Haken

Planer

Webserver

Datenbank

Executor

Merkmale von Apache Airflow

Einfach zu bedienen

Offene Quelle

Einfache Integration

Benutzerfreundliche Oberfläche

Prinzipien in Apache Airflow

Dynamisch

Erweiterbar

Skalierbar

Was sind die Vorteile von Apache Airflow?

Community

Visualisierung von Geschäftsprozessen

Automatisierung

Überwachung und Kontrolle

Anwendungsfälle für Apache Airflow

Apache Airflow als Dienst

Inhaltsübersicht

Kontakt aufnehmen

Wie geht es weiter?

Fallstudien

Benötigen Sie andere Services?

Abonnement über unseren Newsletter

Abonnement
über unseren Newsletter