5 min lesing

Den ultimate guiden til Apache Airflow

BI og dataanalyse

Guide

Python

Hva er Apache Airflow?

Apache Airflow er et verktøy for visuelt å opprette, organisere og overvåke arbeidsflyter og starte oppgavekjeder (pipelines) for å behandle, lagre og visualisere data. Apache Software Foundation eier plattformen som fortsatt er i inkubatorfasen med 1000 bidragsytere på GitHub og 13 000 stjerner.

Apache Airflow introduksjon

Apache Airflow er en robust, åpen kildekode, Python-skrevet tjeneste som brukes av dataingeniører for å organisere arbeidsflyter og rørledninger ved å markere rørledningers avhengigheter, kode, logger, utløsende oppgaver, fremdrift og suksessstatus for å feilsøke problemer ved behov. </span

Hvis oppgaven fullføres eller mislykkes, er denne fleksible, skalerbare og kompatible med eksterne dataløsninger i stand til å sende varsler og meldinger via Slack eller e-post. Apache legger ingen begrensninger på hvordan arbeidsflyten skal se ut og har et brukervennlig grensesnitt for å spore og kjøre jobber på nytt.

Hvordan fungerer Apache Airflow?

Rørledninger beskrives ved bruk av kjerneelementer i Apache:

DAG

Hjørnesteinen i teknologien er beskrevet ved hjelp av rettede acykliske grafer (DAG). Denne modellen er en graf som ikke har sykluser, men har parallelle baner som kommer fra samme batch. Med enkle ord er DAG en enhet som kombinerer oppgaver avhengig av datapipelinen der avhengigheten mellom applikasjoner er tydelig manifestert.

Oppgave E er den siste oppgaven i DAG som avhenger av at de foregående oppgavene til venstre er fullført.

Operatør

En operatør er et eget element i oppgavekjeden (pipeline). Ved hjelp av disse elementene beskriver utviklerne hvilken oppgave som skal utføres. Apache Airflow har en liste over forhåndsdefinerte operatører som inkluderer:

PythonOperator utfører Python-kode
BashOperator utfører bash-skript/kommandoer.
PostgresOperator kaller SQL-spørringer i PostgreSQL
RedshiftToS3Transfer kjører UNLOAD-kommandoer fra Redshift til S3.
EmailOperator sender e-post

Oppgaver og operatører brukes noen ganger om hverandre, men vi antar at de er forskjellige begreper der operatører fungerer som mønstre for å generere oppgaver.

Sensor

Sensoren er en variant av en operatør som finner implementering i hendelsesdrevne rørledninger. Eksempler:

PythonSensor venter på at funksjonen skal returnere True
S3Sensor kontrollerer tilgjengeligheten av objektet ved hjelp av nøkkelen i S3-bøtten.

Krok

Hooks er tredjepartstjenester som samhandler med eksterne plattformer (databaser og API-ressurser). Hooks skal ikke ha sårbar informasjon for å forhindre datalekkasje.

Planlegger

Den overvåker alle DAG-ene, håndterer arbeidsflyter og sender jobber til Executor.

Webserver

Webserveren spiller rollen som Apache Airflow-brukergrensesnitt. Den bidrar til å spore oppgavenes status og fremdrift og loggføre data fra eksterne depotinstitusjoner.

Database

All relevant informasjon lagres der (oppgaver, tidsplanperioder, statistikk fra hver sprint osv.).

Utfører

Utføreren kjører oppgaver og skyver dem til arbeidstakere.

La oss til slutt demonstrere hvordan Apache fungerer på et enkelt eksempel. For det første reviderer Apache alle DAG-ene i bakgrunnen. Hastende oppgaver som må fullføres, får merket SCHEDULED i databasen. Scheduler henter oppgaver fra databasen og distribuerer dem til Executors. Deretter får oppgavene statusen KØET, og når arbeiderne begynner å utføre dem, får jobben statusen KJØRT. Når oppgaven er fullført, angir arbeidstakeren den som fullført/ikke fullført, avhengig av sluttresultatets suksess, og planleggeren oppdaterer statusen i databasen.

Apache Airflow-funksjoner

Nedenfor viser vi de mest spennende funksjonene i Apache Airflow.

Enkel å betjene

Grunnleggende Python-kunnskaper er det eneste kravet for å bygge løsninger på plattformen.

Åpen kilde

Tjenesten er gratis og har mange aktive brukere over hele verden.

Enkel integrering

Man kan sømløst arbeide med komplementære produkter fra Microsoft Azure, Google Cloud Platform, Amazon AWS osv.

Brukervennlig brukergrensesnitt

Du kan spore status for planlagte og pågående oppgaver i sanntid.

Apache Airflow-prinsipper

Lær om de grunnleggende Apache Airflow-prinsippene nedenfor.

Dynamisk

Luftstrømningsrørledninger er konfigurert som Python-kode for å gjøre produksjonen av rørledninger dynamisk.

Kan utvides

Brukere kan opprette definerte operatører, eksekutører og biblioteker som passer for deres spesifikke forretningsmiljø.

Skalerbar

Tjenesten krasjer ikke siden den har en modulær arkitektur og kan skaleres i det uendelige.

Hva er fordelene med Apache Airflow?

De inkluderer automatisering, fellesskap, visualisering av forretningsprosesser, samt riktig overvåking og kontroll. Vi vil kort gå gjennom dem alle.

Fellesskapet

Det er mer enn 1000 bidragsytere til tjenesten med åpen kildekode. De deltar jevnlig i oppgraderingen av den.

Visualisering av forretningsprosesser

Apache er et perfekt verktøy for å generere et "større bilde" av ens arbeidsflytstyringssystem.

Automatisering

Automatisering gjør jobben til dataingeniørene enklere og forbedrer den generelle ytelsen.

Overvåking og kontroll

Det innebygde varslings- og varslingssystemet gjør det mulig å fastsette ansvarsområder og gjennomføre korrigeringer.

Bruksområder for Apache Airflow

Tjenestens praktiske effektivitet kan vises i følgende brukstilfeller:

Batchjobber;
Planlegging og orkestrering av datapipeline-arbeidsflyter med Airflow for et bestemt tidsintervall;
ETL/ELT-rørledninger som arbeider med batchdata;
Rørledninger som mottar data fra eksterne kilder eller utfører datatransformasjon;
Apache Airflow for treningsmodeller for maskinlæring og utløsing av jobber i SageMaker;
Generere rapporter;
Sikkerhetskopiering fra DevOps-jobber og lagring av resultatene i en Hadoop-klynge etter utførelse av en Spark-jobb.

Apache Airflow som en tjeneste

Mange datatekniske plattformer som drives av Airflow, bruker tjenestens grunnleggende logikk og fordeler og legger til nye funksjoner for å løse spesifikke utfordringer. De kan kalles Apache Airflow-alternativer siden de har ganske lik funksjonalitet:

Astro - en dataorkestreringsplattform for å opprette, kjøre og observere rørledninger.
Google Cloud Composer - en dataorkestreringsplattform for å bygge, planlegge og kontrollere rørledninger.
Qubole - en åpen datasjøplattform for maskinlæring, strømming og ad hoc-analyse.

Amazon Managed Workflows for Apache Airflow - en administrert Airflow-arbeidsflytorkestreringstjeneste for å sette opp og drive datapipelines på Amazon Web Services (AWS).

Konklusjon

Apache er et kraftig verktøy for datateknikk som er kompatibelt med tredjeparts tjenester og plattformer. Migrering til Airflow er smidig og problemfri uavhengig av virksomhetens størrelse og spesifikasjoner.

Innowise leverer dyp Apache-ekspertise av enhver kompleksitet og omfang. Apache Airflow er et perfekt valg for å bringe orden hvis en kunde lider av dårlig kommunikasjon mellom avdelinger og søker etter mer åpenhet i arbeidsflyten.

Våre dyktige utviklere vil implementere et svært tilpasset modulært system som forbedrer driften med stordata og gjør Airflow-prosesser fullstendig administrert og tilpasningsdyktig til forretningsmiljøets særegenheter.

Takk for din vurdering!

Takk for din kommentar!

Dmitry Nazarevich CTO

Dato: 12. august 2022

Innholdsfortegnelse

Ranger denne artikkelen:

★★★★★ 4/5

4.8/5 (45 anmeldelser)

Relatert innhold

Blogg

Maksimerer pasientbehandlingen: Fordelene med dataanalyse i helsevesenet

Blogg

Den ultimate guiden til de beste CMS-plattformene for e-handel i 2024

Blogg

Utviklingstrender for programvare for små omslag 2024

Koding av fremtiden: 14 trender innen programvareutvikling du ikke kan ignorere i 2024

Blogg

Dataanalysens rolle i å revolusjonere forsikringsbransjen

Blogg

Tokenisering av eiendom: fremtiden for eiendomseiendommer

Blogg

Smart landbruk: landbrukets fremtid

Blogg

Alt du bør vite om SDLC: faser, fordeler og mer

Blogg

Klatring i pyramiden: hvordan strukturere et programvareutviklingsteam med høy ytelse

Hvordan strukturere et høytytende programvareutviklingsteam

Blogg

Tilnærminger til en bedre cloudmigrasjon

Blogg

Beslutningsintelligens: den nye æraen med kunstig intelligens

Blogg

Kunstig intelligens i helsevesenet

Blogg

Datavitenskap vs. dataanalyse: Forstå forskjellene

Har du gitt oss en utfordring?

Hva skjer videre?

Etter at vi har mottatt og behandlet forespørselen din, vil vi komme tilbake til deg innen kort tid for å beskrive prosjektbehovene dine og undertegne en taushetserklæring for å sikre informasjonens konfidensialitet.

Etter å ha undersøkt kravene, utarbeider våre analytikere og utviklere en prosjektforslag med arbeidsomfang, teamstørrelse, tid og kostnader estimater.

Vi arrangerer et møte med deg for å diskutere tilbudet og komme til en avtale.

Vi signerer en kontrakt og begynner å jobbe med prosjektet ditt så raskt som mulig.