Kursplan
Introduksjon til Apache Airflow
- Hva er arbeidsflytstyring
- Viktige funksjoner og fordeler ved Apache Airflow
- Forbedringer i Airflow 2.x og oversikt over økosystemet
Arkitektur og sentrale begreper
- Skjeder, webtjener og arbeidereprosesser
- DAG-er, oppgaver og operatører
- Utførere og bakkender (Local, Celery, Kubernetes)
Installasjon og oppsett
- Installasjon av Airflow i lokale og skybaserte miljøer
- Konfigurering av Airflow med ulike utførere
- Oppsett av metadata-databaser og tilkoblinger
Navigasjon i Airflow UI og CLI
- Utforskning av Airflows grensesnitt for nett
- Overvåking av DAG-kjører, oppgaver og logger
- Bruk av Airflow CLI for administrasjon
Utarbeidelse og administrasjon av DAG-er
- Opprettelse av DAG-er med TaskFlow API
- Bruk av operatører, sensorer og kroker
- Administrasjon av avhengigheter og planleggingsintervaller
Integrering av Airflow med data- og skytjenester
- Tilkobling til databaser, API-er og beskjedskøer
- Kjøring av ETL-flyt med Airflow
- Skyintegrasjoner: AWS, GCP, Azure-operatører
Overvåking og synlighet
- Oppgaveloger og realtidsbasert overvåking
- Metrikker med Prometheus og Grafana
- Varsling og beskjeder med e-post eller Slack
Sikring av Apache Airflow
- Rollebasert tilgangskontroll (RBAC)
- Autentisering med LDAP, OAuth og SSO
- Håndtering av hemmeligheter med Vault og skybaserte sekretlagre
Skalering av Apache Airflow
- Parallelisering, konjunktivitet og oppgavakøer
- Bruk av CeleryExecutor og KubernetesExecutor
- Levering av Airflow på Kubernetes med Helm
Beste praksis for produksjon
- Versjonskontroll og CI/CD for DAG-er
- Testing og feilsøking av DAG-er
- Vedlikehold av pålitelighet og ytelse i stor skala
Feilsøking og optimalisering
- Feilsøking av mislykkede DAG-er og oppgaver
- Optimalisering av DAG-ytelse
- Vanlige fallgrupper og hvordan man unngår dem
Oppsummering og neste steg
Krav
- Erfaring med Python-programmering
- Kjent med dataengineering eller DevOps-konsepter
- Forståelse av ETL eller arbeidsflytstyring
Publikum
- Dataviter
- Dataingeniører
- DevOps- og infrastrukturteknikere
- Programvareutviklere
Referanser (7)
Instruktøren tilpasset opplæringen deltakerenes nivå og svarte på alle spørsmål. Han var meget kommunikativ, og det var lett å interagere med ham. Jeg verdset virkelig formatet for opplæringen, som inkluderte mange praktiske øvelser. Overordnet sett var det en veldig engasjerende og godt organisert sesjon.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Kurs - Apache Airflow: Building and Managing Data Pipelines
Maskinoversatt
Trekningen var akkurat riktig. Meget nyttig teori og øvelser.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maskinoversatt
Treneingen var perfekt i alle aspekter. Nyttige teoretiske aspekter og øvelser.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maskinoversatt
Treningen var perfekt på alle områder. Nyttige teoretiske aspekter og øvelser.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maskinoversatt
Treningen var perfekt i alle aspekter. Nyttige teoretiske aspekter og øvelser.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maskinoversatt
Treningen var perfekt i alle aspekter. Nyttige teoretiske aspekter og øvelser.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maskinoversatt
Treneningen var perfekt i alle aspekter. Nyttige teoretiske aspekter og øvelser.
Vladimir - PUBLIC COURSE
Kurs - Apache Airflow
Maskinoversatt
