Intensive Databricks Data Engineering Immersive Treningskurs

Uke 1 — Introduksjon til Data Engineering

• Grunnleggende data engineering og moderne data-stacks
• Data-inntaksmønstre og kilder
• Begreper om batch vs streaming og brukstilfeller
• Hånds-på-lab: importering av prøvedata til sky-lagring

Uke 2 — Databricks Lakehouse Foundation Badge

• Grunnleggende prinsipper for Databricks-plattformen og navigering i arbeidsområde
• Delta Lake-begreper: ACID, tidsreise, og skjema-evolusjon
• Sikkerhet i arbeidsområde, tilgangskontroll og grunnleggende Unity Catalog
• Hånds-på-lab: opprettelse og administrasjon av Delta-tabeller

Uke 3 — Avansert SQL på Databricks

• Avanserte SQL-konstruksjoner og vindu-funksjoner på stor skala
• Forbedring av spørringer, forklaringsplaner og kostnadskonsiente mønstre
• Materialiserte visninger, caching, og ytelsestilpasning
• Hånds-på-lab: optimalisering av analytiske spørringer på store datasett

Uke 4 — Databricks Certified Developer for Apache Spark (Forberedelse)

• Spark-arkitektur, RDDs, DataFrames og Datasets på dypdyp
• Viktige Spark-transformasjoner og handlinger; ytelsesoverveielser
• Spark-streaming grunnleggende og strukturerte streaming-mønstre
• Prøveeksamenøvelser og praktiske testoppgaver

Uke 5 — Introduksjon til Data Modeling

• Begreper: dimensjonelt modellering, stjerne/skjemadesign og normalisering
• Lakehouse-modellering vs tradisjonelle lagringshus-tilnærminger
• Designmønstre for analyseredy datasett
• Hånds-på-lab: bygging av forbruksklare tabeller og visninger

Uke 6 — Introduksjon til Import-verktøy og automatisering av Data Inntak

• Koblinger og inntaksverktøy for Databricks (AWS Glue, Data Factory, Kafka)
• Stream-inntaksmønstre og mikro-batch-utforminger
• Data-validering, kvalitetssjekker og skjema-håndheving
• Hånds-på-lab: bygging av robuste inntaks-rørledninger

Uke 7 — Introduksjon til Git Flow og CI/CD for Data Engineering

• Git Flow-greiningstrategier og organisering av repository
• CI/CD-rørledninger for notebooks, oppgaver og infrastruktur som kode
• Testing, linting og automatisering av deployering for data-kode
• Hånds-på-lab: implementering av Git-basert arbeidsflyt og automatisk jobb-deployering

Uke 8 — Databricks Certified Data Engineer Associate (Forberedelse) & Data Engineering Patterns

• Sertifiseringsemne gjennomgang og praktiske øvelser
• Arkitekturmønstre: bronse/sølv/gull, CDC, sakte endringsdimensjoner
• Operasjonelle mønstre: overvåking, varsling og linje
• Hånds-på-lab: end-to-end-rørledning med bruk av engineering-mønstre

Uke 9 — Introduksjon til Airflow og Astronomer; Skripting

• Airflow-begreper: DAGs, oppgaver, operatører og planlegging
• Astronomer-plattform oversikt og best praksis for orkestrering
• Skripting for automatisering: Python-skripting-mønstre for data-oppgaver
• Hånds-på-lab: orkestrering av Databricks-jobb med Airflow DAGs

Uke 10 — Data Visualisering, Tableau, og Tilpasset Avsluttende Projekt

• Kobling av Tableau til Databricks og best praksis for BI-lag
• Designprinsipper for dashboards og ytelsesbevisste visualiseringer
• Capstone: tilpasset avsluttende prosjekt avgrensning, implementering og presentasjon
• Avsluttende presentasjoner, felle vurdering og instruktør-tilbakemelding

Oppsummering og Neste Skritt