PySpark Kurs i Oslo

I denne instruktørguidede liveopplæringen i Oslo, vil deltakerne lære hvordan de kan bruke Python og Spark sammen til å analysere big data, gjennom praktiske øvelser.

Når opplæringen er ferdig, vil deltakerne være i stand til:

• Å lære hvordan man bruker Spark sammen med Python til å analysere Big Data.
• Å jobbe med øvelser som etterlikner tilfeller fra virkeligheten.
• Å bruke ulike verktøy og teknikker for big data-analyse ved hjelp av PySpark.

Denne undervisningsledete, live-opplæringen (online eller på stedet) er rettet mot dataingeniører, dataanalytikere og fagpersoner innen dataprofessjon som ønsker å bruke Databricks og PySpark til å bygge skalerbare datapipelines og migrere eksisterende SQL-arbeidsflyter.

Denne opplæringen gir en praktisk innføring i å bygge skalerbare databehandlings- og maskinlæringsarbeidsflyter ved hjelp av PySpark. Deltakerne lærer hvordan Apache Spark fungerer i moderne Big Data-ekosystemer, og hvordan man effektivt behandler store datasett ved hjelp av prinsippene for distribuert datateknikk.

Dette tre-dagers praktiske kurset fokuserer på å bygge og optimalisere effektive databehandlingsarbeidsflyter ved hjelp av PySpark, Pandas og Polars i Kubernetes-baserte miljøer.

Deltakerne vil utvikle en praktisk forståelse av hvordan Spark-applikasjoner kjører på Kubernetes, og hvordan konfigurasjonsvalg på applikasjonsnivå påvirker ytelse, skalerbarhet, ressursforbruk og kostnader. Kurset dekker viktige optimaliseringsområder, inkludert executor-størrelse, minneallokering, dynamisk allokering, partisjoneringsstrategier, shuffle-opptreden, problemer med små filer og effektiv Parquet-behandling.

Kurset adresserer også vanlige utfordringer ved bruk av Pandas, inkludert minnebegrensninger og minnefeil (out-of-memory), og introducerer Polars som et høytytende alternativ for utvalgte databehandlingsoppgaver. Gjennom praktiske øvelser vil deltakerne diagnostisere ytelses- og minneproblemer, sammenligne ulike konfigurasjonsstrategier og anvende optimaliseringsteknikker på realistiske ETL- og maskinlærings scenarioer.

Fokus i hele kurset ligger på praktisk beslutningstaking: å forstå hvordan man identifiserer flaskehalser, velger riktig verktøy, konfigurerer Spark effektivt og balanserer ytelse mot infrastrukturressursforbruk og kostnader.