Kursplan
Forberede maskinlæringsmodeller for deployering
- Pakke modeller med Docker
- Eksportere modeller fra TensorFlow og PyTorch
- Versionering og lagringsbetraktninger
Modellservering på Kubernetes
- Oversikt over inferensservers
- Deploye TensorFlow Serving og TorchServe
- Sette opp modellendepunkter
Inferensoptimaliseringsmetoder
- Batching-strategier
- Håndtering av samtidige forespørsler
- Latens- og gjennomstrømningstilpasning
Autoscaling av ML-workloads
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
GPU-provisionering og ressursstyring
- Konfigurere GPU-noder
- Oversikt over NVIDIA enhetsplugin
- Ressursforespørsler og grenser for ML-workloads
Modellrollut- og frigivelsesstrategier
- Blue/green deployments
- Canary rollout-mønstre
- A/B-testing for modellvurdering
Overvåking og observabilitet for ML i produksjon
- Metrikker for inferensworkloads
- Logg- og sporingspraksiser
- Dashboards og alarmering
Sikkerhets- og pålitelighetsbetraktninger
- Sikring av modellendepunkter
- nettverkspolicyer og tilgangskontroll
- Sikre høy disponibilitet
Oppsummering og neste trinn
Krav
- Forståelse av containeriserte applikasjonsworkflows
- Erfaring med Python-baserte maskinlæringsmodeller
- Kjennskap til Kubernetes-fundamentalene
Målgruppe
- ML-ingeniører
- DevOps-ingeniører
- Plattform Ingeniøerteams
Referanser (3)
Om mikrotjenester og hvordan vedlikeholde Kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Kurs - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Maskinoversatt
Hvordan treneren effektivt overfører kunnskap
Vu Thoai Le - Reply Polska sp. z o. o.
Kurs - Certified Kubernetes Administrator (CKA) - exam preparation
Maskinoversatt
Viden og tålmodigheten til instruktøren for å svare på spørsmålene våre.
Calin Avram - REGNOLOGY ROMANIA S.R.L.
Kurs - Deploying Kubernetes Applications with Helm
Maskinoversatt