Kursplan
Forberede maskinlæringsmodeller for deployering
- Pakke modeller med Docker
- Eksportere modeller fra TensorFlow og PyTorch
- Versionering og lagringsbetraktninger
Modellservering på Kubernetes
- Oversikt over inferensservers
- Deploye TensorFlow Serving og TorchServe
- Sette opp modellendepunkter
Inferensoptimaliseringsmetoder
- Batching-strategier
- Håndtering av samtidige forespørsler
- Latens- og gjennomstrømningstilpasning
Autoscaling av ML-workloads
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
GPU-provisionering og ressursstyring
- Konfigurere GPU-noder
- Oversikt over NVIDIA enhetsplugin
- Ressursforespørsler og grenser for ML-workloads
Modellrollut- og frigivelsesstrategier
- Blue/green deployments
- Canary rollout-mønstre
- A/B-testing for modellvurdering
Overvåking og observabilitet for ML i produksjon
- Metrikker for inferensworkloads
- Logg- og sporingspraksiser
- Dashboards og alarmering
Sikkerhets- og pålitelighetsbetraktninger
- Sikring av modellendepunkter
- nettverkspolicyer og tilgangskontroll
- Sikre høy disponibilitet
Oppsummering og neste trinn
Krav
- Forståelse av containeriserte applikasjonsworkflows
- Erfaring med Python-baserte maskinlæringsmodeller
- Kjennskap til Kubernetes-fundamentalene
Målgruppe
- ML-ingeniører
- DevOps-ingeniører
- Plattform Ingeniøerteams
Referanser (5)
Interaktivitet, ikke lesning av sider hele dagen
Emilien Bavay - IRIS SA
Kurs - Kubernetes Advanced
Maskinoversatt
han var tålmodig og forstod at vi ble bakke
Albertina - REGNOLOGY ROMANIA S.R.L.
Kurs - Deploying Kubernetes Applications with Helm
Maskinoversatt
Treneningen var mer praktisk
Siphokazi Biyana - Vodacom SA
Kurs - Kubernetes on AWS
Maskinoversatt
Lære om Kubernetes.
Felix Bautista - SGS GULF LIMITED ROHQ
Kurs - Kubernetes on Azure (AKS)
Maskinoversatt
Det ga en god grunnleggende forståelse av Docker og Kubernetes.
Stephen Dowdeswell - Global Knowledge Networks UK
Kurs - Docker (introducing Kubernetes)
Maskinoversatt