Kursplan
Forbereder maskinlæringsmodeller for distribusjon
- Pakker modeller med Docker
- Eksporterer modeller fra TensorFlow og PyTorch
- Versjonering og lagringsmessige overveielser
Modellkjøring på Kubernetes
- Oversikt over inferens-servere
- Distribuerer TensorFlow Serving og TorchServe
- Oppsetter modellendepunkter
Inferensoptimaliseringsteknikker
- Batching-strategier
- Håndtering av parallellforespørsler
- Latens- og throughput-justering
Autoskalering av ML-arbeidsbelastninger
- Horisontal Pod Autoscaler (HPA)
- Vertikal Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
GPU-leveranse og ressursadministrasjon
- Konfigurerer GPU-noder
- NVIDIA device plugin oversikt
- Ressursforespørsler og grenser for ML-arbeidsbelastninger
Modellutgivelse og utgivelsesstrategier
- Blue/green-utgivelser
- Canary-utgivelsesmønstre
- A/B-testing for modellevurdering
Monitoring og observabilitet for ML i produksjon
- Metricer for inferens-arbeidsbelastninger
- Loggføring og sporing praksis
- Dashboard og varsel
Sikkerhets- og pålitelighetsmessige overveielser
- Sikrer modellendepunkter
- Nettverksregler og tilgangskontroll
- Sikrer høy tilgjengelighet
Oppsummering og neste steg
Krav
- Forståelse av kontainerbaserte applikasjonsarbeidsflyter
- Erfaring med Python-baserte maskinlæringsmodeller
- Vanlighet med Kubernetes-fundament
Målgruppe
- ML-ingeniører
- DevOps-ingeniører
- Platform engineering-team
Referanser (4)
basiskunnskap om container/Kubernetes og hvordan de samhandler erkjennelige funksjoner i OpenShift-plattformen
Eric Scholze - NOW IT GmbH
Kurs - Introduction to Containers, Kubernetes & OpenShift
Maskinoversatt
Om mikrotjenester og hvordan vedlikeholde Kubernetes
Yufri Isnaini Rochmat Maulana - Bank Indonesia
Kurs - Advanced Platform Engineering: Scaling with Microservices and Kubernetes
Maskinoversatt
Hvordan treneren effektivt overfører kunnskap
Vu Thoai Le - Reply Polska sp. z o. o.
Kurs - Certified Kubernetes Administrator (CKA) - exam preparation
Maskinoversatt
Kunnskappen og utbytten med Augustin
Laurent - L'Office national des vacances annuelles (ONVA)
Kurs - Docker and Kubernetes
Maskinoversatt