Takk for at du sendte din henvendelse! En av våre teammedlemmer vil kontakte deg straks.
Takk for at du sendte din bestilling! En av våre teammedlemmer vil kontakte deg straks.
Varighet 14 timer
Kursplan
Forberedelse av maskinlæringsmodeller for implementasjon
- Pakking av modeller med Docker
- Eksport av modeller fra TensorFlow og PyTorch
- Overveier for versjonering og lagring
Modellservering på Kubernetes
- Øversikt over inferensservere
- Implementering av TensorFlow Serving og TorchServe
- Innstillinger for modellendepunkter
Optimaliseringsteknikker for inferens
- Strategier for partier
- Håndtering av samtidige forespørsler
- Tuning av responsivitet og gjennomstrømning
Autoskalering av ML-arbeidsbelastninger
- Horizontal Pod Autoscaler (HPA)
- Vertical Pod Autoscaler (VPA)
- Kubernetes Event-Driven Autoscaling (KEDA)
GPU-tilordning og ressursforvaltning
- Konfigurasjon av GPU-noder
- Øversikt over NVIDIA enhetsprogramvare
- Ressursforespørsler og grenser for ML-arbeidsbelastninger
Modellerullering og utgivelsesstrategier
- Blå/grønn implementasjon
- Kanarieut rulingsmønstre
- A/B-tester for modellvurdering
Overvåking og observabilitet for ML i produksjon
- Målinger for inferensarbeidsbelastninger
- Logg- og sporingspraktisk
- Dashboards og varsler
Overveier for sikkerhet og pålitelighet
- Sikkerhet for modellendepunkter
- Nettverkspolicyer og tilgangskontroll
- Sikre høy tilgjengelighet
Oppsummering og neste steg
Krav
- Forståelse for kontaingerbaserte applikasjonsflyter
- Erfaring med Python-baserte maskinlæringsmodeller
- Kjennskap til Kubernetes-grunnleggende
Målgruppe
- ML-ingeniører
- DevOps-ingeniører
- Plattformingeniørdeler
Referanser (1)
Jeg liker Kubernetes-delen av opplæringen, siden jeg har hatt noen oppgaver knyttet til K8s-pods og porter, og det er flott å få et bedre innblikk i disse områdene nå. Takk!
Laura Miron - Betfair
Kurs - Docker and Kubernetes
Maskinoversatt