Ta kontakt

Kursplan

Forbereder maskinlæringsmodeller for distribusjon

  • Pakker modeller med Docker
  • Eksporterer modeller fra TensorFlow og PyTorch
  • Versjonering og lagringsmessige overveielser

Modellkjøring på Kubernetes

  • Oversikt over inferens-servere
  • Distribuerer TensorFlow Serving og TorchServe
  • Oppsetter modellendepunkter

Inferensoptimaliseringsteknikker

  • Batching-strategier
  • Håndtering av parallellforespørsler
  • Latens- og throughput-justering

Autoskalering av ML-arbeidsbelastninger

  • Horisontal Pod Autoscaler (HPA)
  • Vertikal Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

GPU-leveranse og ressursadministrasjon

  • Konfigurerer GPU-noder
  • NVIDIA device plugin oversikt
  • Ressursforespørsler og grenser for ML-arbeidsbelastninger

Modellutgivelse og utgivelsesstrategier

  • Blue/green-utgivelser
  • Canary-utgivelsesmønstre
  • A/B-testing for modellevurdering

Monitoring og observabilitet for ML i produksjon

  • Metricer for inferens-arbeidsbelastninger
  • Loggføring og sporing praksis
  • Dashboard og varsel

Sikkerhets- og pålitelighetsmessige overveielser

  • Sikrer modellendepunkter
  • Nettverksregler og tilgangskontroll
  • Sikrer høy tilgjengelighet

Oppsummering og neste steg

Krav

  • Forståelse av kontainerbaserte applikasjonsarbeidsflyter
  • Erfaring med Python-baserte maskinlæringsmodeller
  • Vanlighet med Kubernetes-fundament

Målgruppe

  • ML-ingeniører
  • DevOps-ingeniører
  • Platform engineering-team
 14 Timer

Antall deltakere


Pris per deltaker

Referanser (3)

Kommende kurs

Relaterte kategorier