Kursplan

Forberede maskinlæringsmodeller for deployering

  • Pakke modeller med Docker
  • Eksportere modeller fra TensorFlow og PyTorch
  • Versionering og lagringsbetraktninger

Modellservering på Kubernetes

  • Oversikt over inferensservers
  • Deploye TensorFlow Serving og TorchServe
  • Sette opp modellendepunkter

Inferensoptimaliseringsmetoder

  • Batching-strategier
  • Håndtering av samtidige forespørsler
  • Latens- og gjennomstrømningstilpasning

Autoscaling av ML-workloads

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

GPU-provisionering og ressursstyring

  • Konfigurere GPU-noder
  • Oversikt over NVIDIA enhetsplugin
  • Ressursforespørsler og grenser for ML-workloads

Modellrollut- og frigivelsesstrategier

  • Blue/green deployments
  • Canary rollout-mønstre
  • A/B-testing for modellvurdering

Overvåking og observabilitet for ML i produksjon

  • Metrikker for inferensworkloads
  • Logg- og sporingspraksiser
  • Dashboards og alarmering

Sikkerhets- og pålitelighetsbetraktninger

  • Sikring av modellendepunkter
  • nettverkspolicyer og tilgangskontroll
  • Sikre høy disponibilitet

Oppsummering og neste trinn

Krav

  • Forståelse av containeriserte applikasjonsworkflows
  • Erfaring med Python-baserte maskinlæringsmodeller
  • Kjennskap til Kubernetes-fundamentalene

Målgruppe

  • ML-ingeniører
  • DevOps-ingeniører
  • Plattform Ingeniøerteams
 14 Timer

Antall deltakere


Pris per deltaker

Referanser (5)

Kommende kurs

Relaterte kategorier