Ta kontakt

Kursplan

Innføring til Mistral i stor skala

  • oversikt over Mistral Medium 3
  • Avveining mellom ytelse og kostnad
  • Overveielser for enterprise-skala

Utgivelsesmønster for LLM-er

  • Utgivelsesarkitekturer og designvalg
  • På stedet vs. sky-implementering
  • Hybrid- og multi-cloud-strategier

Inferensoptimeringsteknikker

  • Batching-strategier for høyt gjennomløp
  • Kvantiseringsmetoder for kostnedsreduksjon
  • Akselerator- og GPU-utnyttelse

Skalerbarhet og pålitelighet

  • Skalering av Kubernetes-kluster for inferens
  • Lastbalansering og trafikkretning
  • Felttoleranse og redundans

Kostningsingeniørramverv

  • Måling av inferens-kostnadseffektivitet
  • Riktig dimensjonering av beregnings- og minneverv
  • Overvåking og varsling for optimalisering

Sikkerhet og samsvar i produksjon

  • Sikkerhet for implementeringer og API-er
  • Overveielser for datastyre
  • Regulatorisk samsvar i kostningsingeniøring

Kasestudier og beste praksis

  • Referansearkitekturer for Mistral i stor skala
  • Leksoner fra enterprise-implementeringer
  • Fremtidstrender i effektiv LLM-inferens

Oppsummering og neste steg

Krav

  • Stærk forståelse av utgivelse av maskinlæringsmodeller
  • Erfaring med skyinfrastruktur og distribuerte systemer
  • Kjennskap til ytelsesjustering og kostnadsoptimeringsstrategier

Publikum

  • Infrastrukturteknikere
  • Cloud-arkitekter
  • MLOps-ledere
 14 Timer

Antall deltakere


Pris per deltaker

Kommende kurs

Relaterte kategorier