Ta kontakt
 Varighet 14 timer

Kursplan

Innføring til Mistral i stor skala

  • oversikt over Mistral Medium 3
  • Kompromisser mellom ytelse og kostnad
  • Vurderinger for enterprise-skala

Leveringsmønstre for LLM-er

  • Serveringsarkitekturer og designvalg
  • På-server mot skyleveranser
  • Hybride og multi-cloud-strategier

Optimaliseringsteknikker for inferens

  • Batching-strategier for høy gjennomstrømning
  • Kvantiseringsmetoder for å redusere kostnader
  • Utnytting av akseleratorer og GPU-er

Skalerbarhet og pålitelighet

  • Skalering av Kubernetes-kluster for inferens
  • Lastbalansering og trafikkretning
  • Feiltilsvar og redundans

Rammeverk for kostingsingeniøring

  • Måling av inferens-kostnadseffektivitet
  • Passende dimensjonering av beregnings- og minneresurser
  • Overvåking og varsling for optimalisering

Sikkerhet og samsvar i produksjon

  • Sikring av leveranser og API-er
  • Vurderinger for datagjennomgang
  • Regulatorisk samsvar i kostningsingeniøring

Kasusstudier og beste praksis

  • Referansearkitekturer for Mistral i stor skala
  • Lærdommer fra enterprise-leveranser
  • Trender i effektiv LLM-inferens i fremtiden

Oppsummering og neste steg

Krav

  • God forstand på utlevering av maskinlæringsmodeller
  • Erfaring med skyinfrastruktur og distribuerte systemer
  • Kjennskap til prestanda-optimalisering og kostnadsoptimaliseringsstrategier

Publikum

  • Infrastrukturingeniører
  • Skyarkitekter
  • MLOps-ledere

Antall deltakere


Pris per deltaker

Kommende kurs

Relaterte kategorier