Kursplan

Introduksjon til Mistral i Stor Skala

  • Oversikt over Mistral Medium 3
  • Ytelse vs kostnadsavveininger
  • Betraktninger for bedriftsstor skala

Distribusjonsmønstre for LLMs

  • Tjenestetopologier og designvalg
  • Lokale vs skybaserte distribusjoner
  • Hybrid- og multi-skystrategier

Optimeringsteknikker for Inferens

  • Batch-strategier for høy gjennomstrømning
  • Kvantiseringsmetoder for kostnadsreduksjon
  • Bruk av akseleratorer og GPUs

Skalerbarhet og pålitelighet

  • Skalering av Kubernetes-kluster for inferens
  • Lastfordeling og trafikkruting
  • Feiltoleranse og redundans

Kostnadsingeniøringsrammeverk

  • Måling av inferenskostnadseffektivitet
  • Riktig dimensjonering av beregnings- og minneressurser
  • Overvåking og varsling for optimalisering

Sikkerhet og Samtykke i Produksjon

  • Sikring av distribusjoner og APIer
  • Betraktninger for datastyring
  • Reguleringskompatibilitet i kostnadsingeniøring

Case Studies og Beste Praktiser

  • Referansearkitekturer for Mistral i stor skala
  • Læringspunkter fra bedriftsdistribusjoner
  • Fremtidige trender i effektiv LLM-inferens

Oppsummering og Næste Skritt

Krav

  • God forståelse av distribusjon av maskinlæringsmodeller
  • Erfaring med skyinfrastruktur og fordelte systemer
  • Kjennskap med metoder for ytelsestuning og kostnadsoptimalisering

Målgruppe

  • Infrastrukturingeniører
  • Skyarkitekter
  • MLOps-ledere
 14 timer

Antall deltakere


Pris per deltaker

Kommende kurs

Relaterte kategorier