Ta kontakt

Kursplan

Inntilgang til Mistral i stor skala

  • Oversikt over Mistral Medium 3
  • Ytelse vs kostnadshandlinger
  • Bidrag til bedriftsskala

Utplasseringsmønstre for LLMs

  • Serveringstopologier og desigvalg
  • På plassering vs skyutplasseringer
  • Hybrid og multi-skystrategier

Inferensoptimeringsteknikker

  • Batching-strategier for høy gjennomstrømning
  • Kvantisering metoder for kostnadsredusering
  • Accelerator og GPU-bruk

Skalering og pålitelighet

  • Skalering av Kubernetes-klyster for inferens
  • Lastbalansering og trafikkstyring
  • Felstolerance og redundans

Kostnadsteknikkrammer

  • Måling av inferenskostnadseffektivitet
  • Riktig dimensjonering av beregnings- og minneressurser
  • Overvåking og varsling for optimalisering

Sikkerhet og overholdelse i produksjon

  • Sikre utplasseringer og API-er
  • Dataforvaltningsvurderinger
  • Regulatorisk overholdelse i kostnadsteknikk

Tilfeller og beste praksiser

  • Referansearkitekturer for Mistral i stor skala
  • Lessons learned fra bedriftsutplasseringer
  • Fremtidige trender i effektiv LLM-inferens

Oppsummering og neste steg

Krav

  • Stærk forståelse av maskinlæringsmodeller for utplassering
  • Erfaring med skyinfrastruktur og distribuerte systemer
  • Kjent med ytelsesjustering og kostnadsoptimeringsstrategier

Målgruppe

  • Infrastrukturingeniører
  • Skyarkitekter
  • MLOps-ledere
 14 Timer

Antall deltakere


Pris per deltaker

Kommende kurs

Relaterte kategorier