Kursplan

Introduksjon til optimalisering av store modeller

  • Oversikt over store modellarkitekturer
  • Utfordringer med å finjustere store modeller
  • Viktigheten av kostnadseffektiv optimalisering

Distribuerte opplæringsteknikker

  • Introduksjon til data- og modellparallellisme
  • Rammer for distribuert opplæring: PyTorch og TensorFlow
  • Skalering over flere GPUer og noder

Modellkvantisering og beskjæring

  • Forstå kvantiseringsteknikker
  • Bruk beskjæring for å redusere modellstørrelsen
  • Avveininger mellom nøyaktighet og effektivitet

Maskinvareoptimalisering

  • Velge riktig maskinvare for finjusteringsoppgaver
  • Optimalisering GPU og TPU-utnyttelse
  • Bruk av spesialiserte akseleratorer for store modeller

Effektiv Data Management

  • Strategier for å administrere store datasett
  • Forbehandling og batching for ytelse
  • Teknikker for dataforsterkning

Implementering av optimaliserte modeller

  • Teknikker for å distribuere finjusterte modeller
  • Overvåking og vedlikehold av modellens ytelse
  • Eksempler fra den virkelige verden på optimalisert modellimplementering

Avanserte optimaliseringsteknikker

  • Utforsker lavrangstilpasning (LoRA)
  • Bruk av adaptere for modulær finjustering
  • Fremtidige trender innen modelloptimalisering

Sammendrag og neste trinn

Krav

  • Erfaring med rammeverk for dyp læring som PyTorch eller TensorFlow
  • Kjennskap til store språkmodeller og deres applikasjoner
  • Forståelse av distribuerte databehandlingskonsepter

Publikum

  • Maskinlæringsingeniører
  • Cloud AI-spesialister
 21 timer

Antall deltakere


Price per participant

Upcoming Courses

Related Categories