Kursplan

Introduksjon

    Oversikt over skaleringsutfordringer for dyp læring Oversikt over DeepSpeed og dens funksjoner DeepSpeed vs. andre distribuerte dyplæringsbiblioteker

Starter

    Sette opp utviklingsmiljøet Installere PyTorch og DeepSpeed Konfigurere DeepSpeed for distribuert opplæring

DeepSpeed Optimization funksjoner

    DeepSpeed treningspipeline ZeRO (minneoptimalisering) Aktiveringskontrollpunkt Gradientkontrollpunkt Pipelineparallellisme

Skalering av modeller med DeepSpeed

    Grunnleggende skalering ved hjelp av DeepSpeed Avanserte skaleringsteknikker Ytelseshensyn og beste praksis Feilsøkings- og feilsøkingsteknikker

Avanserte DeepSpeed-emner

    Avanserte optimaliseringsteknikker Bruke DeepSpeed med blandet presisjonstrening DeepSpeed på forskjellig maskinvare (f.eks. GPUs, TPUer) DeepSpeed med flere treningsnoder

Integrering av DeepSpeed med PyTorch

    Integrering av DeepSpeed med PyTorch arbeidsflyter Bruke DeepSpeed med PyTorch Lightning

Feilsøking

    Feilsøking av vanlige DeepSpeed-problemer Overvåking og logging

Sammendrag og neste trinn

    Oppsummering av nøkkelbegreper og funksjoner Beste praksis for bruk av DeepSpeed i produksjon Ytterligere ressurser for å lære mer om DeepSpeed

Krav

  • Middels kunnskap om dyplæringsprinsipper
  • Erfaring med PyTorch eller lignende rammeverk for dyp læring
  • Kjennskap til Python-programmering

Publikum

  • Dataforskere
  • Maskinlæringsingeniører
  • Utviklere
 21 timer

Antall deltakere



Price per participant

Relaterte kurs

Related Categories