Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Kursplan
Introduksjon
- Oversikt over skaleringsutfordringer for dyp læring Oversikt over DeepSpeed og dens funksjoner DeepSpeed vs. andre distribuerte dyplæringsbiblioteker
Starter
- Sette opp utviklingsmiljøet Installere PyTorch og DeepSpeed Konfigurere DeepSpeed for distribuert opplæring
DeepSpeed Optimization funksjoner
- DeepSpeed treningspipeline ZeRO (minneoptimalisering) Aktiveringskontrollpunkt Gradientkontrollpunkt Pipelineparallellisme
Skalering av modeller med DeepSpeed
- Grunnleggende skalering ved hjelp av DeepSpeed Avanserte skaleringsteknikker Ytelseshensyn og beste praksis Feilsøkings- og feilsøkingsteknikker
Avanserte DeepSpeed-emner
- Avanserte optimaliseringsteknikker Bruke DeepSpeed med blandet presisjonstrening DeepSpeed på forskjellig maskinvare (f.eks. GPUs, TPUer) DeepSpeed med flere treningsnoder
Integrering av DeepSpeed med PyTorch
- Integrering av DeepSpeed med PyTorch arbeidsflyter Bruke DeepSpeed med PyTorch Lightning
Feilsøking
- Feilsøking av vanlige DeepSpeed-problemer Overvåking og logging
Sammendrag og neste trinn
- Oppsummering av nøkkelbegreper og funksjoner Beste praksis for bruk av DeepSpeed i produksjon Ytterligere ressurser for å lære mer om DeepSpeed
Krav
- Middels kunnskap om dyplæringsprinsipper
- Erfaring med PyTorch eller lignende rammeverk for dyp læring
- Kjennskap til Python-programmering
Publikum
- Dataforskere
- Maskinlæringsingeniører
- Utviklere
21 timer