Kursplan
Introduksjon
- Oversikt over skaleringsutfordringer for dyp læring
- Oversikt over DeepSpeed og dens funksjoner
- DeepSpeed vs. andre distribuerte dyplæringsbiblioteker
Komme i gang
- Sette opp utviklingsmiljøet
- Installerer PyTorch og DeepSpeed
- Konfigurere DeepSpeed for distribuert trening
DeepSpeed Optimization funksjoner
- DeepSpeed-treningspipeline
- ZeRO (minneoptimalisering)
- Aktivering sjekkpunkt
- Gradientkontroll
- Rørledningsparallellisme
Skalering av modeller med DeepSpeed
- Grunnleggende skalering med DeepSpeed
- Avanserte skaleringsteknikker
- Ytelseshensyn og beste praksis
- Feilsøkings- og feilsøkingsteknikker
Avanserte DeepSpeed-emner
- Avanserte optimaliseringsteknikker
- Bruker DeepSpeed med blandet presisjonstrening
- DeepSpeed på annen maskinvare (f.eks. GPU-er, TPU-er)
- DeepSpeed med flere treningsnoder
Integrering av DeepSpeed med PyTorch
- Integrering av DeepSpeed med PyTorch arbeidsflyter
- Bruke DeepSpeed med PyTorch Lightning
Feilsøking
- Feilsøking av vanlige DeepSpeed-problemer
- Overvåking og logging
Sammendrag og neste trinn
- Oppsummering av nøkkelbegreper og funksjoner
- Beste praksis for bruk av DeepSpeed i produksjon
- Ytterligere ressurser for å lære mer om DeepSpeed
Krav
- Middels kunnskap om dyplæringsprinsipper
- Erfaring med PyTorch eller lignende rammeverk for dyp læring
- Kjennskap til Python programmering
Publikum
- Dataforskere
- Maskinlæringsingeniører
- Utviklere
Referanser (3)
Jeg likte virkelig avslutningen hvor vi tok tiden til å leke med CHAT GPT. Rommet var ikke satt opp på den beste måten for dette - istedenfor én stor bord ville det vært lurt med noen mindre bord slik at vi kunne dele oss inn i små grupper og brainstorme.
Nola - Laramie County Community College
Kurs - Artificial Intelligence (AI) Overview
Maskinoversatt
Å jobbe ut fra grunnleggende prinsipper på en konsernet måte, og gå over til å anvende kasusstudier samme dag
Maggie Webb - Department of Jobs, Regions, and Precincts
Kurs - Artificial Neural Networks, Machine Learning, Deep Thinking
Maskinoversatt
Det føltes som vi gikk gjennom direkte relevante opplysninger i et godt tempo (altså ingen fyllmateriale)
Maggie Webb - Department of Jobs, Regions, and Precincts
Kurs - Introduction to the use of neural networks
Maskinoversatt