Takk for at du sendte din henvendelse! En av våre teammedlemmer vil kontakte deg straks.
Takk for at du sendte din bestilling! En av våre teammedlemmer vil kontakte deg straks.
Kursplan
Prestandebegreper og metrikker
- Latens, gjennomstrømning, strømforbruk, ressursutnyttelse
- Flaskhalser på systemnivå vs. modellnivå
- Profiling for inferanse vs. trening
Profiling på Huawei Ascend
- Bruk av CANN Profiler og MindInsight
- Diagnostikk av kjerne og operatør
- Avlastningsmønstre og minnekartlegging
Profiling på Biren GPU
- Prestandovervåkingsfunksjoner i Biren SDK
- Kjernefusjon, minnejustering og utførelseskøer
- Profiling med tanke på strøm og temperatur
Profiling på Cambricon MLU
- BANGPy og Neuware-prestandeverktøy
- Kjernenivåsynlighet og loggfortolkning
- MLU-profileringsintegrering med utleveringsrammeverk
Graf- og modellnivåoptimalisering
- Grafskjæring og kvantiseringstrategier
- Operatørfusjon og omstrukturering av beregningsgrafer
- Standardisering av inputstørrelse og batchjustering
Minne- og kjerneoptimalisering
- Optimalisering av minnelayout og gjenbruk
- Effektiv bufforhåndtering over chipsett
- Kjernenivåjusteringsteknikk per plattform
Beste praksis tvers over plattformer
- Prestansportabilitet: abstraksjonsstrategier
- Oppbygging av felles justeringsrørledninger for flercipe omgivelser
- Eksempel: justering av en objekt deteksjonsmodell over Ascend, Biren og MLU
Oppsummering og neste steg
Krav
- Erfaring med å jobbe med AI-modelltrening eller utleveringsrørledninger
- Forståelse av GPU/MLU-beregningsprinsipper og modell-optimalisering
- Grunnleggende kjennskap til prestandaprofileringsverktøy og -metriker
Målgruppe
- Prestandingsteknikere
- Masjinkjæringsinfrastrukturlag
- AI-systemarkitekter
21 Timer
