Kursplan

Ytelsekonsepter og metrikker

  • Latenstid, gjennomstrømning, strømforbruk, ressursutnyttelse
  • System- vs modellenivåflasker
  • Profilering for inferens vs trening

Profilering på Huawei Ascend

  • Bruk av CANN Profiler og MindInsight
  • Kernel- og operatordiagnostikk
  • Offload-mønstre og minnekartlegging

Profilering på Biren GPU

  • Biren SDK ytelsesovervåkningsfunksjoner
  • Kernel-fusjon, minnejustering og utførelseskøer
  • Strøm- og temperaturbevisst profilering

Profilering på Cambricon MLU

  • BANGPy og Neuware ytelsesverktøy
  • Kernelnivå-visibilitet og loggtolkning
  • MLU-profilerintegrering med distribusjonsrammeverk

Graf- og modellenivåoptimering

  • Grafuttrenging og kvantiseringsstrategier
  • Operatorfusjon og omstrukturering av beregningsgraf
  • Standardisering av inndatastrøm og batchjustering

Minne- og kerneloptimering

  • Optimalisering av minnelayout og gjenbruk
  • Effektiv bufferhåndtering over chipsett
  • Kernelnivåjusteringsteknikker per plattform

Best practises over plattformer

  • Ytelsesportabilitet: abstraksjonsstrategier
  • Bygging av felles justeringspipelines for multichip-miljøer
  • Eksempel: justering av en objektdeteksjonsmodell over Ascend, Biren og MLU

Oppsummering og neste steg

Krav

  • Erfaring med arbeid med AI-modelltrening eller utplasseringspipeliner
  • Forståelse av GPU/MLU beregningsprinsipper og modelloptimalisering
  • Grundleggende kjennskap til ytelsesprofilering-verktøy og metrikker

Målgruppe

  • Ytelsesingeniører
  • Maskinlæring infrastrukturlag
  • AI-systemarkitekter
 21 timer

Antall deltakere


Price per participant

Upcoming Courses

Related Categories