Optimalisering av ytelsen til nevronett med CANN SDK Treningskurs

Oversikt over CANNs optimaliseringsmuligheter

• Hvordan inferensytelse håndteres i CANN
• Optimaliseringsmål for edge- og innebygd AI-systemer
• Forståelse av utnyttelse av AI Core og minnetildeling

Bruk av Graph Engine for analyse

• Innføring til Graph Engine og kjørerørledning
• Visualisering av operatørggrafer og kjøringsmålinger
• Endring av beregningsgrafer for optimalisering

Profileringsverktøy og ytelsesindikatorer

• Bruk av CANN Profiling Tool (profiler) for arbeidsanalyse
• Analyse av kjernekjøretid og flaskehals
• Profileringsminnetilgang og tesslerstrategier

Utvikling av tilpassede operatører med TIK

• Oversikt over TIK og operatøraprogrammeringsmodellen
• Implementering av en tilpasset operatør ved bruk av TIK DSL
• Testing og benchmarking av operatøytytelse

Avansert operatøroptimalisering med TVM

• Innføring til TVM-integrasjon med CANN
• Automatisk justeringsstrategier for beregningsgrafer
• Når og hvordan man skifter mellom TVM og TIK

Minneoptimaliseringsteknikker

• Håndtering av minnelayout og bufferplassering
• Teknikker for å redusere forbruk av on-chip minne
• Beste praksis for asynkron kjøre og gjenvinning

Reell verden deploying og tilfellestudier

• Tilfellestudie: ytelsesjustering for smart by kamera rørleding
• Tilfellestudie: optimalisering av selvkjørende kjøretøy inferens stakk
• Retningslinjer for iterativ profilering og kontinuerlig forbedring

Oppsummering og neste steg