Bygging tilpassede AI-operatører med CANN TIK og TVM Treningskurs

Introduksjon til utvikling av tilpassede operatører

• Hvorfor bygge tilpassede operatører? Bruksområder og begrensninger
• CANN kjøreruntidsstruktur og operatørintegreringspunkter
• Oversikt over TBE, TIK og TVM i Huawei’s økosystem for AI

Bruk av TIK for lavnivå programmering av operatører

• Forståelse av TIK-programmeringsmodellen og understøttede APIer
• Minnehåndtering og flisestrategi (tiling) i TIK
• Oppretting, kompilering og registrering av en tilpasset operatør med CANN

Testing og validering av tilpassede operatører

• Enhetstesting og integrasjonstesting av operatører i grafen
• Feilsøking av ytelsesproblemer på kjerne-nivå (kernel-level)
• Visualisering av operatørutførelse og bufferopptreden

TVM-basert scheduling og optimering

• Oversikt over TVM som kompilator for tensor-operatører
• Skrivende en schedule for en tilpasset operatør i TVM
• TVM-justering, benchmarking og kodegenerering for Ascend

Integrering med rammeverk og modeller

• Registrering av tilpassede operatører for MindSpore og ONNX
• Verifisering av modellintegritet og fallback-opptreden
• Understøttelse av graf med flere operatører ved blanda nøyaktighet (mixed precision)

Kasesudier og spesialiserte optimeringer

• Kasestude: høyeffektiv konvolusjon for å inndataformer
• Kasestude: minnebevisst optimalisering av atter-operatorer (attention operator)
• Beste praksis for implementering av tilpassede operatører på tvers av enheter

Oppsummering og neste steg