Kursplan

Introduksjon til utvikling av egendefinerte operatører

  • Hvorfor lage egendefinerte operatører? Bruksområder og begrensninger
  • CANN kjørestruktur og integrasjonspunkter for operatører
  • Oversikt over TBE, TIK og TVM i Huawei AI-økosystemet

Bruk av TIK for lavnivåoperatører Programming

  • Forståelse av TIK-programmeringsmodellen og støttede API-er
  • Minnehåndtering og tilingsstrategi i TIK
  • Oppretting, kompilering og registrering av en egendefinert operatør med CANN

Testing og validering av egendefinerte operatører

  • Enhets- og integrasjonstesting av operatører i grafen
  • Feilsøking av ytelsesproblemer på kjerne nivå
  • Visualisering av operatørutførelse og bufferatferd

TVM-basert planlegging og optimalisering

  • Oversikt over TVM som kompilator for tensoroperatører
  • Skriving av en plan for en egendefinert operatør i TVM
  • TVM-tuning, benchmarking og kodegenerering for Ascend

Integrering med rammeverk og modeller

  • Registrering av egendefinerte operatører for MindSpore og ONNX
  • Verifisering av modellintegritet og tilbakefallatferd
  • Støtte for graf med blandet nøyaktighet med flere operatører

Case studies og spesialiserte optimaliseringer

  • Case study: høyeffektiv konvolusjon for små innputtsformer
  • Case study: minnehåndteringsoptimalisering av oppmerksomhetsoperatør
  • Beste praksis for egendefinert operatørutplassering over enheter

Oppsummering og neste steg

Krav

  • Solid understanding of AI model internals and operator-level computation
  • Experience with Python and Linux development environments
  • Familiarity with neural network compilers or graph-level optimizers

Målgruppe

  • Compiler engineers working on AI toolchains
  • System developers focused on low-level AI optimization
  • Developers building custom ops or targeting novel AI workloads
 14 timer

Antall deltakere


Price per participant

Upcoming Courses

Related Categories