Lydklassifisering og hendelsesdeteksjon med ML Treningskurs

Grunnlag i lydklassifisering

• Lydhendelsestyper: miljø, mekanisk, menneskelagde
• Oversikt over bruksområder: overvåking, oppfølging, automatisering
• Lydklassifisering vs deteksjon vs segmentering

Lyddata og funksjonsekstraksjon

• Typer av lydfiler og formater
• Prøvetakingshastighet, vinduing, vurdert av rammestørrelse
• Ekstraksjon av MFCC-er, kromafunksjoner, mel-spektrogrammer

Forberedelse og annotasjon av data

• UrbanSound8K, ESC-50 og tilpassede datasets
• Etikettering av lydhendelser og tidsmessige grenser
• Balanse av datasets og forsterkning av lyd

Utvikling av lydklassifiseringsmodeller

• Bruk av konvolverende neurale nettverk (CNN) for lyd
• Modellinput: rå bølgeform vs funksjoner
• Tapfunksjoner, evalueringsmetriker og overtilpasning

Hendelsesdeteksjon og temporale lokalisering

• Rammebasert og segmentbasert deteksjonsstrategier
• Etterbehandling av deteksjoner ved hjelp av terskelverdier og glødning
• Visualisering av forutsigelser på lydtidslinjer

Avanserte temaer og sanntidsbehandling

• Overføring av læring for lavdata-scenarier
• Implementering av modeller med TensorFlow Lite eller ONNX
• Strømmende lydbehandling og latensvurderinger

Prosjektoppbygging og anvendelsesscenarioer

• Design av en full pipeline: inntak til klassifisering
• Utvikling av et proof-of-concept for overvåking, kvalitetssikring eller oppfølging
• Logging, varsling og integrasjon med dashboards eller API-er

Oppsummering og neste steg