Kursplan
Introduksjon til AI Red Teaming
- Forståelse av AI-truslelandskapet
- Roller for red team i AI-sikkerhet
- Etiske og juridiske overvejingar
Motstandsmaskinlæring
- Typer angrep: unngåelse, fysisk utslipp, ekstrahering, inferens
- Generering av motstandsforekomster (f.eks., FGSM, PGD)
- Målrettet vs. umålrettet angrep og suksessmetrikker
Testing av modellrobusthet
- Vurdering av robusthet under perturbasjoner
- Utredning av modellens blindflekker og feilmoduser
- Stress-testing av klassifiserings-, visuelle- og NLP-modeller
Red Teaming AI-pipeliner
- Angrepsflate for AI-pipelinene: data, modell, drift
- Utbytting av usikre modell-APIer og -sluttpunkter
- Omvendt utvikling av modellbetehandling og -utdata
Simulering og verktøy
- Bruk av Adversarial Robustness Toolbox (ART)
- Red teaming med verktøy som TextAttack og IBM ART
- Sandboxing, overvåking og observabilitetsverktøy
AI Red Team-strategi og forsvarssamarbeid
- Utvikling av red team-øvelser og mål
- Kommunikasjon av funn til blue teams
- Integrering av red teaming i AI-risikostyring
Oppsummering og neste trinn
Krav
- Forståelse av maskinlæring og dyplæringsarkitekturer
- Erfaring med Python og ML-rammeverk (f.eks., TensorFlow, PyTorch)
- Familiaritet med sibertrygghetsteamkonsepter eller offensive sikkerhetsteknikker
Målgruppe
- Sikkerhetsforskere
- Offensive sikkerhetsteam
- AI-assurans og red team-eksperter
Referanser (2)
Jeg syntes virkelig det var interessant å lære om AI-angrep og verktøyene som finnes for å starte med øving og aktiv bruk i sikkerhetstesting. Jeg tok med meg mye kunnskap som jeg ikke hadde fra starten, og kurset innfridde det jeg håpet det skulle. Min favorittdel fra opplæringen var Comet Browser, og jeg var imponert over hva det kunne gjøre. Det er noe jeg helt sikkert vil se nærmere på. Til sammen var det en fantastisk kurs, og jeg trivdes med å lære om OWASP GenAI Top 10.
Patrick Collins - Optum
Kurs - OWASP GenAI Security
Maskinoversatt
Den profesjonelle kunnskapen og måten han presenterte den for oss
Miroslav Nachev - PUBLIC COURSE
Kurs - Cybersecurity in AI Systems
Maskinoversatt