Kursplan
Dag 1: Grundlag og kjernetrusler
Modul 1: Introduksjon til OWASP GenAI Sikkerhetsprosjekt (1 time)
Læringsmål:
- Forstå utviklingen fra OWASP Top 10 til GenAI-spesifikke sikkerhetsutfordringer
- Utforsk OWASP GenAI Sikkerhetsprosjekt økosystem og ressurser
- Identifiser viktigste forskjeller mellom tradisjonell applikasjonssikkerhet og AI-sikkerhet
Emner som dekkes:
- Oversikt over OWASP GenAI Sikkerhetsprosjekt oppdrag og omfang
- Introduksjon til Threat Defense COMPASS-rammeverk
- Forstå AI-sikkerhetslandskapet og reguleringsevner
- AI-trusleoverflater vs tradisjonelle webapplikasjonssårbarheter
Praktisk øvelse: Sette opp OWASP Threat Defense COMPASS-verktøy og utføre initiell trusselvurdering
Modul 2: OWASP Top 10 for LLMs - Del 1 (2,5 timer)
Læringsmål:
- Mester de fem første kritiske LLM-sårbarhetene
- Forstå angrepsvektorer og utnyttelsesmetoder
- Bruke praktiske mitigasjonsstrategier
Emner som dekkes:
LLM01: Prompt-injeksjon
- Direkte og indirekte prompt-injeksjonsmetoder
- Skjulte instruksangrep og tvers-prompt-kontaminasjon
- Praktiske eksempler: Jailbreaking chatbots og omgåelse av sikkerhetsforhold
- Forsvarsstrategier: Inputrensing, promptfiltrering, differensiell privatheit
LLM02: Avsløring av sensitive informasjon
- Treningdataekstraksjon og systempromptlekkasje
- Modellatferdsvanalyse for sensitiv informasjonsutslipp
- Personvern implikasjoner og overholdelsesvurderinger
- Mitigering: Outputfiltrering, tilgangskontroll, dataanonymisering
LLM03: Leverandørsårbarheter
- Tredjepartsmodellavhengigheter og plugin-sikkerhet
- Kompromitterte treningdatasett og modellforgiftning
- Leverandørrisikovurdering for AI-komponenter
- Sikker modelldeployering og verifiseringspraksis
Praktisk øvelse: Håndigeværksøvelser som demonstrerer prompt-injeksjonsangrep mot sårbar LLM-applikasjoner og implementering av forsvarsforhold
Modul 3: OWASP Top 10 for LLMs - Del 2 (2 timer)
Emner som dekkes:
LLM04: Data- og modellforgiftning
- Treningdatamanipulasjonsmetoder
- Modellatferdsmodifisering gjennom forgiftede innganger
- Backdoor-angrep og dataintegritetsverifisering
- Forebygging: Datavalideringspipelines, opprinnelsessporing
LLM05: Uegnet outputbehandling
- Usikker behandling av LLM-generert innhold
- Kodeinjeksjon gjennom AI-genererte utdata
- Cross-site scripting via AI-respons
- Outputvaliderings- og renseframeworks
Praktisk øvelse: Simulering av dataforgiftningsangrep og implementering av robuste outputrensmekanismer
Modul 4: Avanserte LLM-trusler (1,5 timer)
Emner som dekkes:
LLM06: Overmåkelig agens
- Risikier ved autonome beslutningsprosesser og grenseovertrampinger
- Agentautorisering og tillatelsesstyring
- Uvante systeminteraksjoner og privilegescalning
- Implementere vaktlinjer og menneskelig oversynskontroll
LLM07: Systempromptlekkasje
- Sårbarheter ved systeminstruksjonsutslipp
- Kredensial- og logikkavsløring gjennom prompts
- Angripteknikker for å ekstrahere systemprompts
- Sikre systeminstruksjoner og ekstern konfigurasjon
Praktisk øvelse: Design av sikre agentarkitekturer med passende tilgangskontroll og overvåkning
Dag 2: Avanserte trusler og implementering
Modul 5: Ny oppstående AI-trusler (2 timer)
Læringsmål:
- Forstå avanserte AI-sikkerhetstrusler
- Implementere avanserte deteksjons- og forebyggingsteknikker
- Design robuste AI-systemer mot sofistikerte angrep
Emner som dekkes:
LLM08: Vector- og embedding-svagheter
- RAG-systemsvulnerabiliteter og vektordatabasessikkerhet
- Embeddingforgiftning og likhetsmanipulasjonsangrep
- Adverserelle eksempler i semantisk søk
- Sikre vektordatabaser og implementering av anomalisdeteksjon
LLM09: Desinformasjon og modellforlidelighet
- Hallucination-deteksjon og -mitigering
- Bias-økning og rettferdighetsvurderinger
- Fakt-sjekking og kildeverifiseringsmekanismer
- Innholdsvalidering og integrering av menneskelig oversyn
LLM10: Ubegrenset forbruk
- Resursutmattelse og nektelstilstand-angrep
- Ratelimitering og resursadministrasjonsstrategier
- Kostoptimalisering og budsjetskontroller
- Ytelsesovervåkning og varslingssystemer
Praktisk øvelse: Bygging av et sikkert RAG-pipeline med vektordatabasebeskyttelse og hallucination-deteksjon
Modul 6: Agenter AI-sikkerhet (2 timer)
Læringsmål:
- Forstå unike sikkerhetsutfordringer ved autonome AI-agenter
- Bruke OWASP Agentic AI-tassifisering til reelle systemer
- Implementere sikkerhetskontroller for multiagentmiljøer
Emner som dekkes:
- Introduksjon til Agentic AI og autonome systemer
- OWASP Agentic AI Trusselklasifisering: Agentdesign, minne, planlegging, verktøybruk, distribusjon
- Multiagent-systemsikkerhet og koordineringsrisikoer
- Verktøymisbruk, minneforgiftning og målhjemlingangrep
- Sikre agentkommunikasjon og beslutningsprosesser
Praktisk øvelse: Trusselmodelløvelse ved hjelp av OWASP Agentic AI-klasifisering på et multiagent kundeservice-system
Modul 7: OWASP Threat Defense COMPASS-implementering (2 timer)
Læringsmål:
- Mester praktisk anvendelse av Threat Defense COMPASS
- Integrere AI-trusselvurdering i organisatoriske sikkerhetsprogrammer
- Utvikle omfattende AI-riksforvaltningsstrategier
Emner som dekkes:
- Dypdykk inn i Threat Defense COMPASS-metodologi
- OODA-løkkeintegrering: Observer, Retter seg mot, Bestemmer, Gjennomfører
- Mapping av trusler til MITRE ATT&CK- og ATLAS-rammeverk
- Bygging av AI-Trusselmodstandsstrategi-dashboards
- Integrering med eksisterende sikkerhetsverktøy og prosesser
Praktisk øvelse: Fullfør trusselvurdering ved hjelp av COMPASS for en Microsoft Copilot-distribusjonsscenarie
Modul 8: Praktisk implementering og beste praksis (2,5 timer)
Læringsmål:
- Design sikre AI-arkitekturer fra bunnen av
- Implementer overvåking og hendelsesrespons for AI-systemer
- Opprett styringsrammer for AI-sikkerhet
Emner som dekkes:
Sikker AI-utviklingslivssyklus:
- Sikkerhet-by-design-prinsipper for AI-applikasjoner
- Kodegennomsynspraksis for LLM-integrasjoner
- Testmetodologier og sårbarhetssanning
- Distribusjonssikkerhet og produksjonshårdforing
Overvåking og deteksjon:
- AI-spesifikke logging- og overvåkningskrav
- Anomalisdeteksjon for AI-systemer
- Hendelsesresponsprosedyrer for AI-sikkerhetshendelser
- Forensikk og undersøkelsesteknikker
Styring og overholdelse:
- AI-riksforvaltningsrammer og politikk
- Overholdelsesvurderinger (GDPR, AI Act osv.)
- Leverandørrisikovurdering for AI-leverandører
- Sikkerhetshva-oppmerksomhetsutdanning for AI-utviklingsteam
Praktisk øvelse: Design en fullstendig sikkerhetsarkitektur for et virksomhetens AI-chatbot, inkludert overvåking, styring og hendelsesresponsprosedyrer
Modul 9: Verktøy og teknologier (1 time)
Læringsmål:
- Evaluer og implementer AI-sikkerhetsverktøy
- Forstå den nåværende AI-sikkerhetsteknologi-landskapet
- Bygg praktiske deteksjons- og forebyggingsevner
Emner som dekkes:
- AI-sikkerhetstverktøyøkosystem og leverandørlandskap
- Open-source sikkerhetsverktøy: Garak, PyRIT, Giskard
- Kommersielle løsninger for AI-sikkerhet og overvåking
- Integreringsmønstre og distribusjonsstrategier
- Verktøyutvalgskriterier og evalueringstilpasningsrammer
Praktisk øvelse: Håndigeværksdemonstrasjon av AI-sikkerhetstestverktøy og implementeringsplanlegging
Modul 10: Fremtidige trender og oppsummering (1 time)
Læringsmål:
- Forstå nye trusler og fremtidige sikkerhetutfordringer
- Utvikle kontinuerlige læring- og forbedringsstrategier
- Opprette handlingssplaner for organisatoriske AI-sikkerhetsprogrammer
Emner som dekkes:
- Ny oppstående trusler: Deepfakes, avanserte prompt-injeksjon, modellinversjon
- Fremtidige utviklinger og veiledning for OWASP GenAI-prosjekt
- Bygging av AI-sikkerhetsfellesskap og kunnskapsdeling
- Kontinuerlig forbedring og truslinformasjonintegrasjon
Handlingssplan-øvelse: Utvikle en 90-dagers handlingssplan for implementering av OWASP GenAI-sikkerhetspraksis i deltagernes organisasjoner
Krav
- Generell forståelse av sikkerhetsprinsipper for webapplikasjoner
- Grunnleggende kjennskap til AI/ML-konsepter
- Erfaring med sikkerhetsrammer eller risikovurderingsmetodologier er foretrukket
Målgruppe
- IT-sikkerhetseksperter
- AI-utviklere
- Systemarkitekter
- Overholdelsestilsynere
- Sikkerhetpraktikere
Referanser (1)
Jeg syntes virkelig det var interessant å lære om AI-angrep og verktøyene som finnes for å starte med øving og aktiv bruk i sikkerhetstesting. Jeg tok med meg mye kunnskap som jeg ikke hadde fra starten, og kurset innfridde det jeg håpet det skulle. Min favorittdel fra opplæringen var Comet Browser, og jeg var imponert over hva det kunne gjøre. Det er noe jeg helt sikkert vil se nærmere på. Til sammen var det en fantastisk kurs, og jeg trivdes med å lære om OWASP GenAI Top 10.
Patrick Collins - Optum
Kurs - OWASP GenAI Security
Maskinoversatt
