OWASP GenAI-sikkerhet Treningskurs

Dag 1: Grunnleggende prinsipp og sentrale trusler

Modul 1: Introduksjon til OWASP GenAI Security Project (1 time)

Læringsmål:

• Få innsikt i utviklingen fra OWASP Top 10 til sikkerhetsutfordringer spesifikke for GenAI
• Utforsk økosystemet og ressursene til OWASP GenAI Security Project
• Identifisere hovedforskjellene mellom tradisjonell applikasjonssikkerhet og AI-sikkerhet

Emner som behandles:

• Oversikt over OWASP GenAI Security Projects oppdrag og omfang
• Innføring i Threat Defense COMPASS-rammeverket
• Forståelse av AI-sikkerhetslandskapet og regulatoriske krav
• AI-angrepsflater sammenlignet med tradisjonelle sårbarheter i webapplikasjoner

Praktisk øvelse: Oppsett av OWASP Threat Defense COMPASS-verktøyet og utføring av innledende trusselvurdering

Modul 2: OWASP Top 10 for LLMs - Del 1 (2,5 timer)

Læringsmål:

• Mestre de fem kritiske sårbarehetene ved LLM
• Forstå angrepsvektorer og utnyttelsesteknikker
• Anvende praktiske avbøtende tiltak

Emner som behandles:

LLM01: Prompt-injeksjon

• Teknikker for direkte og indirekte prompt-injeksjon
• Angrep med skjulte instruksjoner og kryss-prompt-kontaminering
• Praktiske eksempler: Jailbreaking av chatbots og omgåelse av sikkerhetstiltak
• Forsvarsstrategier: Inndatarensing, prompt-filtering, differensiell personvern

LLM02: Utkomming av sensitiv informasjon

• Uttak av treningsdata og lekkasje av systemprompter
• Analyse av modellatferd for eksponering av sensitiv informasjon
• Personvernimplikasjoner og hensyn til regulatorisk samsvar
• Avbøtning: Output-filtering, tilgangskontroller, datasonering

LLM03: Sårbareheter i leverandørkjeden

• Tredjeparts avhengigheter av modeller og plugin-sikkerhet
• Kompromitterte treningsdatasett og forgiftning av modeller (model poisoning)
• Risikovurdering av leverandører for AI-komponenter
• Sikre praksiser for distribusjon og verifisering av modeller

Praktisk øvelse: Håndbasert lab som demonstrerer prompt-injeksjonsangrep mot sårbare LLM-applikasjoner og implementering av forsvarstiltak

Modul 3: OWASP Top 10 for LLMs - Del 2 (2 timer)

Emner som behandles:

LLM04: Forgiftning av data og modeller

• Teknikker for manipulasjon av treningsdata
• Endring av modellatferd gjennom forgiftede inndata
• Backdoor-angrep og verifisering av dataintegritet
• Hindring: Datavalideringsrørledninger, sporing av opprinnelse

LLM05: Utredende håndtering av output

• Usikker behandling av innhold generert av LLM
• Kodeinjeksjon gjennom AI-genererte output
• Cross-site scripting (XSS) via AI-respons
• Rammeverk for validering og rensing av output

Praktisk øvelse: Simulering av angrep ved datforgiftning og implementering av robuste mekanismer for validering av output

Modul 4: Avanserte LLM-trusler (1,5 timer)

Emner som behandles:

LLM06: Overdreven agens

• Risikoer ved autonom beslutningstaking og krenkelser av grenser
• Agens-myndighet og tilgangsstyring
• Uplanlagte systeminteraksjoner og privilegieøking
• Implementering av guardrails og kontroll med menneskelig tilsyn

LLM07: Lekkasje av systemprompter

• Sårbarheter ved eksponering av systeminstruksjoner
• Lekkasje av legitimasjon og logikk gjennom prompter
• Angreps teknikker for uttrekking av systemprompter
• Sikring av systeminstruksjoner og ekstern konfigurasjon

Praktisk øvelse: Utforming av sikre agent-arkitekturer med passende tilgangskontroller og overvåking

Dag 2: Avanserte trusler og implementering

Modul 5: Nyoppstått AI-trusler (2 timer)

Læringsmål:

• Forstå spissfindige AI-sikkerhetstrusler
• Implementere avanserte deteksjons- og hindringsteknikker
• Utforme robuste AI-systemer mot sofistikerte angrep

Emner som behandles:

LLM08: Svakheter i vektorer og innlemming (embeddings)

• Sårbarheter ved RAG-systemer og sikkerheten til vektordatabaser
• Forgiftning av embeddings og angrep med likhetsmanipulasjon
• Adversariale eksempler i semantisk søk
• Sikring av vektorlagre og implementering av anomaliasdeteksjon

LLM09: Misinformasjon og modellpålitelighet

• Deteksjon og avbøtning av hallucinasjoner
• Forsterkning av skjevhet og hensyn til rettferdighet
• Mekanismer for faktasjekk og kildeverifisering
• Innebygd validasjon av innhold og integrering av menneskelig tilsyn

LLM10: Ubegrenset ressursbruk

• Ressursutmattelse og denial-of-service-angrep
• Strategier for rate limiting og ressursstyring
• Kostnadsoptimalisering og budsjettkontroller
• Overvåking av ytelse og varslingssystemer

Praktisk øvelse: Bygging av en sikker RAG-pipeline med beskyttelse av vektordatabase og deteksjon av hallucinasjoner

Modul 6: Sikkerhet for Agentic AI (2 timer)

Læringsmål:

• Få innsikt i de unike sikkerhetsutfordringene ved autonome AI-agenter
• Anvende OWASPs taksonomi for Agentic AI på systemer i virkeligheten
• Implementere sikkerhetskontroller for miljøer med flere agenter

Emner som behandles:

• Innføring i Agentic AI og autonome systemer
• OWASP-taksonomi for trusler mot Agentic AI: Agentdesign, minne, planlegging, verktøybruk, distribusjon
• Sikkerhet og koordinasjonsrisiko i multiantent-systemer
• Angrep med misbruk av verktøy, forgiftning av minne og kapring av mål
• Sikring av kommunikasjons- og beslutningsprosesser mellom agenter

Praktisk øvelse: Øvelse i trusselmodelling ved hjelp av OWASPs taksonomi for Agentic AI på et multiantent kundeservisesystem

Modul 7: Implementering av OWASP Threat Defense COMPASS (2 timer)

Læringsmål:

• Mestre den praktiske anvendelsen av Threat Defense COMPASS
• Integrere AI-trusselvurdering i organisasjonens sikkerhetsprogrammer
• Utvikle omfattende strategier for AI-risikoanalyse

Emner som behandles:

• Gjennomgang av Threat Defense COMPASS-metodologien
• Integrasjon av OODA-syklusen: Observere, orientere, bestemme, handle (Observe, Orient, Decide, Act)
• Mappning av trusler mot MITRE ATT&CK og ATLAS-rammeverkene
• Bygging av dashboard for AI-trusselresiliens-strategi
• Integrasjon med eksisterende sikkerhetsverktøy og prosesser

Praktisk øvelse: Full trusselvurdering ved hjelp av COMPASS for et scenariokoblet Microsoft Copilot-distribusjon

Modul 8: Praktisk implementering og beste praksis (2,5 timer)

Læringsmål:

• Utforme sikre AI-arkitekturer fra bunnen av
• Implementere overvåking og hendelseshåndtering for AI-systemer
• Opprette styringsrammeverk for AI-sikkerhet

Emner som behandles:

Sikker utviklingslivssyklus for AI:

• Sikkerhet-ved-design-prinsipper for AI-applikasjoner
• Praksiser for kodesmussyn for LLM-integrasjoner
• Testmetodologier og scanning av sårbarheter
• Distribusjonssikkerhet og herding i produksjon

Overvåking og deteksjon:

• Sikkerhetskrav for logging og overvåking av AI-spesifikke data
• Anomaliasdeteksjon for AI-systemer
• Prosedyrer for hendelseshåndtering ved sikkerhetshendelser innen AI
• Metoder for digital rettsmedisin og etterforskning

Styring og samsvar (compliance):

• Rammeverk og policyer for AI-risikoanalyse
• Regulatoriske hensyn til samsvar (GDPR, AI Act, osv.)
• Risikovurdering av tredjeparts leverandører av AI-løsninger
• Sikkerhetsbevissthetsopplæring for utviklingsteam innen AI

Praktisk øvelse: Utform en komplett sikkerhetsarkitektur for en bedrifts chatbot med overvåking, styring og prosedyrer for hendelseshåndtering

Modul 9: Verktøy og teknologi (1 time)

Læringsmål:

• Vurdere og implementere AI-sikkerhetsverktøy
• Få innsikt i det nåværende landskapet av AI-sikkerhetsløsninger
• Bygge praktiske kapasiteter for deteksjon og hindring

Emner som behandles:

• Økosystemet og leverandørlandskapet for AI-sikkerhetsverktøy
• Åpen kildekode-verktøy: Garak, PyRIT, Giskard
• Kommersielle løsninger for AI-sikkerhet og overvåking
• Mønster for integrasjon og distribusjonsstrategier
• Seleksjonskriterier for verktøy og evalueringsrammeverk

Praktisk øvelse: Håndbasert demonstrasjon av AI-sikkerhetstestverktøy og planlegging av implementering

Modul 10: Fremtidige trender og oppsummering (1 time)

Læringsmål:

• Forstå fremvoksende trusler og fremtidige sikkerhetsutfordringer
• Utforme strategier for kontinuerlig læring og forbedring
• Opprette handlingsplaner for organisasjonens AI-sikkerhetsprogrammer

Emner som behandles:

• Fremvoksende trusler: Deepfakes, avansert prompt-injeksjon, model inversion
• Fremtidige utviklinger og roadmap for OWASP GenAI Project
• Bygging av AI-sikkerhetsmiljøer og kunnskapsdeling
• Kontinuerlig forbedring og integrering av truslerinnsikt (threat intelligence)

Øvelse for handlingsplan: Utvikle en 90-dagers handlingsplan for implementering av OWASP GenAI-sikkerhetspraksiser i deltakernes organisasjoner