OWASP GenAI Security Treningskurs

Dag 1: Grunnlag og sentrale trusler

Modul 1: Innføring i OWASP GenAI Security Project (1 time)

Læremål:

• Forstå utviklingen fra OWASP Top 10 til GenAI-spesifikke sikkerhetsutfordringer
• Utforske OWASP GenAI Security Project-økologien og ressursene
• Identifisere nøkkelforskjeller mellom tradisjonell applikasjonsikkerhet og AI-sikkerhet

Emner som dekkes:

• En oversikt over oppgaven og omfanget til OWASP GenAI Security Project
• Innføring i Threat Defense COMPASS-rammeverket
• Forståelse av landskapet for AI-sikkerhet og regulatoriske krav
• AI-angrepsflater sammenlignet med sårbare punkter i tradisjonelle webapplikasjoner

Praktisk øvelse: Innstilling av OWASP Threat Defense COMPASS-verktøyet og utførelse av en innledende trusselvurdering

Modul 2: OWASP Top 10 for LLMs - Del 1 (2,5 timer)

Læremål:

• Mestrer de første fem kritiske LLM-sårbarhetene
• Forstå angrepsvektorer og utnyttningsteknikker
• Anvende praktiske dempingstrategier

Emner som dekkes:

LLM01: Prompt Injection

• Direkte og indirekte prompt injection-teknikker
• Angrep med skjulte instruksjoner og kryss-prompt-kontaminering
• Praktiske eksempler: Jailbreaking av chatbots og omgåelse av sikkerhetstiltak
• Verne-strategier: Input-sanasering, prompt-filtrering, differensial privatliv

LLM02: Sensitive Information Disclosure

• Uttak av treningsdata og lekkasje av systempromter
• Analyse av modellatferd for eksponering av sensitiv informasjon
• Implikasjoner for personvern og hensyn til regulatorisk samsvar
• Demping: Output-filtrering, tilgangskontroller, data-anonymisering

LLM03: Supply Chain Vulnerabilities

• Avhengigheter av tredjepartsmodeller og plugg-sikkerhet
• Kompromitterte treningsdatasett og modellforgiftning
• Risikovurdering av leverandører for AI-komponenter
• Sikker utlevering og verifisering av modeller

Praktisk øvelse: Praktisk laboratorieøvelse som demonstrerer prompt injection-angrep mot sårbare LLM-applikasjoner og implementering av forsvars tiltak

Modul 3: OWASP Top 10 for LLMs - Del 2 (2 timer)

Emner som dekkes:

LLM04: Data and Model Poisoning

• Manipsulasjonsteknikker for treningsdata
• Modifikasjon av modellatferd gjennom forgiftede innganger
• Backdoor-angrep og verifisering av dataintegritet
• Forebygging: Valideringsrørledninger for data, sporbarhet

LLM05: Improper Output Handling

• Usikker behandling av AI-generert innhold
• Kodeinjeksjon gjennom AI-genererte outputer
• Cross-site scripting via AI-svar
• Validerings- og sanaseringsrammer for output

Praktisk øvelse: Simulering av dataforgiftningsangrep og implementering av robuste output-valideringsmekanismer

Modul 4: Avanserte LLM-trusler (1,5 timer)

Emner som dekkes:

LLM06: Excessive Agency

• Risikoer ved autonom beslutningstaking og grensebrudd
• Agent-autoritet og tillatelsehåndtering
• Uønskede systeminteraksjoner og privileskulasjon
• Implementering av guardrails og kontrollmekanismer for menneskelig tilsyn

LLM07: System Prompt Leakage

• Sårbarheter ved eksponering av systeminstruksjoner
• Lekkasje av legitimasjoner og logikk gjennom promter
• Angrepsteknikker for å utvinne systempromter
• Sikring av systeminstruksjoner og ekstern konfigurasjon

Praktisk øvelse: Utforming av sikre agentarkitekturer med egnede tilgangskontroller og overvåkning

Dag 2: Avanserte trusler og implementering

Modul 5: Oppstående AI-trusler (2 timer)

Læremål:

• Forstå de mest avanserte AI-sikkerhetstruslene
• Implementere avanserte deteksjons- og forebyggingsteknikker
• Utforme robuste AI-systemer mot sofistikerte angrep

Emner som dekkes:

LLM08: Vector and Embedding Weaknesses

• Sårbarheter i RAG-systemer og sikkerhet i vektor databaser
• Forgiftning av embedding og angrep med manipulasjon av likhet
• Adversarial eksempler i semantisk søk
• Sikring av vektordatabaser og implementering av anomali-deteksjon

LLM09: Misinformation and Model Reliability

• Deteksjon og demping av hallucinasjoner
• Forsterkning av bias og hensyn til rettferdighet
• Mekanismer for fakta-avklaring og kildeverifisering
• Integrering av innholdsvalidering og menneskelig tilsyn

LLM10: Unbounded Consumption

• Uthulling av ressurser og denial-of-service angrep
• Strategier for rate limiting og ressurshåndtering
• Kostnadsoptimering og budsjettkontroller
• Systemer for ytelsesovervåkning og varsling

Praktisk øvelse: Bygge en sikker RAG-rørledning med beskyttelse av vektordatabasen og deteksjon av hallucinasjoner

Modul 6: Sikkerhet i Agentic AI (2 timer)

Læremål:

• Forstå de unike sikkerhetsutfordringene for autonome AI-agenter
• Anvende OWASP Agentic AI taksonomi på reelle systemer
• Implementere sikkerhetskontroller for multi-agent-miljøer

Emner som dekkes:

• Innføring i Agentic AI og autonome systemer
• OWASP Agentic AI Trussel Taksonomi: Agent Design, Memory, Planning, Tool Use, Deployment
• Sikkerhet og koordineringsrisiko i multi-agent-systemer
• Misbruk av verktøy, forgiftning av minne og angrep med hijacking av mål
• Sikring av agentkommunikasjon og beslutningsprosesser

Praktisk øvelse: Øvelse i trusselmodellering ved bruk av OWASP Agentic AI taksonomi på et multi-agent kundetjenestesystem

Modul 7: Implementering av OWASP Threat Defense COMPASS (2 timer)

Læremål:

• Mestrer den praktiske bruken av Threat Defense COMPASS
• Integrere AI-trusselvurdering i organisatoriske sikkerhetsprogrammer
• Utvikle kompromatterte strategier for AI-risikohåndtering

Emner som dekkes:

• Dypdykk i metodologien til Threat Defense COMPASS
• Integrering av OODA-sykkel: Observe, Orient, Decide, Act
• Kartlegging av trusler til MITRE ATT&CK og ATLAS-rammeverk
• Oppbygging av dashboards for AI-sikkerhetsstrategier
• Integrering med eksisterende sikkerhetsverktøy og prosesser

Praktisk øvelse: Fullfør en trusselvurdering ved bruk av COMPASS for et utleverings scenario for Microsoft Copilot

Modul 8: Praktisk implementering og beste praksis (2,5 timer)

Læremål:

• Utforme sikre AI-arkitekturer fra bunnen av
• Implementere overvåkning og hendelsesrespons for AI-systemer
• Opprette styringsrammer for AI-sikkerhet

Emner som dekkes:

Sikker AI-utviklingslivssyklus:

• Sikkerhet-som-design prinsipper for AI-applikasjoner
• Kodegjennomgangspraksis for LLM-integrasjoner
• Testmetodologier og sårbarhetsskaning
• Sikker utlevering og herding i produksjon

Overvåkning og deteksjon:

• Spesifikke logging- og overvåkingskrav for AI
• Anomali-deteksjon for AI-systemer
• Prosedurer for hendelsesrespons for AI-sikkerhetsforefall
• Rettsmedisinske og undersøkelsesteknikker

Styring og samsvar:

• Rammeverk og politikk for AI-risikohåndtering
• Hensyn til regulatorisk samsvar (GDPR, AI Act, osv.)
• Risikovurdering av tredjeparter for AI-leverandører
• Sikkerhetsbevissthetsopplæring for AI-utviklingsteam

Praktisk øvelse: Utform en komplett sikkerhetsarkitektur for en enterprise AI-chatbot, inkludert overvåkning, styring og hendelsesresponspasser

Modul 9: Verktøy og teknologi (1 time)

Læremål:

• Vurdere og implementere AI-sikkerhetsverktøy
• Forstå landskapet for nåværende AI-sikkerhetsløsninger
• Bygge praktiske evner for deteksjon og forebygging

Emner som dekkes:

• Økologien for AI-sikkerhetsverktøy og leverandørlandskap
• Open-source sikkerhetsverktøy: Garak, PyRIT, Giskard
• Kommersielle løsninger for AI-sikkerhet og overvåkning
• Integreringsmønster og utleveringsstrategier
• Kriterier for verktøyvalg og vurderingsrammer

Praktisk øvelse: Praktisk demonstrasjon av AI-sikkerhetstestverktøy og planlegging av implementering

Modul 10: Fremtidstrender og oppsummering (1 time)

Læremål:

• Forstå oppstående trusler og fremtidige sikkerhetsutfordringer
• Utvikle strategier for kontinuerlig læring og forbedring
• Opprette handlingsplaner for organisatoriske AI-sikkerhetsprogrammer

Emner som dekkes:

• Oppstående trusler: Deepfakes, avansert prompt injection, modellinversjon
• Fremtidige utviklinger og roadmap for OWASP GenAI-prosjektet
• Bygging av AI-sikkerhetsfellesskap og deling av kunnskap
• Kontinuerlig forbedring og integrering av trusselintelligens

Øvelse i handlingsplanlegging: Utvikle en 90-dagers handlingsplan for implementering av OWASP GenAI-sikkerhetspraksis i deltakernes organisasjoner