Kursplan
Modul 1 – AI-systemer for sikkerhetsingeniører
Lab: Lab 01 – 01-Innledning
Forståelse av arkitekturen.
Temaer:
- LLM-er vs vanlige apper
- AI-inferens-pipelines
- Prompt-flow
- RAG-arkitektur
- embeddings/vectordatabaser
- agentic arbeidsflyter
- verktøyanrop (tool calling)
- AI-gateways
- copiloter
- MCP og agent-protokoller
- hvor WAF-synlighet eksisterer
- hvor WAF-synlighet forsvinner
Nøkkelepiske insikt: Tradisjonelle WAF-er mister ofte synligheten etter at prompten når modellen.
Modul 2 – OWASP GenAI Top 10
Lab: ingen – interaktiv oppsummering/diskusjon
Kjerne-kategorier av AI-angrep.
Temaer:
- Prompt-injection
- Insecure Output-håndtering
- Forgiftning av treningsdata
- Modell-DoS (Denial of Service)
- Sårbarheter i tilførselskjeden (Supply Chain)
- Utlekking av sensitiv informasjon
- Overdreven agens (Excessive Agency)
- Vektor-/embedding-svakheter
- Misinformasjon
- Ubegrenset forbruk
Inkluderer:
- Forskjeller fra klassisk OWASP
- Kartlegging til forsvarskontroller (WAF, gateway, applikasjonslag)
- Hvor hver kontroll hjelper
- Hvor hver kontroll svikter
Modul 3 – Deteksjon av prompt-injection
Lab: Lab 02 – 02-Prompt-Injection
AI-tilsvarende «SQL-injection-moment».
Temaer:
- Direkte prompt-injection
- Indirekte prompt-injection
- Fjorte instruksjoner
- Dokumentbaserte angrep
- HTML/Markdown-injection
- Jailbreak-mønstre
- Kontekst-overkjøringsangrep
- Rolleforvirringsangrep
Deteksjonsstrategier:
- Nøkkelordsheuristikk
- Semantisk klassifisering
- Prompt-linting
- Opprettholdelse av instruksjonsgrenser
- Tillat/Nei-politikker
- AI-bevisst regex-mønstre
Hånd-on-laboratorier:
- Angripe en chatbot
- Duomgå naive filtre
- Bygge lagd deteksjon
Modul 4 – AI-bevisste WAF-regler
Lab: Lab 03 – 03-WAF-Basics
Hvordan WAF-regler utvikles for AI-systemer.
- Temaer:
- beskyttelse av LLM-sluttpunkter (endpoints)
- beskyttelse av inferens-API
- token-bevisst rate limiting
- inspeksjon av prompt-størrelse
- AI-spesifikke signaturer
- deteksjon av samtale-anomalier
- angrep på flertallsbruk (multi-turn abuse)
- forsøk på modell-oppstiling (model enumeration)
- inferens-skraping
- beskyttelse mot denial-of-wallet
Eksempler:
- beskytte /v1/chat/completions
- forsvar av streaming-API-er
- blokkering av rekursive agent-kall
Modul 5 – Sikring av RAG-pipelines
Lab: Lab 04 – 04-RAG-Security
En av de største nye angrepsflatene.
Temaer:
- trusler mot vektor-databaser
- embedding-forgiftning
- skadelige PDF-er/dokumenter
- manipulering av uttrekk (retrieval manipulation)
- semantisk forgiftning
- fjulte instruksjoner i dokumenter
- tverrdokument-kontaminering
- datautlekking via uttrekk
Forsvar:
- rensing ved innsending (ingestion)
- tillitsskorring
- metadat-avskjæring
- dokument-proveniens
- uttrekks-politikker
- segmentering
Tilfellestudie: «Laste opp en forgiftet PDF og ta over AI-assistenten.»
Modul 6 – Sikring av Agentic AI
Lab: Lab 05 – 05-Agent-Security
Hvor ting blir farlige.
Temaer:
- overdreven agens
- verktøy-misbruk
- API-kjededrift (chaining)
- autonome løkker
- rettighets-ekspansjon (permission escalation)
- minne-forgiftning
- indirekte verktøy-eksekvering
- agent-impersonering
- lekkasje av legitimasjon
- multi-agent-angrep
Forsvar:
- minste rettigheter for agenter
- godkjenningsporter (approval gates)
- sanntids-politimotorer
- sandboksing
- begrensede legitimasjoner
- tillatt liste for verktøy (tool whitelisting)
- menneske-i-løyppa (human-in-the-loop)
Dette er avsnittet ledere vanligvis bryr seg mest om, fordi risikoen blir operasjonell og bedriftspåvirkende.
Modul 7 – API-sikkerhet for AI
Lab: Lab 06 – 06-Denial-of-Wallet
AI-systemer er API-tunge.
Temaer:
- API-gateways
- GraphQL AI-risikoer
- MCP/API-misbruk
- JWT-beskyttelse
- AI-plugin-sikkerhet
- agent-autentisering
- delegert autorisasjon
- hemmelighets-administrasjon (secret management)
- signerte prompts
- API-inventar for AI
Kobling til: OWASP API Security Top 10
Modul 8 – Deteksjonsteknikk & SOC-integrasjon
Lab: Lab 07 – 07-Detection
Operasjonelt forsvar.
Temaer:
- AI-telemetri
- prompt-logging
- token-analyse
- anomalideteksjon
- semantiske SIEM-pipelines
- AI-angrindsikatorer
- hotting av trusler mot LLM-misbruk
- AI-sanntids-observerbarhet (observability)
Eksempler:
- detektere jailbreak-kampanjer
- oppdage automatisert agent-misbruk
- identifisere modell-skraping
Modul 9 – Cloud WAF-er og AI-sikkerhet
Lab: ingen – interaktiv oppsummering/diskusjon
Leverandørspesifikke implementeringer.
Temaer:
- AWS WAF for AI API-er
- Azure WAF
- Cloudflare AI Gateway
- API-gateways
- Envoy AI-filtering
- Kong AI Gateway
- NGINX AI-sikkerhetsmønstre
Sammenligning:
- tradisjonell WAF vs AI-gateway vs applikasjonslag-guardrail
- proxy-basert vs semantisk filtrering
Modul 10 – Bygge et lagd AI-forsvar
Lab: Lab 08 – 08-Layered-Defense
Viktig filosofisk konklusjon:
Ingen enkelt lag kan sikre AI (en WAF minst av alt, alene).
Studentene bygger en lagd modell:
- WAF
- API-gateway
- AI-gateway
- Guardrails
- Sanntids-monitorering
- Identitet/autorisasjon
- Sandkasse
- Menneskelig godkjenning
- Observerbarhet (Observability)
- Hendelseshåndtering (Incident response)
Dette stemmer sterkt overens med «multi-layer security»-modellen.
Modul ↔ Lab-kartlegging
Laboratorier kjøres i lab-rekkefølge, som følger modul-rekkefølgen.
Kurset har 10 moduler, men 8 laboratorier: Modul 2 og 9 er interaktiv oppsummering/diskusjon og har ingen lab.
Hver lab er tagget med sin modul gjennom hele denne oversikten.
- Lab 01 (Modul 1)
- Mappe: 01-Innledning
- Tittel: Utforsk et AI-system – hva er på ledningen
- Lab 02 (Modul 3)
- Mappe: 02-Prompt-Injection
- Tittel: Angripe en chatbot & duomgå naiv filtrering
- Lab 03 (Modul 4)
- Mappe: 03-WAF-Basics
- Tittel: Bygg AI-bevisste WAF-regler
- Lab 04 (Modul 5)
- Mappe: 04-RAG-Security
- Tittel: Forgift en RAG-pipeline
- Lab 05 (Modul 6)
- Mappe: 05-Agent-Security
- Tittel: Sikre en autonom agent
- Lab 06 (Modul 7)
- Mappe: 06-Denial-of-Wallet
- Tittel: Detekter denial-of-wallet-angrep
- Lab 07 (Modul 8)
- Mappe: 07-Detection
- Tittel: Monter AI-misbruksmønstre i logger
- Lab 08 (Modul 10)
- Mappe: 08-Layered-Defense
- Tittel: Bygg en lagd AI-forsvarsarkitektur
Kapstone-prosjekt
Studentene forsvarer en simulert enterprises AI-assistent.
Anstorme forsøker:
- prompt-injection
- verktøy-misbruk
- utlukking av legitimasjon
- forgiftning av uttrekk (retrieval poisoning)
- overdreven API-forbruk
- agent-ekspansjon
Timmer bygger:
- WAF-regler
- AI-gateway-politikker
- sanntids-deteksjon
- guardrails
- hendelseshåndtering (incident response)
Krav
- Studentene bør allerede forstå HTTP/API-sikkerhet, proxies/omvendte proxies, autentisering, OWASP Top 10, REST API-er og grunnleggende cloud-nettverksfunksjon.
Målgruppe
- Sikkerhetsingeniører & AppSec
- SOC-analytikere & deteksjonsingeniører
- API-sikkerhetsingeniører
- Cloud-/API-/plattform sikkerhet
- DevSecOps-ingeniører
- Sikkerhetsarkitekter
- WAF-/nettverkssikkerhetsspesialister
- AI-plattformingeniører
Referanser (2)
Jeg syntes virkelig det var interessant å lære om AI-angrep og verktøyene som finnes for å starte med øving og aktiv bruk i sikkerhetstesting. Jeg tok med meg mye kunnskap som jeg ikke hadde fra starten, og kurset innfridde det jeg håpet det skulle. Min favorittdel fra opplæringen var Comet Browser, og jeg var imponert over hva det kunne gjøre. Det er noe jeg helt sikkert vil se nærmere på. Til sammen var det en fantastisk kurs, og jeg trivdes med å lære om OWASP GenAI Top 10.
Patrick Collins - Optum
Kurs - OWASP GenAI Security
Maskinoversatt
Den profesjonelle kunnskapen og måten han presenterte den for oss
Miroslav Nachev - PUBLIC COURSE
Kurs - Cybersecurity in AI Systems
Maskinoversatt