Kursplan
Modul 1 — Hvordan AI-applikasjoner brekker
Lab: ingen — arkitekturel gjennomgang og diskusjon
En byggerens mentale modell av overflatens angrepsflate.
Temaer:
- LLM-, RAG- og agentarkitekturer fra utviklerens side
- forespørsel/svar-livssyklusen til en AI-funksjon
- promptflyt: system-, developer-, bruker- og verktuymeldinger
- hvor upålitelig data entrer (og går igjen) i modellen
- tillitsgrenser en utvikler eier kontra arver
- hvorfor AI-angrep er semantiske, ikke syntaktiske
- mapping av OWASP LLM Top 10 til kode du skriver
Nøkkelinnsikt: Ethvert sted der upålitelig tekst når modellen — eller modelloutput når koden din — er en grense du eier.
Modul 2 — Prompt-injection for byggere
Lab: Lab 01 — 01-Prompt-Injection
Det "SQL-injection-momentet" for AI — men du kan ikke helt slippe unna det.
Temaer:
- direkte vs. indirekte prompt-injection
- skjulte instrukser i dokumenter, nettsider, verktøyoutput
- jailbreaks og rolleforsvirring
- hvorfor advarsel/dataseparasjon er viktig
- forsvarsprompt-design (avgrensere, struktur, minimal myndighet)
- hvorfor forebygging er partiell — design for inneslutning
Håndbasert:
- angripe din egen chattbot
- kjøresie en naiv filter
- omstrukturere prompten for å redusere sprengkraften
Modul 3 — Å behandle modelloutput som upålitelig
Lab: Lab 02 — 02-Output-Handling
Feilklassen som utviklere undervurderer mest.
Temaer:
- modelloutput som upålitelig input til resten av appen
- usikker output-håndtering (LLM02): XSS, SSRF, kommando/SQL-injection nedstrøms
- aldri eval/exec/render rå modelloutput
- strukturerte utdata og schemasvalidering
- output-koding og whitelister
- sikker rendering i web/UI-sammenhenger
Håndbasert:
- finne og fikse en sårbarhet i usikker output-håndtering
- tvinge på et JSON-schema på modellresponsene
Modul 4 — RAG-sikkerhet
Lab: Lab 03 — 03-RAG-Security
En av de største nye angrepsflatene — og den er din å bygge.
Temaer:
- vindor DB- og hentetrusler
- rensing ved innsamling
- dokumentproveniens og tillitsscore
- avgrensing av henting og metadata-isolasjon
- skjulte instrukser i hentet innhold (indirekte injection)
- dataekstraksjon via henting
Håndbasert: - forgifte en RAG-pipeline med et ondsinnet dokument - legge til rensing ved innsamling og avgrensing av henting for å forsvare den
Modul 5 — Agenter & verktüysikkerhet
Lab: Lab 04 — 04-Agent-Safety
Der en feil blir til en handling.
Temaer:
- overdreven agens (LLM06) og verktüymisbruk
- minst tillatelse for agenter
- verktøy-whitelister og argumentvalidering
- godkjenningsporter og menneske i løkken
- sandboxing av verktøykjøring
- avgrensete, kortvarige legitimasjonsdetaljer for agenter
- begrensning av autonome løkker og kjedere
Håndbasert:
- låse ned en agent med for høy tilgang
- legge til en whitelist + godkjenningsport til et farlig verktøy
Modul 6 — Hemmeligheter, identitet & kostnad
Lab: Lab 05 — 05-Secrets-and-Cost
De operative feilene som gjør hardest mest raskt.
Temaer:
- Håndtering av API-nøkler og hemmeligheter (aldri i prompts, kode eller logger)
- autentisering og autorisasjon per bruker for AI-funksjoner
- propagering av brukeridentitet til verktøy og henting
- denial-of-wallet: ubegrenset token-/kostnadsforbruk
- hastighetsbegrensninger, tokenbudgett og timeouts
- logging uten å lekke hemmeligheter eller PII
Håndbasert:
- fikse hemmelighetene ut av prompten/kodeveien
- legge til hastighetsbegrensninger per bruker og et token-/kostnadsbudgett
Modul 7 — Guardrail-biblioteker
Lab: Lab 06 — 06-Guardrails
Kjøpe vs. bygge for input/output-sikkerhet.
Temaer:
- hvad guardrail-rammeverk gjør (og ikke gjør)
- input-guardrails: injection/PII/tema-klassifiseringen
- output-guardrails: validering, filtrering, grunnlagssjekker
- når en guardrail er passende versus din egen deterministiske sjekk
- å legge til guardrails med kontrollene fra tidligere moduler
- ytelse, falske positive resultater og sviktmoduser
Håndbasert:
- legge til et input/output-guardrail-lag til en AI-funksjon
- måle hva den fanger opp og hva den misses
Modul 8 — Red-teaming av din egen app
Lab: Lab 07 — 07-Red-Teaming
Lever den som om en angriper allerede har tatt over.
Temaer:
- bygge en misbruks/testsuite for AI-funksjoner
- automatiserte prompt-injection- og jailbreak-tester
- regresjonstesting av guardrails og policyer
- kjøre AI-sikkerhetssjekker i CI
- modeller og leverandørkjede for avhengigheter (proveniens, fastlåsing)
- en sikkerhetssjekkliste før levering for AI-funksjoner
Håndbasert:
- skrive automatiserte red-team-tester for en AI-funksjon
- koble dem til en CI-sjekk
Modul 9 — Vurdering av AI-sikkerhet: SAIS-100-rammeverket
Lab: ingen — vurderingsøvelse (bruker Capstone-appen)
Gjør alt du har bygget om til en gjentakbar score.
Temaer:
- AI-sikkerhetsheksagonen: seks spørsmål i stedet for "er det sikkert?"
- de seks vurderte kategoriene (Data, Prompt, Agent, Leverandørkjede, Deteksjon, Styring)
- 100-punktets vurderingsskala og dens vektinger
- dominobånd og regelen om ett-kategori-overstyring
- Elephant Scale Secure AI Score (SAIS-100) som et merket, gjenkjørbart rammeverk
- vurdering før/etter herding som en metrisk
Håndbasert:
- score Capstone-appen på 100-punktets skala
- navngi den enkelte endringen som hever scoren mest
Nøkkelinnsikt: De tre kategoriene med høyest vekt mapper til tillitsgrensene en utvikler eier — så scoren måler nøyaktig det kurset har lært.
Capstone
Studentene herder en beviselig sårbart AI-applikasjon fra start til slutt.
Start-appen inneholder:
- en injectable prompt
- usikker output-håndtering
- en upresisert RAG-pipeline
- en agent med for høy tillatelse
- hemmeligheter i promptveien
- ingen kostnadsgrenser
Studentene anvender kurset:
- omstrukturere prompts for inneslutning
- validere og kode modelloutput
- rense og avgrense henting
- påfør minst tillatelse og godkjenningsporter til agenten
- fikse hemmelighetene ut og legge til kostnads-/hastighetsbegrensninger
- legge til guardrails og automatiserte red-team-tester
Leveranse: en herdet app pluss en kort selv-vurdering av OWASP LLM Top 10.
Modul - Lab-mapping
Labene kjøres i labrekkefølge, som følger modulrekkefølgen. Kurset har 9 moduler og 7 laber: Modul 1 er en arkitekturel gjennomgang/diskusjon og Modul 9 er en vurderingsøvelse, så ingen av dem har sin egen lab-mappe.
- Lab 01 - 01-Prompt-Injection: Angripe chatten din & design for inneslutning (Modul 2)
- Lab 02 - 02-Output-Handling: Fikse en feil i usikker output-håndtering (Modul 3)
- Lab 03 - 03-RAG-Security: Forgifte så forsvare en RAG-pipeline (Modul 4)
- Lab 04 - 04-Agent-Safety: Låse ned en agent med for høy tillatelse (Modul 5)
- Lab 05 - 05-Secrets-and-Cost: Sikre nøkler + legge til kostnadsguardrails (Modul 6)
- Lab 06 - 06-Guardrails: Legge til et input/output-guardrail-lag (Modul 7)
- Lab 07 - 07-Red-Teaming: Automatiserte red-team-tester i CI (Modul 8)
Modul 1 (Hvordan AI-applikasjoner brekker) har ingen lab — det kjøres som en arkitekturel gjennomgang og diskusjon. Modul 9 (Vurdering av AI-sikkerhet) har ingen lab-mappe — det kjøres som en vurderingsøvelse mot Capstone-appen.
Krav
- Ferdighetsnivå: Avansert.
- Studentene bør være komfortable med: bygging og bruk av REST API-er, et skriptspråk (labene bruker Python), grunnleggende applikasjonsautentisering, git og CLI.
- Ingen maskinlæringsbakgrunn kreves — dette er et applikasjonskurssikkerhetskurs for mennesker som bygger med LLM-er, ikke de som trener dem.
Målgruppe
- Programvare- / backend-ingeniører som bygger LLM-funksjoner
- Full-stack- og API-utviklere
- AI/ML-applikasjonsingeniører
- Plattformingeniører som leverer co-piloter og agenter
- Tekniske ledere og senioringeniører som eier AI-funksjoner
Referanser (2)
Jeg syntes virkelig det var interessant å lære om AI-angrep og verktøyene som finnes for å starte med øving og aktiv bruk i sikkerhetstesting. Jeg tok med meg mye kunnskap som jeg ikke hadde fra starten, og kurset innfridde det jeg håpet det skulle. Min favorittdel fra opplæringen var Comet Browser, og jeg var imponert over hva det kunne gjøre. Det er noe jeg helt sikkert vil se nærmere på. Til sammen var det en fantastisk kurs, og jeg trivdes med å lære om OWASP GenAI Top 10.
Patrick Collins - Optum
Kurs - OWASP GenAI Security
Maskinoversatt
Den profesjonelle kunnskapen og måten han presenterte den for oss
Miroslav Nachev - PUBLIC COURSE
Kurs - Cybersecurity in AI Systems
Maskinoversatt
