Ta kontakt
 Varighet 35 timer

Kursplan

Innledning og diagnostiske grunnlag

  • Overblikk over feilmoduser i LLM-systemer og vanlige Ollama-spesifikke problemer
  • Opprettholdelse av reproduserbare eksperimenter og kontrollerte miljøer
  • Feilretteverktøy: lokale logger, opptak av forespørsler/svar og sandboxing

Reproduksjon og isolering av feil

  • Teknikker for å lage minste feileksempeler og frø
  • Tilstandsfull vs. tilstandslos interaksjoner: isolering av kontekstrelaterte feil
  • Determinisme, tilfeldighet og kontroll av ikke-deterministisk atferd

Atferdsevaluering og metrikker

  • Kvantitative metrikker: nøyaktighet, ROUGE/BLEU-varianter, kalibrering og perplexity-proksier
  • Kvalitativ evaluering: menneskelig scoring i løkk og rubrikdesign
  • Oppgavespesifikke nøyaktighetskontroller og akseptkriterier

Automatisert testing og regresjon

  • Enhetstester for prompts og komponenter, scenario- og end-to-end-tester
  • Opprettelse av regresjonsstoler og gullstandard-baselines
  • CI/CD-integrasjon for Ollama-modelloppdateringer og automatiserte valideringsgater

Observabilitet og overvåking

  • Strukturert logging, distribuerte spor og korrelasjons-IDer
  • Nøkkeldriftsmetrikker: latens, tokenbruk, feilrater og kvalitetsindikatorer
  • Varsling, dashboards og SLI/SLO for modellbakkede tjenester

Avansert rotårsaksanalyse

  • Sporing gjennom grafiske prompts, verktøykall og fleromgangsfløyer
  • Komparativ A/B-diagnostikk og ablative studier
  • Dataopprinnelse, datasettfeilutsøking og håndtering av datasettinduserte feil

Sikkerhet, robusthet og remedieringsstrategier

  • Mitigering: filtrering, forankring, hentingsforsterkning og promptstabling
  • Rollback, canary og faset inngangsmønster for modelloppdateringer
  • Etteranalyse, læring og kontinuerlige forbedringsløkk

Sammendrag og neste steg

Krav

  • Styrk erfaring med å bygge og deploye LLM-applikasjoner
  • Kjennskap til Ollama-workflows og modellvertskjøring
  • Komfort med Python, Docker og grunnleggende observabilitetsverktøy

Målgruppe

  • AI-ingeniører
  • ML Ops-profesjonelle
  • QA-team ansvarlige for produksjonssystemer basert på LLM

Antall deltakere


Pris per deltaker

Kommende kurs

Relaterte kategorier