Takk for at du sendte din henvendelse! En av våre teammedlemmer vil kontakte deg straks.
Takk for at du sendte din bestilling! En av våre teammedlemmer vil kontakte deg straks.
Kursplan
Introduksjon og diagnostiske grunnleggende prinsipper
- Oversikt over feilmåter i LLM-systemer og vanlige Ollama-spesifikke problemer
- Etablering av gjentagelige eksperimenter og kontrollerte miljøer
- Felsøkingverktøy: lokale logger, request/response-fanger, og sandboxing
Gjenoppretting og isolering av feil
- Teknikker for å opprette minimale feileksempler og seeds
- Stateful vs stateless interaksjoner: isolering av kontekstrelaterte feil
- Determinisme, tilfeldighet, og kontroll av ikke-deterministisk atferd
Atferdsvurdering og metrikker
- Kvantitative metrikker: nøyaktighet, ROUGE/BLEU-varianter, kalibrering, og perplexity-proksier
- Kvalitative vurderinger: human-in-the-loop-scoring og rubrikkdesign
- Oppgavespesifikke troverdighetskontroller og akseptkriterier
Automatisert testing og regressjon
- Enhetstester for prompts og komponenter, scenarier og ende-til-ende-tester
- Oppretting av regressjonssuiter og gyldige eksempelbaser
- CI/CD-integrasjon for Ollama-modelloppdateringer og automatiserte valideringsporter
Observabilitet og overvåking
- Strukturert logging, fordelte spor, og korrelasjons-IDer
- Nøkkeloperasjonelle metrikker: latens, tokenbruk, feilratene, og kvalitetssignaler
- Varsling, dashbord, og SLIs/SLOs for modellbaserte tjenester
Avansert feilkildediagnose
- Sporing gjennom grafprompts, verktøykall, og multi-turn-fløyer
- Sammenlignende A/B-diagnose og ablationsstudier
- Dataprovensjon, datasettfelsøking, og håndtering av datasettinduserte feil
Sikkerhet, robusthet og retningslinjer for avhjelp
- Reduseringer: filtrering, grounding, retningsaugmentering, og prompt-scaffolding
- Tilbakestillings-, canary- og faset innføringsmønster for modelloppdateringer
- Post-mortem, lærte leksjoner, og kontinuerlige forbedringsløkker
Oppsummering og neste steg
Krav
- Stor erfaring med å bygge og distribuere LLM-applikasjoner
- Kjennskap med Ollama-workflows og modellhosting
- Komfortabel med Python, Docker og grunnleggende observabilitetsverktøy
Målgruppe
- AI-ingeniører
- ML Ops-profesjonelle
- QA-team ansvarlige for produktionssystemer for LLM
35 timer
