Takk for at du sendte din henvendelse! En av våre teammedlemmer vil kontakte deg straks.
Takk for at du sendte din bestilling! En av våre teammedlemmer vil kontakte deg straks.
Varighet 35 timer
Kursplan
Innledning og diagnostiske grunnlag
- Overblikk over feilmoduser i LLM-systemer og vanlige Ollama-spesifikke problemer
- Opprettholdelse av reproduserbare eksperimenter og kontrollerte miljøer
- Feilretteverktøy: lokale logger, opptak av forespørsler/svar og sandboxing
Reproduksjon og isolering av feil
- Teknikker for å lage minste feileksempeler og frø
- Tilstandsfull vs. tilstandslos interaksjoner: isolering av kontekstrelaterte feil
- Determinisme, tilfeldighet og kontroll av ikke-deterministisk atferd
Atferdsevaluering og metrikker
- Kvantitative metrikker: nøyaktighet, ROUGE/BLEU-varianter, kalibrering og perplexity-proksier
- Kvalitativ evaluering: menneskelig scoring i løkk og rubrikdesign
- Oppgavespesifikke nøyaktighetskontroller og akseptkriterier
Automatisert testing og regresjon
- Enhetstester for prompts og komponenter, scenario- og end-to-end-tester
- Opprettelse av regresjonsstoler og gullstandard-baselines
- CI/CD-integrasjon for Ollama-modelloppdateringer og automatiserte valideringsgater
Observabilitet og overvåking
- Strukturert logging, distribuerte spor og korrelasjons-IDer
- Nøkkeldriftsmetrikker: latens, tokenbruk, feilrater og kvalitetsindikatorer
- Varsling, dashboards og SLI/SLO for modellbakkede tjenester
Avansert rotårsaksanalyse
- Sporing gjennom grafiske prompts, verktøykall og fleromgangsfløyer
- Komparativ A/B-diagnostikk og ablative studier
- Dataopprinnelse, datasettfeilutsøking og håndtering av datasettinduserte feil
Sikkerhet, robusthet og remedieringsstrategier
- Mitigering: filtrering, forankring, hentingsforsterkning og promptstabling
- Rollback, canary og faset inngangsmønster for modelloppdateringer
- Etteranalyse, læring og kontinuerlige forbedringsløkk
Sammendrag og neste steg
Krav
- Styrk erfaring med å bygge og deploye LLM-applikasjoner
- Kjennskap til Ollama-workflows og modellvertskjøring
- Komfort med Python, Docker og grunnleggende observabilitetsverktøy
Målgruppe
- AI-ingeniører
- ML Ops-profesjonelle
- QA-team ansvarlige for produksjonssystemer basert på LLM