Takk for at du sendte din henvendelse! En av våre teammedlemmer vil kontakte deg straks.
Takk for at du sendte din bestilling! En av våre teammedlemmer vil kontakte deg straks.
Varighet 35 timer
Kursplan
Innføring og diagnostiske grunnlag
- Et oversiktsbilde av feiltilfeller i LLM-systemer og vanlige Ollama-spesifikke problemer
- Etablere reproduserbare eksperimenter og kontrollerte miljøer
- Feilsøkingsverktøy: lokale logger, fangster av forespørsler/svar og sandkasting
Reprodusere og isolere feil
- Teknikker for å opprette minimale feilende eksempler og seed
- Tilstandsfylte vs. tilstandslose interaksjoner: isolering av kontekstrelaterte feil
- Determinisme, tilfeldighet og kontroll av ikke-deterministisk oppførsel
Oppførselsbasert evaluering og metrikker
- Kvantitative metrikker: nøyaktighet, ROUGE/BLEU-variater, kalibrering og overraskelsesproxier
- Kvalitative evalueringer: menneske i lukk poengsetting og rammeverkdesign
- Oppgavespesifikke nøyaktighetskontroller og akseptkriterier
Automatisert testing og regresjon
- Enhetstester for prompts og komponenter, scenario- og ende-til-ende-tester
- Opretting av regresjonssett og gyldne eksempler som basert
- CI/CD-integrasjon for oppdateringer av Ollama-modeller og automatiserte valideringsporter
Observabilitas og overvåking
- Strukturert logging, distribuerte spor og korrelasjons-IDer
- Nøkkeldriftsmetrikker: latens, bruk av token, feilrate og kvalitetssignaler
- Varsling, dashboards og SLIs/SLOs for modellbaserte tjenester
Avansert årsaksanalyse
- Sporing gjennom graferte prompts, verktøysamtaler og flerkonversationelle flater
- Komparativ A/B-diagnostikk og ablasjonsstudier
- Datahensikt, datasetsfeilsøking og behandling av datasettforårsaket feil
Sikkerhet, robusthet og rehabiliteringsstrategier
- Mitigeringer: filtrering, forankring, hentingstilknyttet utvidelse og prompt-rammeverk
- Rollback, kanariflukt og faset lansering for modelloppdateringer
- Etterretningsgranskinger, læring og kontinuerlige forbedringsløkker
Oppsummering og neste steg
Krav
- Styrk i å bygge og implementere LLM-applikasjoner
- Kunnskap om Ollama-arbeidsflyter og modellhosting
- Komfort med Python, Docker og grunnleggende observabilitetsverktøy
Målgruppe
- AI-ingeniører
- ML Ops-profesjonelle
- QA-team ansvarlig for produksjonssystemer for LLM
