Takk for at du sendte din henvendelse! En av våre teammedlemmer vil kontakte deg straks.
Takk for at du sendte din bestilling! En av våre teammedlemmer vil kontakte deg straks.
Kursplan
Innføring i LLMOps
- LLMOps vs MLOps: unike utfordringer ved drift av LLM-er
- Syklusen for LLM-applikasjoner: prompt, evaluering, implementering, overvåking
- Sjekkliste for produksjonsklarhet for GenAI-applikasjoner
Håndtering og versjonering av prompts
- Systemer for prompt-templating og injeksjon av variable
- Semantisk versjonering av prompts med automatisk regressjonstesting
- Prompt-register og samarbeidsarbeidsflyter
Evaluering av LLM-er i stor skala
- Evalueringsdimensjoner: nøyaktighet, relevans, sikkerhet, forankring
- Metrikker basert på 'LLM as judge' og menneskelige evalueringspipeliner
- Automatiserte eval-rammeløysninger: RAGAS, DeepEval og tilpassede evalueringer
- Kvalitetsporter i CI/CD for LLM-implementeringer
Sikkerhetsregulatorer og innholdsstyring
- Inngangs- og utgangsregulatorer: NeMo Guardrails og Guardrails AI
- Deteksjon av personopplysninger (PII), giftighetsfiltrering og emnegrenser
- Forsvarstiltak mot jailbreaking og prompt-injection
- Rødgaming (red-teaming) av LLM-applikasjoner for sikkerhetssikring
Observasjon og overvåking av LLM-er
- Telemetri: tokenbruk, latens, kostnader og kvalitetsmetrikker
- Deteksjon av drift i LLM-utdata og embedding-rom
- Sporing på sesjonsnivå for flersetings-agent-samtaler
- Dashboards og varsling med LangSmith, Arize og OpenTelemetry
AI-gateway og modellorkestrering
- Rutting mellom flere leverandører med LiteLLM og Portkey
- Fallback-strategier, retry-logikk og kretsavbruddere
- Kostnadsbevisst modellvalg og lastbalansering
- Hastighetsbegrensning, kvotestyring og styring av API-nøkler
Ytelsesoptimalisering
- Semantisk caching med vektorlagre og nøyaktig matches-strategier
- Tvang av strukturerte utdata med begrenset dekodning (constrained decoding)
- Batching, streaming og samtidighetsmønstre
- Latensoptimalisering på tvers av modellleverandører
Styring, samsvar og gransking
- LLM-granskingslogger: promptlogger, svarlogger og beslutningsproveniens
- Dataresidens og personvernoverveielser for LLM-API-er
- Policy-as-code for LLM-bruk innen organisasjoner
- Bygge en intern driftshåndbok for LLM-er
Krav
- Erfaring med bygging eller integrering av applikasjoner som bruker LLM-er.
- Kunnskap om Python og REST-API-er.
- Grunnleggende forståelse av konsepter innen prompt engineering.
Målgruppe
- ML-ingeniører og MLOps-profesjonelle som skifter fokus til drift av LLM-er.
- Plattformingeniører ansvarlige for LLM-infrastruktur.
- Tekniske ledere som styrer produksjonsimplementeringer av generative AI (GenAI).
14 Timer
Referanser (2)
bruk av tilstrekkelig og effektiv prompt
Marses Pacaldo
Kurs - Generative AI and Prompt Engineering for Corporate Professionals
Maskinoversatt
Den interaktive stilen, øvingene
Tamas Tutuntzisz
Kurs - Introduction to Prompt Engineering
Maskinoversatt
