Takk for at du sendte din henvendelse! En av våre teammedlemmer vil kontakte deg straks.
Takk for at du sendte din bestilling! En av våre teammedlemmer vil kontakte deg straks.
Varighet 14 timer
Kursplan
Distribusjonsalternativer
- Hostet API versus selvhøsting: fordeler og ulemper
- Mønstre for lokal, kant- og isolert distribusjon
- Enkeltmodell versus modellportefølje
- Kostnad per beslutning: sammenligning
Maskinvaredimensjonering og kapasitet
- Minneavtrykk basert på parameterantall
- Kun CPU versus GPU-akselerering
- Planlegging av konkurranse og gjennomstrømning
- Rom for økning i oppgavelengde
Tjenestestacks
- Alternativer som vLLM og SGLang
- llama.cpp og GGUF-utførelse
- Ollama for lokal utvikling
- Velge basert på formen på beslutningsbelastningen
Kvantisering uten å miste kalibrering
- Presisjonsformater og minnepspar
- Måling av kvalitets- og kalibreringstap
- Tensorbaserte og viktighetsbevisste varianter
- Akseptanstesting etter kvantisering
Latency-ingeniør
- Median versus tail latency
- Latencyvekst med kontekstlengde
- Varm start og modellcache
- Batching av flere beslutningsspørsmål
Kant- og krevende miljøer
- Små beslutningsmodeller på CPU
- Apple Silicon og innebygd distribusjon
- Offline drift og oppdateringsstrategi
- Distribusjon av vekter i isolerte miljøer
Containerisering og skalering
- Bilddesign for modelltjenester
- Styring av volumer og cache
- Horisontal skalering og ruting
- Ressursbegrensninger og GPU-deling
Observerbarhet
- Metrikker for forespørsler, latency og feil
- Overvåking av konfidensfordeling
- Sporing av beslutningsutfall og eskalering
- Varsling om kalibreringdrift
Versjonering og rullegang
- Versjonering av modeller og adapters
- Skygge- og kanaridistribusjon
- Festet modellfiler for audit
- Tilbakerullingsprosedurer
Sikkerhet og flerklientdrift
- Autentisering og hastighetsbegrensning
- Klientisolering for prompts og logger
- Nettverksisolering og utgående kontroll
- Auditlogging av beslutninger
Krav
- Linux-administrasjon og containererfaring.
- Kunnskap om modellinferansetjenere og GPU-styring.
- Grunnleggende forståelse av REST-APIer, lastbalansering og overvåking.
Målgruppe
- MLOps- og plattformingeniører som drifter inferansinfrastruktur
- SRE-lag som støtter AI-tjenester
- AI-ingeniører som distribuerer beslutningsmodeller lokalt
- Arkitekter som designer isolerte eller regulerte AI-distribusjoner
