Takk for at du sendte din henvendelse! En av våre teammedlemmer vil kontakte deg straks.
Takk for at du sendte din bestilling! En av våre teammedlemmer vil kontakte deg straks.
Kursplan
AI-suverenitet og lokal distribusjon av LLM
- Risikoer ved skybaserte LLM-er: dataretensjon, trening på input, utenlandske jurisdiksjoner.
- Ollama-arkitektur: modelservers, register og OpenAI-kompatible API-er.
- Sammenligning med vLLM, llama.cpp og Text Generation Inference.
- Modelllisensiering: vilkår for Llama, Mistral, Qwen og Gemma.
Installasjon og maskinvareoppsett
- Installasjon av Ollama på Linux med CUDA- og ROCm-støtte.
- Fallback for CPU-alene og AVX/AVX2-optimalisering.
- Docker-utplassering og persistent volumavbildning.
- Multi-GPU-oppsett og strategier for VRAM-tilordning.
Modellhåndtering
- Hente modeller fra Ollama-registret: ollama pull llama3.
- Importere GGUF-modeller fra HuggingFace og TheBloke.
- Kvantiseringsnivåer: Q4_K_M, Q5_K_M, Q8_0-handler.
- Modellbytte og begrensninger for samtidig lasting av modeller.
Tilpassede Modelfiler
- Skrive Modelfile-syntaks: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Juster temperatur, top_p og repeat_penalty.
- Systemforespørsler for rollespesifikk oppførsel.
- Opprette og publisere tilpassede modeller til lokalt register.
API-integrasjon
- OpenAI-kompatibelt /v1/chat/completions-endepunkt.
- Strømingssvar og JSON-modus.
- Integrasjon med LangChain, LlamaIndex og tilpassede apper.
- Autentisering og hastighetsbegrensning med reverse proxy.
Ytelsesoptimalisering
- Størrelse på kontekstvindu og håndtering av KV-cache.
- Batch-innsats og parallell håndtering av forespørsler.
- CPU-trådtilordning og NUMA-bevissthet.
- Overvåking av GPU-bruk og minnebelastning.
Sikkerhet og samsvar
- Nettisolasjon for endpoints for modelservers.
- Input-filtering og output-modereringspipelines.
- Revisjonslogging av forespørsler og svar.
- Modellherkomst og hash-verifisering.
Krav
- Avansert kunnskap om Linux og beholderadministrasjon.
- Forståelse av maskinlæring og transformer-modeller på høyt nivå.
- Kjennskap til REST-API-er og JSON.
Målgruppe
- AI-ingeniører og utviklere som erstatter skybaserte LLM-API-er.
- Organisasjoner med databeskyttelse som hindrer bruk av skybaserte modeller.
- Regjerings- og forsvarsteam som krever luftavkoblede språkmodeller.
14 Timer
