Takk for at du sendte din henvendelse! En av våre teammedlemmer vil kontakte deg straks.
Takk for at du sendte din bestilling! En av våre teammedlemmer vil kontakte deg straks.
Kursplan
AI Suverenitet og LLM Lokale Distribusjon
- Risikov ved sky LLMs: datalagringsretensjon, trening på innganger, utenlandsk jusdisponering.
- Ollama arkitektur: modellserver, register og OpenAI-kompatibel API.
- Sammenligning med vLLM, llama.cpp og Text Generation Inference.
- Modell lisensierte: Llama, Mistral, Qwen og Gemma vilkår.
Installasjon og Hardware oppsett
- Installere Ollama på Linux med CUDA og ROCm støtte.
- CPU-fallback og AVX/AVX2 optimalisering.
- Docker distribusjon og vedvarende volum mapping.
- Multi-GPU oppsett og VRAM allokering strategier.
Modell Håndtering
- Hente modeller fra Ollama registret: ollama pull llama3.
- Importere GGUF-modeller fra HuggingFace og TheBloke.
- Kvantisering nivåer: Q4_K_M, Q5_K_M, Q8_0 kompromisser.
- Modellskift og samtidige modell lasting grenser.
Tilpassede Modelfiles
- Skrive Modelfile syntax: FRA, PARAMETER, SYSTEM, TEMPLATE.
- Temperatur, top_p og repeat_penalty tuning.
- System prompt engineering for rollspesifikk atferd.
- Lage og publisere tilpassede modeller til lokalt register.
API Integrering
- OpenAI-kompatibel /v1/chat/completions endpoint.
- Strømende svar og JSON modus.
- Integrere med LangChain, LlamaIndex og tilpassede apper.
- Autentisering og rate limiting med reverse proxy.
Ytelsoptimalisering
- Kontekstvindu størrelse og KV cache håndtering.
- Batch inferens og parallell forespørsel håndtering.
- CPU tråd allokering og NUMA oppmerksomhet.
- Mindre GPU bruk og minne trykk overvåkning.
Sikkerhet og Overholdelse
- Nettverksisolasjon for modellservering endepunkt.
- Inngang filtrering og utgang moderasjoner pipelinjer.
- Audit loggføring av prompts og fullføringer.
- Modell opprinnelse og hash verifisering.
Krav
- Mellomkompetente Linux og container administrasjon.
- Forståelse av maskinlæring og transformer modeller på høyt nivå.
- Kjent med REST API-er og JSON.
Målgruppe
- AI ingeniører og utviklere som erstatter sky LLM API-er.
- Organisasjoner med sensitivitet for data som hindrer sky modell bruk.
- Regjerings- og forsvar lagkrever luftavskjermde språkmodeller.
14 Timer
