Takk for at du sendte din henvendelse! En av våre teammedlemmer vil kontakte deg straks.
Takk for at du sendte din bestilling! En av våre teammedlemmer vil kontakte deg straks.
Varighet 14 timer
Kursplan
AI-suverenitet og lokal deploy av LLM-er
- Risikoen ved skybaserte LLM-er: databeholdning, trening på inndata, utenlandsk jurisdiksjon.
- Ollama-arkitektur: modellserver, registrert og OpenAI-kompatibel API.
- Sammenligning med vLLM, llama.cpp og Text Generation Inference.
- Modelllisenser: vilkår for Llama, Mistral, Qwen og Gemma.
Installasjon og hardwareoppsett
- Installasjon av Ollama på Linux med CUDA- og ROCm-støtte.
- Kun CPU-fallback og AVX/AVX2-optimalisering.
- Docker-deploy og avbildning av persistente volumer.
- Oppsett med flere GPU-er og strategier for VRAM-allokering.
Modelladministrasjon
- Henting av modeller fra Ollama-registret: ollama pull llama3.
- Import av GGUF-modeller fra HuggingFace og TheBloke.
- Kvantiseringsnivåer: Q4_K_M, Q5_K_M, Q8_0 og deres fordeler/ulemper.
- Modellbytte og begrensninger for samtidig modelllast.
Tilpassede Modelfiler
- Syntaks for Modelfiler: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Justering av temperature, top_p og repeat_penalty.
- Systemprompting for rollspesifikk oppførsel.
- Oppretting og publisering av tilpassede modeller til lokalt registrert.
API-integrasjon
- OpenAI-kompatibel /v1/chat/completions-endepunkt.
- Strømmende responser og JSON-modus.
- Integrasjon med LangChain, LlamaIndex og egne applikasjoner.
- Autentisering og hastighetsbegrensninger med reverse proxy.
Prestasjons-optimalisering
- Størrelse på kontekstvinduet og administrasjon av KV-mellomlagring.
- Batch-inferanse og parallell håndtering av forespørsler.
- Tildeling av CPU-tråder og NUMA-kjennskap.
- Overvåking av GPU-utnyttelse og minnetrykk.
Sikkerhet og compliance
- Nettverksisolering for modellserver-endepunkter.
- Inndatafiltrering og utdata-moderasjonsrørledninger.
- Auditlogging av prompts og fullføringer.
- Modellherkomst og hashverifisering.
Krav
- Midtnivå kunnskaper i Linux og containeradministrasjon.
- Forståelse av maskinlæring og transformermodeller på høyt nivå.
- Kjennskap til REST-APIer og JSON.
Målgruppe
- AI-ingeniører og utviklere som erstatter skybaserte LLM-APIer.
- Organisasjoner der datasensitivitet forhindrer bruk av skybaserte modeller.
- Regjerings- og forsvarsteam som krever luftspærre (air-gapped) språkmodeller.
