Ollama: Self-Verteilte storede storede storede storede LLMs som erstatter OpenAI og Claude-APIer Treningskurs
Ollama er et åpen kildekode verktøy for å kjøre store språkmodeller lokalt på forbruker- og bedriftshardware. Det abstraherer modellkvantisering, GPU-allokering og API-servering til en enkelt kommandolinjegrensesnitt, som gjør det mulig for organisasjoner å selvdrift LLMs som Llama, Mistral og Qwen uten å sende prompts eller data til OpenAI, Anthropic eller Google.
Den instruktør-ledede, live utdanning (online eller på stedet) er rettet mot mellomkompetente AI ingeniører og plattform operatører som ønsker å bruke Ollama for å erstatte sky LLM API-er med selvdriftede, suverene språkmodell inferens.
Av slutten av denne utdanningen vil deltakerne kunne:
- Installere Ollama på Linux, macOS og Windows med GPU-støtte.
- Hente, kvantisere og servere modeller fra Ollama-registret og HuggingFace.
- Lage tilpassede Modelfiles med systemprompts og parameter tuning.
- Integrere lokale LLMs med applikasjoner via OpenAI-kompatibel API.
- Optimalisere inferensytelse for CPU-tilkobling og multi-GPU innstillinger.
Kursformat
- Interaktiv forelesning og diskusjon.
- Mange øvelser og praksis.
- Hånd på hånd implementasjon i en live-lab miljø.
Kurs tilpasning muligheter
- For å bestille tilpasset utdanning for dette kurset, vennligst kontakt oss for å arrangere.
Kursplan
AI Suverenitet og LLM Lokale Distribusjon
- Risikov ved sky LLMs: datalagringsretensjon, trening på innganger, utenlandsk jusdisponering.
- Ollama arkitektur: modellserver, register og OpenAI-kompatibel API.
- Sammenligning med vLLM, llama.cpp og Text Generation Inference.
- Modell lisensierte: Llama, Mistral, Qwen og Gemma vilkår.
Installasjon og Hardware oppsett
- Installere Ollama på Linux med CUDA og ROCm støtte.
- CPU-fallback og AVX/AVX2 optimalisering.
- Docker distribusjon og vedvarende volum mapping.
- Multi-GPU oppsett og VRAM allokering strategier.
Modell Håndtering
- Hente modeller fra Ollama registret: ollama pull llama3.
- Importere GGUF-modeller fra HuggingFace og TheBloke.
- Kvantisering nivåer: Q4_K_M, Q5_K_M, Q8_0 kompromisser.
- Modellskift og samtidige modell lasting grenser.
Tilpassede Modelfiles
- Skrive Modelfile syntax: FRA, PARAMETER, SYSTEM, TEMPLATE.
- Temperatur, top_p og repeat_penalty tuning.
- System prompt engineering for rollspesifikk atferd.
- Lage og publisere tilpassede modeller til lokalt register.
API Integrering
- OpenAI-kompatibel /v1/chat/completions endpoint.
- Strømende svar og JSON modus.
- Integrere med LangChain, LlamaIndex og tilpassede apper.
- Autentisering og rate limiting med reverse proxy.
Ytelsoptimalisering
- Kontekstvindu størrelse og KV cache håndtering.
- Batch inferens og parallell forespørsel håndtering.
- CPU tråd allokering og NUMA oppmerksomhet.
- Mindre GPU bruk og minne trykk overvåkning.
Sikkerhet og Overholdelse
- Nettverksisolasjon for modellservering endepunkt.
- Inngang filtrering og utgang moderasjoner pipelinjer.
- Audit loggføring av prompts og fullføringer.
- Modell opprinnelse og hash verifisering.
Krav
- Mellomkompetente Linux og container administrasjon.
- Forståelse av maskinlæring og transformer modeller på høyt nivå.
- Kjent med REST API-er og JSON.
Målgruppe
- AI ingeniører og utviklere som erstatter sky LLM API-er.
- Organisasjoner med sensitivitet for data som hindrer sky modell bruk.
- Regjerings- og forsvar lagkrever luftavskjermde språkmodeller.
Åpne kurs krever 5+ deltakere.
Ollama: Self-Verteilte storede storede storede storede LLMs som erstatter OpenAI og Claude-APIer Treningskurs - Bestilling
Ollama: Self-Verteilte storede storede storede storede LLMs som erstatter OpenAI og Claude-APIer Treningskurs - Forespørsel
Ollama: Self-Verteilte storede storede storede storede LLMs som erstatter OpenAI og Claude-APIer - Konsulentforespørsel
Kommende kurs
Relaterte kurs
Avansert Ollama Modell Feilsøking og Vurdering
35 TimerAdvanced Ollama Model Debugging & Evaluation er en dyptgående kurs som fokuserer på diagnostisering, testing og måling av modelloppførsel når man kjører lokale eller private Ollama-utplasseringer.
Denne instruktørledede, live opplæringen (online eller på sted) er rettet mot avanserte AI-ingeniører, ML Ops-profesjonelle og QA-praktikanter som ønsker å sikre pålitelighet, troverdighet og operativ beredskap for Ollama-baserte modeller i produksjon.
Ved avslutning av denne opplæringen vil deltakerne være i stand til å:
- Utføre systematisk feilsøking av Ollama-vertsmodeller og reproducere feilmåter pålitelig.
- Utforme og gjennomføre robuste vurderingsskjemaer med kvantitative og kvalitative målinger.
- Implementere observabilitet (logger, spor, målinger) for å overvåke modellhelse og drift.
- Automatisere testing, validering og regressjonssjekker integrert i CI/CD-pipeline.
Formatet på kurset
- Interaktive forelesninger og diskusjoner.
- Pratisk laboratoriearbeid og feilsøkningsøvelser ved bruk av Ollama-utplasseringer.
- Tilfelleundersøkelser, gruppefeilsøkningsøkter og automatiseringsverksteder.
Tilpassingsalternativer for kurset
- For å be om tilpasset opplæring for dette kurset, ta kontakt med oss for å avtale.
Bygge Private AI-arbeidsflyter med Ollama
14 TimerDette undervisningsbaserte, live-treningen i Norge (online eller på stedet) er rettet mot avanserte nivå profesjonelle som ønsker å implementere sikre og effektive AI-drevne arbeidsflyter ved hjelp av Ollama.
Ved treningens slutt vil deltakerne være i stand til:
- Å distribuere og konfigurere Ollama for privat AI-behandling.
- Å integrere AI-modeller i sikre virksomhetsarbeidsflyter.
- Å optimere AI-prestasjoner samtidig som data-sikkerheten opprettholdes.
- Å automatisere forretningsprosesser med lokalt baserte AI-muligheter.
- Å sikre overholdelse av virksomhetens sikkerhets- og styrespolicyer.
Implementering og optimalisering av store språkmodeller med Ollama
14 TimerDette er et instruktørledt, live-opplæring i Norge (online eller på stedet) som er rettet mot fagfolk på mellomliggende nivå som ønsker å distribuere, optimalisere og integrere LLM ved hjelp av Ollama.
Ved slutten av dette kurset vil deltakerne kunne:
- Sette opp og distribuere LLM ved hjelp av Ollama.
- Optimere AI-modeller for ytelse og effektivitet.
- Utnytte GPU-akselerasjon for forbedret inferensehastighet.
- Integrere Ollama i arbeidsflyter og applikasjoner.
- Overvåke og opprettholde AI-modellens ytelse over tid.
EXO: Utbredt lokalt AI-klusterdeploying fra ende til ende
21 TimerDette instruktørledete, live-opplæringen i Norge (online eller på stedet) er rettet mot systemadministratører og DevOps-ingeniører som ønsker å deploye, konfigurere og administrere EXO-klustre for privat LLM-inferens over flere Apple Silicon- eller Linux-noder.
EXO for DevOps: Bygging av privat AI-infrastruktur
21 TimerDene instruktørledede, live-træningen i Norge (online eller på stedet) er rettet mot DevOps-ingeniører og infrastrukturarkitekter som ønsker å automatisere tilvirkning, overvåking og livssyklushåndtering av private AI-klyster bygget på EXO.
EXO sikkerhet og styring: Administrasjon av modellene i frakoblet modus
14 TimerDenne instruktørledete, levende opplæringen i Norge (nettbasert eller på stedet) er rettet mot sikkerhetsingeniører og etterlevelsesmyndigheter som ønsker å styrke EXO-implementeringer, kontrollere modelltilgang og styre AI-arbeidsbelastninger som kjører helt lokalt.
Feiljustering og tilpasning av AI-modeller på Ollama
14 TimerDette instruktørledete, live-treningen i Norge (online eller på stedet) er rettet mot avanserte profesjonelle som ønsker å feiljustere og tilpasse AI-modeller på Ollama for bedre ytelse og domene-spesifikke applikasjoner.
Til slutt av denne treningen vil deltakerne kunne:
- Sette opp en effektiv miljø for feiljustering av AI-modeller på Ollama.
- Forberede datasett for overvåket feiljustering og styrket læring.
- Optimerer AI-modeller for ytelse, nøyaktighet og effektivitet.
- Distribuere tilpassede modeller i produksjonsmiljøer.
- Vurdere modellforbedringer og sikre robusthet.
Sikker lokal agentic AI: Ollama-utvikling på egen infrastruktur for regulerte bransjer
21 TimerDette er et veiledet, levende kurs i Norge (online eller på sted) rettet mot utviklere og tekniske team som ønsker å bruke Ollama og åpne modeller for å bygge og kjøre private agente AI-løsninger på intern infrastruktur.
Etter avsluttet opplæring vil deltakerne kunne: installere og konfigurere Ollama, evaluere og kjøre åpne modeller lokalt, lage enkle agente arbeidsflyter og hentingbaserte løsninger, samt anvende sikkerhets- og styringskontroller i regulerte miljøer.
Multimodal Applications with Ollama
21 TimerOllama er en plattform som gjør det mulig å kjøre og finjustere store språk- og multimodalmodeller lokalt.
Denne instruktørledede, live-treningen (online eller på stedet) er rettet mot avanserte ML-ingeniører, AI-forskere og produktutviklere som ønsker å bygge og distribuere multimodalapplikasjoner med Ollama.
Ved slutten av denne treningen vil deltakerne kunne:
- Opprette og kjøre multimodalmodeller med Ollama.
- Integreere tekst, bilde- og lydinnganger for reelle applikasjoner.
- Bygge dokumentforståelses- og visuelle QA-systemer.
- Utvikle multimodalagenter som kan resonnere mellom modaler.
Kursets format
- Interaktiv forelesning og diskusjon.
- Hånds-på-trening med ekte multimodaldata.
- Live-lab-implementering av multimodale rørledninger ved hjelp av Ollama.
Tilpasningsmuligheter for kurset
- For å be om en tilpasset trening for dette kurset, vennligst kontakt oss for å avtale.
Kom i gang med Ollama: Kjør lokal AI-modeller
7 TimerDette instruktørføringen, liveopplæringen i Norge (online eller på stedet), er rettet mot beginner-nivå profesjonelle som ønsker å installere, konfigurere og bruke Ollama for kjøring av AI-modeller på deres lokale maskiner.
Ved slutten av denne opplæringen, vil deltakerne kunne:
- Forstå grunnleggende prinsippene for Ollama og dets kapasiteter.
- Sette opp Ollama for kjøring av lokale AI-modeller.
- Dyrke og interagere med LLMs ved hjelp av Ollama.
- Optimalisere ytelse og ressurser for AI-arbeidsbyrdene.
- Utforske bruksområder for lokal AI-dyrking i ulike sektorer.
Ollama & Dataprivacy: Sikre Utplasseringmønstre
14 TimerOllama er en plattform som gjør det mulig å kjøre store språk- og multimodalmodeller lokalt samtidig som den støtter sikre innsatsstrategier.
Denne instruktørledede, live-treningen (online eller på stedet) er rettet mot mellomnivå-profesjonelle som ønsker å innføre Ollama med sterke data-privacy- og reguleringsmålestokker.
Ved avslutningen av denne treningen vil deltakerne være i stand til å:
- Innføre Ollama sikkert i beholdere og lokalmiljøer.
- Påføre differensierte privatitetsteknikker for å beskytte følsomme data.
- Implementere sikre loggings-, overvåknings- og revisjonsøvelser.
- Gjennomføre tilgangskontroll til data i samsvar med overholdelseskrav.
Format på kurset
- Interaktiv forelesning og diskusjon.
- Håndson-laber med sikre innsatsmønstre.
- Saksstudier og praktiske øvelser med fokus på overholdelse.
Tilpassingsmuligheter for kurset
- For å be om en tilpasset trening for dette kurset, ta kontakt med oss for å avtale.
Ollama Anvendelser i Finans
14 TimerOllama er et lettvint platform for å kjøre store språkmodeller lokalt.
Dette instruktørledede, live-treningen (online eller på stedet) er rettet mot mellomnivå finanspraktiserere og IT-personale som ønsker å implementere, tilpasse og operasjonalisere Ollama-baserte AI-løsninger i finansielle miljøer.
Ved å fullføre denne treningen vil deltakerne få de ferdighetene som er nødvendige for å:
- Dyrke og konfigurere Ollama for sikker bruk i finansielle operasjoner.
- Integrere lokale LLMs i analytiske og rapporteringsarbeidsflyter.
- Tilpasse modeller til finansspefisk terminologi og oppgaver.
- Bruke beste praksis for sikkerhet, personvern og overholdelse av reguleringer.
Kursformat
- Interaktiv forelesning og diskusjon.
- Praktiske øvelser med finansielle data.
- Live-lab implementering av finansfokuserte scenarier.
Kursanpassningsalternativer
- For å forespørre en tilpasset trening for dette kurset, vennligst kontakt oss for å ordne det.
Ollama-applikasjoner innen helsevesenet
14 TimerOllama er et lettvektsplattform for å kjøre store språkmodeller lokalt.
Denne instruktørledede, live-opplæringen (online eller på stedet) er rettet mot helsepersonell på mellomnivå og IT-team som ønsker å deployere, tilpasse og operasjonalisere Ollama-baserte AI-løsninger innenfor kliniske og administrative miljøer.
Etter å ha fullført denne opplæringen vil deltakerne kunne:
- Installere og konfigurere Ollama for sikker bruk i helsevesenet.
- Integrere lokale LLM-er i kliniske arbeidsprosesser og administrative rutiner.
- Tilpasse modeller for helsevesenets spesifikke terminologi og oppgaver.
- Anvende beste praksis for personvern, sikkerhet og overholdelse av forskrifter.
Kursformat
- Interaktiv forelesning og diskusjon.
- Håndgripelige demonstrasjoner og veiledede øvelser.
- Praktisk implementering i en isolert simuleringsmiljø for helsevesenet.
Alternativer for tilpasning av kurset
- For å bestille en tilpasset opplæring for dette kurset, vennligst kontakt oss for å avtale.
Ollama for Ansvarlig AI og Styring
14 TimerOllama er en plattform for å kjøre store språk- og multimodelle modeller lokalt, med støtte for styring og ansvarsfull AI-praksis.
Denne instruktørledede, live-treningen (online eller på sted) er rettet mot mellomnivå- til avanserte fagpersoner som ønsker å implementere rettferdighet, gjennomsiktighet og ansvarlighet i Ollama-drevne applikasjoner.
Ved slutten av denne treningen vil deltakerne kunne:
- Bruke prinsipper for ansvarsfull AI i Ollama-utplasseringer.
- Implementere strategier for innholdsfiltrering og biasreduksjon.
- Utforme styringsarbeidsflyter for AI-tilpasning og auditabilitet.
- Etablere overvåking og rapporteringsrammeverk for overholdelse.
Kursformat
- Interaktiv forelesning og diskusjon.
- Hendene på styringsarbeidsflytedesign-laboratorier.
- Tilfeller og øvelser fokusert på overholdelse.
Tilpasningsalternativer for kurs
- For å be om en tilpasset trening for dette kurset, ta kontakt med oss for å ordne.
Soberen AI for regulerte organisasjoner: Kontroller data, modeller og inferensmiljøer
7 TimerDette instruktørstyrte, levende kurset i Norge (online eller på stedet) er rettet mot IT-ledere, kompliance-rådgivere, sikkerhetsavdelinger og arkitekter med mellomkompetanse som ønsker å bruke prinsipper og styringspraksis for soberen AI til å designe AI-miljøer som beskytter sensitiv data, støttede krav om lokalisering og reduserer avhengighet av leverandører.
Etter dette kurset vil deltakerne kunne: forklare soberen AI-konsepter, vurdere muligheter for vertskap og styring, definere kontroller for forespørsler og logger, og lage en praktisk veiledning for adopsjon.
