Ta kontakt

Kursplan

Inngang til EXO og lokalt AI-klustering

  • Oversikt over EXO-rammeverket og exo-explore-økosystemet
  • Sammenligning av sentralisert skyinferering vs. distribuert lokal inferering
  • Arkitektur: libp2p enhetsoppdagelse, MLX-back-end, dashbord og API-lag
  • Maskinvarekrav: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, delt lagring

Installasjon av EXO på macOS

  • Oppsett av Xcode, Metal ToolChain og macOS-krav
  • Installasjon av uv, Node.js, Rust nightly-verktøy
  • Installasjon av den faste macmon-forken for Apple Silicon-overvåking
  • Klone repositoryet og bygge dashbordet med npm
  • Kjøre EXO fra kildekoden og verifisere localhost:52415-dashbordet

Installasjon av EXO på Linux

  • Installasjon av avhengigheter via apt eller Homebrew på Linux
  • Konfigurering av uv, Node.js 18+ og Rust nightly
  • Bygge dashbordet og kjøre EXO i CPU-alene-modus
  • Mappeoppsett: XDG-grunnleggende mappebaner for konfigurasjon, data, mellomlagring og logger

Automatisk enhetsoppdagelse og klusteropprettelse

  • Forståelse av libp2p-basert automatisk oppdagelse over lokale nettverk
  • Konfigurering av tilpassede namespaces med EXO_LIBP2P_NAMESPACE for klusterisolering
  • Verifisering av nodemedlemskap i dashbordets klustervisning
  • Håndtering av oppdagelsesfeil og nettverkssegmenteringsproblemer

Aktivisering av RDMA over Thunderbolt 5

  • RDMA-arkitektur og 99-prosent reduksjon i latens
  • Aktivisering av RDMA i macOS Recovery-modus med rdma_ctl
  • Kabelkrav og porttopologibegrensninger på Mac Studio
  • Samme macOS-versjoner på alle klusternoder
  • Feilsøking av RDMA-oppdagelse og DHCP-konfigurasjon

Installasjon av fremtidsmodeller

  • Bruk av dashbordet for å laste og dele DeepSeek v3.1, Qwen3-235B og Llama-familien
  • Forhåndsvisning av instansplasseringer med /instance/previews API-endepunkt
  • Opprettelse av modellinstanser med pipeline- eller tensorparallell splitting
  • Konfigurering av tilpassede modellkort fra HuggingFace-hubben

Overvåking og feilsøking

  • Lese EXO-loggfiler og forstå distribuert sporing
  • Fortolke klusterhelse i dashbordets klustervisning
  • Diagnostisere worker-node-feil og tilkoblingsatferd
  • Bruk av EXO_TRACING_ENABLED for ytelsesflaskehalsanalyse

Klusteroppfølging og oppdateringer

  • Oppdatering av EXO-binærfiler og gjenoppbygging av dashbordet
  • Migrering av modellmellomlagring og håndtering av forhåndslastede modeller via NFS
  • Grasiøs fjerning av noder og omfordeling av arbeidsbelastninger

Krav

  • Forståelse av nettverksfundamental prinsipper (IP, subnetting, brannmurer)
  • Erfaring med kommandolinjeadministrasjon for macOS eller Linux
  • kjennskap til Python-pakkehåndtering (pip/uv) og Node.js-verktøy

Målgruppe

  • Systemadministratører
  • DevOps-ingeniører
  • AI-infrastrukturarkitekter ansvarlige for lokal LLM-installasjon
 21 Timer

Antall deltakere


Pris per deltaker

Kommende kurs

Relaterte kategorier