Ta kontakt

Kursplan

Innføring i EXO og lokal AI-klustering

  • Oversikt over EXO-rammeverket og exo-explore-økosystemet
  • Sammenligning av sentralisert skylinferens mot distribuert lokal inferens
  • Arkitektur: libp2p-enhetoppdagelse, MLX-backend, dashbordet og API-lagene
  • Maskinvarekrav: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, delt lagring

Installasjon av EXO på macOS

  • Oppsett av Xcode, Metal ToolChain og macOS-forutsetninger
  • Installasjon av uv, Node.js, Rust nightly-verktøykassen
  • Installasjon av den fikserte macmon-forken for Apple Silicon-overvåking
  • Kloning av repoet og bygging av dashbordet med npm
  • Kjøring av EXO fra kildekoden og verifisering av localhost:52415-dashbordet

Installasjon av EXO på Linux

  • Installasjon av avhengigheter via apt eller Homebrew på Linux
  • Konfigurering av uv, Node.js 18+ og Rust nightly
  • Bygging av dashbordet og kjøring av EXO i kun-CPU-modus
  • Mappesjikt: XDG Base Directory-stier for konfigurasjon, data, hurtigbuffer og logger

Automatisk enhetsoppdagelse og klusterdannelse

  • Forståelse av libp2b-basert automatisk oppdagelse over lokale nettverk
  • Konfigurering av egendefinerte navnerom med EXO_LIBP2P_NAMESPACE for klusterisolering
  • Verifisering av nodedeltakelse i dashbordets kluservisning
  • Håndtering av oppdagelsesfeil og nettverkssegmenteringsproblemer

Aktivering av RDMA over Thunderbolt 5

  • RDMA-arkitektur og påstanden om 99 prosent latensreduksjon
  • Aktivisering av RDMA i macOS Recovery-modus med rdma_ctl
  • Kabelkrav og porttopologibegrensninger på Mac Studio
  • Tilpassing av macOS-versjoner over alle klusternoder
  • Feilsøking av RDMA-oppdagelse og DHCP-konfigurasjon

Deploying av banebrytende modeller

  • Bruk av dashbordet til å laste og sharding DeepSeek v3.1, Qwen3-235B og Llama-familie-modeler
  • Vise foreløpig plassering med /instance/previews-API-endepunktet
  • Opretting av modelinstanser med pipeline eller tensor-parallel sharding
  • Konfigurering av tilpassede kort fra HuggingFace-hubben

Overvåking og feilsøking

  • Lese EXO-loggene og forstå distribuert sporing
  • Tolke klustrehels i dashbordets kluservisning
  • Diagnostisere feil på arbeiderknuter og tilkoblingsatferd
  • Bruk av EXO_TRACING_ENABLED for ytelse flaskehalsanalyse

Opprettholdelse og oppdatering av klustre

  • Oppdatering av EXO-binære filer og dashboards gjenoppbyggingsprosedyrer
  • Migrering av modelhurtigbuffer og håndtering av forhåndsnedlastede modeller over NFS
  • Fjerning av knuter med grasiøsitet og omfordeling av arbeidsbelastninger

Krav

  • Forståelse av nettverksfundamentalene (IP, subnetting, brannmurer)
  • Erfaring med macOS eller Linux kommandolinjeadministrasjon
  • Kjennskap til Python-pakkehåndtering (pip/uv) og Node.js-verktøy

Publikum

  • Sistemadministratorer
  • DevOps-ingeniører
  • AI-infrastrukturarkitekter ansvarlig for lokal LLM-deploying
 21 Timer

Antall deltakere


Pris per deltaker

Kommende kurs

Relaterte kategorier