Takk for at du sendte din henvendelse! En av våre teammedlemmer vil kontakte deg straks.
Takk for at du sendte din bestilling! En av våre teammedlemmer vil kontakte deg straks.
Kursplan
Innføring i EXO og lokal AI-klustering
- Oversikt over EXO-rammeverket og exo-explore-økosystemet
- Sammenligning av sentralisert skylinferens mot distribuert lokal inferens
- Arkitektur: libp2p-enhetoppdagelse, MLX-backend, dashbordet og API-lagene
- Maskinvarekrav: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, delt lagring
Installasjon av EXO på macOS
- Oppsett av Xcode, Metal ToolChain og macOS-forutsetninger
- Installasjon av uv, Node.js, Rust nightly-verktøykassen
- Installasjon av den fikserte macmon-forken for Apple Silicon-overvåking
- Kloning av repoet og bygging av dashbordet med npm
- Kjøring av EXO fra kildekoden og verifisering av localhost:52415-dashbordet
Installasjon av EXO på Linux
- Installasjon av avhengigheter via apt eller Homebrew på Linux
- Konfigurering av uv, Node.js 18+ og Rust nightly
- Bygging av dashbordet og kjøring av EXO i kun-CPU-modus
- Mappesjikt: XDG Base Directory-stier for konfigurasjon, data, hurtigbuffer og logger
Automatisk enhetsoppdagelse og klusterdannelse
- Forståelse av libp2b-basert automatisk oppdagelse over lokale nettverk
- Konfigurering av egendefinerte navnerom med EXO_LIBP2P_NAMESPACE for klusterisolering
- Verifisering av nodedeltakelse i dashbordets kluservisning
- Håndtering av oppdagelsesfeil og nettverkssegmenteringsproblemer
Aktivering av RDMA over Thunderbolt 5
- RDMA-arkitektur og påstanden om 99 prosent latensreduksjon
- Aktivisering av RDMA i macOS Recovery-modus med rdma_ctl
- Kabelkrav og porttopologibegrensninger på Mac Studio
- Tilpassing av macOS-versjoner over alle klusternoder
- Feilsøking av RDMA-oppdagelse og DHCP-konfigurasjon
Deploying av banebrytende modeller
- Bruk av dashbordet til å laste og sharding DeepSeek v3.1, Qwen3-235B og Llama-familie-modeler
- Vise foreløpig plassering med /instance/previews-API-endepunktet
- Opretting av modelinstanser med pipeline eller tensor-parallel sharding
- Konfigurering av tilpassede kort fra HuggingFace-hubben
Overvåking og feilsøking
- Lese EXO-loggene og forstå distribuert sporing
- Tolke klustrehels i dashbordets kluservisning
- Diagnostisere feil på arbeiderknuter og tilkoblingsatferd
- Bruk av EXO_TRACING_ENABLED for ytelse flaskehalsanalyse
Opprettholdelse og oppdatering av klustre
- Oppdatering av EXO-binære filer og dashboards gjenoppbyggingsprosedyrer
- Migrering av modelhurtigbuffer og håndtering av forhåndsnedlastede modeller over NFS
- Fjerning av knuter med grasiøsitet og omfordeling av arbeidsbelastninger
Krav
- Forståelse av nettverksfundamentalene (IP, subnetting, brannmurer)
- Erfaring med macOS eller Linux kommandolinjeadministrasjon
- Kjennskap til Python-pakkehåndtering (pip/uv) og Node.js-verktøy
Publikum
- Sistemadministratorer
- DevOps-ingeniører
- AI-infrastrukturarkitekter ansvarlig for lokal LLM-deploying
21 Timer
