Ta kontakt

Kursplan

Frakoblet implementering av EXO

  • Bruke EXO_OFFLINE for å forhindre internetttilgang under kjøring
  • Påforenkling av modeller i EXO_MODELS_READ_ONLY_DIRS fra tillitsfulle interne speilservere
  • Bekreftelse av modellvektintegritet med SHA-256-sjekksummer og signerte modellsedler
  • Kjøre EXO i luft-isolerte nettverk uten HuggingFace-avhengigheter

Dashbord- og API-tilgangskontroll

\r
  • Installere og konfigurere omvendte proxyer (nginx, Caddy) med TLS-oppheving
  • Implementere rollebasert tilgangskontroll for EXO-dashbordet og REST API
  • Bruk av macOS-nøkkekjeden eller Linux-pass for å lagre hemmeligheter for API-autentisering
  • Begrense administrative endepunkter til spesifikke kilde-IP-intervaller

Klusterisolering og nettverkssikkerhet

  • Segmentere EXO-klustre med EXO_LIBP2P_NAMESPACE og VLANs
  • Konfigurere vertbrannmurer (macOS programvarebrannmur, iptables, nftables) for EXO-porter
  • Forebygge uautorisert enhetsoppdagelse og injeksjon av svarte noder
  • Kryptere libp2p-trafikk mellom noder når RDMA ikke er tilgjengelig

Modellstyring og opprinnelse

  • Bygge et internt modellregister med godkjente modelllister og metadata
  • Merkelisting og versjonering av kvantiserte vektdata (4-bit, 8-bit) sammen med kildekontrollpunkter
  • Håndheve at bare spesifikke HuggingFace-repoer eller interne arkiver kan lastes inn
  • Dokumentere modelllinje, lisensvilkår og akseptabel brukspolicy

Auditor-loggføring og etterlevelse

  • Konfigurere EXO-loggforsendelse til uforanderlige revisjonslogger (SIEM, WORM-lagring)
  • Korrelere API-kalllogger med brukeridentitet og tidstempe
  • Fange opp hendelser for opprettelse, sletting og forespørsler om modellinstanser
  • Generere periodiske rapporter om etterlevelse for interne og eksterne revisorer

Trusselvurdering og händelsehåndtering

  • Identifisere trusler: datauttrekk gjennom modellutdata, prompt-injeksjon, sidekanal-lekkasjer
  • Implementere overvåking av prompts og innholdfiltreringspipelines
  • Lage prosedyrer for hendelseshåndtering ved klusterkompromittering
  • Isolere berørte noder, bevare forensiske logger, og gjenoppbygge rene miljøer

Fysisk sikkerhet og maskinvare-grenser

  • Sikre Thunderbolt-porter mot uautoriserte RDMA-kabelkoblinger
  • Bruk av sikre enklaver og Apple Silicon-hardware-attestasjon der det er aktuelt
  • Kontrollere fysisk tilgang til klustrerte Macs og delt lagring
  • Dokumentere maskinvareens livssyklus og nedleggelsesprosedyrer

Regulatoriske hensyn

  • Kartlegge EXO-implementeringer til GDPR, HIPAA og SOC 2-krav
  • Opprettholde dataresidens ved å holde inferensen lokalt
  • Dokumentere leverandørkjeders forsyningsrisikoer (MLX, EXO, modellvektdata)
  • Være forberedt på AI-styringsrammeverk som EU AI Act Artikel 53

Krav

  • Erfaring med EXO eller en annen lokal LLM-kjøretid
  • Forståelse for Unix-filsystemtilganger og nettverks-ACLs
  • Kunnskap om håndtering av TLS/SSL-sertifikater og grunnleggende kryptering

Målgruppe

  • Sikkerhetsingeniører
  • Etterlevelsesmyndigheter
  • Administratorer av AI-infrastruktur som håndterer sensitiv data
 14 Timer

Antall deltakere


Pris per deltaker

Referanser (1)

Kommende kurs

Relaterte kategorier