Ta kontakt

Kursplan

Offline-installasjon av EXO

  • Bruk av EXO_OFFLINE for å hindre internetttilgang under kjøring
  • Lasting på forhånd av modeller i EXO_MODELS_READ_ONLY_DIRS fra tillitverdige interne speil
  • Verifisering av modellvektintegritet med SHA-256-sjekksummer og signerte modellkort
  • Kjøring av EXO i luft-isolerte nettverk uten avhengigheter til HuggingFace

Kontroll av tilgang til dashboard og API

  • Installasjon og konfigurering av reverse proxies (nginx, Caddy) med TLS-avslutning
  • Implementering av rollebasert tilgangskontroll for EXO-dashboardet og REST-APIet
  • Bruk av macOS nøkkelring eller Linux pass for å lagre hemmeligheter for API-autentisering
  • Innskrenking av administrative endepunkter til spesifikke kilde-IP-områder

Klyngeisolasjon og nettverkssikkerhet

  • Segmentering av EXO-klynger med EXO_LIBP2P_NAMESPACE og VLAN-er
  • Konfigurering av vertspotbrannmurer (macOS programvarebrannmur, iptables, nftables) for EXO-porter
  • Hindre uautorisert enhetsspesifisering og innsprøyting av svindelknoter
  • Kryptering av libp2p-trafikk mellom noder når RDMA ikke er tilgjengelig

Modellgovernans og proveniens

  • Oppbygging av et internt modellregister med godkjente modelllister og metadata
  • Tagging og versjonering av kvantiserte vekter (4-bit, 8-bit) sammen med kildekontrollpunkter
  • Håndheving av at kun spesifikke HuggingFace-repositorier eller interne artefakter kan lastes inn
  • Dokumentering av modelllinje, lisensbetingelser og godkjente bruksretningslinjer

Auditloggning og samsvar

  • Konfigurering av EXO-logging mot uforanderlige revideringsspor (SIEM, WORM-lagring)
  • Korrelasjon av API-kalllogger med brukeridentitet og tidsstempele
  • Innfangning av hendelser knyttet til oppretting, sletting og inferensforespørsler av modellar
  • Generering av periodiske samsvar rapporter for interne og eksterne revisorer

Trusselmodellering og hendelseshåndtering

  • Identifisering av trusler: datautlevering gjennom modellutdata, prompt-injeksjon, sidekanalllekkasje
  • Implementering av prompt-overvåking og innholdsfiltreringsrørledninger
  • Opprettelse av hendelseshåndteringsrutiner for scenarioer med klyngebesettelse
  • Isolering av berørte noder, bevarelse av forensiske logger og oppbygging av rene miljøer

Fysisk sikkerhet og hardwaregrenser

  • Sikring av Thunderbolt-porter mot uautoriserte RDMA-kabeltilkoblinger
  • Bruk av sikre inneslutninger og Apple Silicon-hardwareattestering der det er aktuelt
  • Kontroll av fysisk tilgang til klyngede Mac-er og delt lagring
  • Dokumentering av hardwarelivssyklus og nedleggingprosedyrer

Regulatoriske hensyn

  • Mapping av EXO-installasjoner til GDPR-, HIPAA- og SOC 2-krav
  • Opprettholdelse av dataresidens ved å beholde inferens lokalt
  • Dokumentering av leverandørens forsyningskjederisiko (MLX, EXO, modellvekter)
  • Forberedelse til AI-governansrammeverk som EU AI Act Artikkel 53

Krav

  • Erfaring med EXO eller en annen lokal LLM-kjøretid
  • Forståelse av Unix-filsystemtilgangskontroller og nettverks-ACLs
  • Kunnskap om håndtering av TLS/SSL-sertifikater og grunntall for kryptering

Målgruppe

  • Sikkerhetsingeniører
  • Samsvarsoffiserer
  • Administratører av AI-infrastruktur som håndterer sensitiv data
 14 Timer

Antall deltakere


Pris per deltaker

Referanser (1)

Kommende kurs

Relaterte kategorier