Implementering av Tencent Hunyuan i produksjon: Inferens med lav latens og kostnadsoptimalisering Treningskurs
Implementering av Tencent Hunyuan i produksjon: Inferens med lav latens og kostnadsoptimalisering er en praktisk kursomgang om å kjøre Tencent Hunyuan-modeller pålitelig i stor skala.
Dette instruktørledede, live-kurset (online eller på stedet) er rettet mot ingeniører og arkitekter på mellomnivå som ønsker å bruke Tencent Hunyuan til å deploye store og MoE-modeller med lavere latens, bedre GPU-utnyttelse og kontrollerte driftskostnader.
Ved slutten av dette kurset vil deltakerne kunne:
- forklare de viktigste produksjonsutfordringene ved å kjøre Tencent Hunyuan-modeller.
- anvende praktiske inferensoptimeringsteknikker som TensorRT, KV-cache-justering, kvantisering og batching.
- designe en skalerbar implementeringsmetode med autoskaling, overvåking og kapasitetsplanlegging.
- forbedre avveininger mellom latens og kostnader for reelle produksjonsarbeidslast.
Kursformat
- Interaktiv forelesning og diskusjon.
- Mange øvelser og praksis.
- Praktisk implementering i et live-lab-miljø.
Tilpasningsalternativer for kurset
- For å bestille en tilpasset opplæring for dette kurset, vennligst kontakt oss for å arrangere dette.
Kursplan
Grunnleggende om Tencent Hunyuan i produksjon
- Oversikt over Tencent Hunyuan-modell-tjenestescenarier
- Produksjonsegenskaper ved store og MoE-modeller
- Vanlige flaskehalser knyttet til latens, gjennomstrømming og kostnader
- Definere tjenestenivåmål for inferensarbeidslast
Implementeringsarkitektur og tjenesteflyt
- Kjernekomponenter i en produksjonssjikt for inferens
- Valg mellom containerbaserte, lokale og skybaserte implementeringsmodeller
- Grunnleggende om modellinnlasting, forespørselsrouting og GPU-tildeling
- Design for pålitelighet og operativ enkelthet
Praktisk latensoptimalisering
- Bruk av optimerte inferensmotorer som TensorRT der det er aktuelt
- KV-cache-konsepter og praktisk justering av cache
- Reduksjon av oppstart, varmstart og responsomkostninger
- Måling av tid til første token og hastighet på token-generering
Gjennomstrømming, batching og GPU-effektivitet
- Kontinuerlig batching og strategier for forespørselsbatching
- Håndtering av samtidighet og køoppførsel
- Forbedret GPU-utnyttelse uten å skade brukeropplevelsen
- Håndtering av forespørsler med langt kontekstvindu og blandede arbeidslast
Kvantisering og kostnadskontroll
- Hvorfor kvantisering er viktig for produksjonstjenester
- Praktiske avveininger mellom FP16, INT8 og andre vanlige presisjonsalternativer
- Balansering av modellkvalitet, latens og infrastrukturkostnader
- Oppbygging av en enkel sjekkliste for kostnadsoptimalisering
Operasjoner, overvåking og beredskapsgjennomgang
- Triggerpunkter for autoskaling av inferenstjenester
- Overvåking av latens, gjennomstrømming, cache-bruk og GPU-helse
- Grunnleggende om logging, varsling og hendelseshåndtering
- Gjennomgang av en referanseimplementering og oppretting av forbedringsplan
Krav
- Grunnleggende forståelse av implementering og inferensarbeidsflyt for store språkmodeller
- Erfaring med containere, sky- eller lokal infrastruktur og tjenester basert på API
- Praktisk kunnskap om Python eller systemingeniøroppgaver
Målgruppe
- ML-ingeniører som deployer LLM-er i produksjon
- Plattformingeniører som er ansvarlige for GPU-baserte inferenstjenester
- Løsningsarkitekter som designer skalerbare AI-tjenesteplattformer
Åpne kurs krever 5+ deltakere.
Implementering av Tencent Hunyuan i produksjon: Inferens med lav latens og kostnadsoptimalisering Treningskurs - Bestilling
Implementering av Tencent Hunyuan i produksjon: Inferens med lav latens og kostnadsoptimalisering Treningskurs - Forespørsel
Implementering av Tencent Hunyuan i produksjon: Inferens med lav latens og kostnadsoptimalisering - Konsulentforespørsel
Kommende kurs
Relaterte kurs
Avansert LangGraph: Optimalisering, Feilsøking og Overvåkning av Komplekse Grafer
35 TimerLangGraph er et rammeverk for å bygge tilstandsstyrte, multi-aktor LLM-applikasjoner som sammensatte grafer med vedvarende tilstand og kontroll over utførelsen.
Denne instruktørledede, live-treningen (online eller på stedet) er rettet mot AI-plattformingeniører, DevOps for AI, og ML-arkitekter på avansert nivå som ønsker å optimalisere, feilsøke, overvåke og drifte produksjonsklare LangGraph-systemer.
Ved slutten av denne treningen vil deltakerne kunne:
- Designe og optimalisere komplekse LangGraph-topologier for hastighet, kostnad og skalerbarhet.
- Ingeniørreliabilitet med gjentakelser, tidsutløsninger, idempotens, og gjenoppretting basert på sjekkpunkter.
- Feilsøke og spore grafutførelser, inspisere tilstand, og systematisk reprodusere produksjonsproblemer.
- Instrumentere grafer med loggfiler, målinger og spor, deployere til produksjon, og overvåke SLAs og kostnader.
Format for kurset
- Interaktiv forelesning og diskusjon.
- Mye øvelser og praksis.
- Hands-on implementering i et live-laboratoriumsmiljø.
Kursetilpassingsmuligheter
- For å be om tilpasset trening for dette kurset, ta kontakt med oss for å avtale.
Bygging av Kodingagenter med Devstral: Fra Agentdesign til Verktøy
14 TimerDevstral er en åpen kilde rammeverk designet for å bygge og kjøre kodingsagenter som kan interagere med kodebaser, utviklerverktøy og APIer for å øke ingeniørproduktivitet.
Denne instruktørledede, live-treningen (online eller på stedet) er rettet mot mellomnivå til avanserte ML-ingeniører, utviklerverktøy-teamer og SREs som ønsker å designe, implementere og optimere kodingsagenter ved hjelp av Devstral.
Ved slutten av denne treningen vil deltakerne kunne:
- Sette opp og konfigurere Devstral for utvikling av kodingsagenter.
- Designe agentbaserte arbeidsflyter for utforskning og modifisering av kodebaser.
- Integre kodingsagenter med utviklerverktøy og APIer.
- Implementere beste praksis for sikker og effektiv agentdeploiement.
Kursformat
- Interaktiv forelesning og diskusjon.
- Mange øvelser og praksis.
- Hånds på implementering i et live-lab-miljø.
KursTilpassingsmuligheter
- For å be om en tilpasset trening for dette kurset, vennligst ta kontakt for å avtale.
Open-Source Model Ops: Selvhøsting, Finjustering og Styring med Devstral & Mistral Modeller
14 TimerDevstral og Mistral-modeller er åpne kilder AI-teknologier designet for fleksibel innføring, finjustering og skalerbar integrering.
Denne instruktørledede, live-treningen (online eller på stedet) er rettet mot mellomnivå til avanserte ML-ingeniører, plattformteam, og forskningsingeniører som ønsker å selv vertshus, finjustere og styre Mistral og Devstral-modeller i produksjonsmiljøer.
Ved avslutningen av denne treningen vil deltakerne kunne:
- Sette opp og konfigurere selv vertshus miljøer for Mistral og Devstral-modeller.
- Anvende finjusteringsteknikker for domenespesifikk ytelse.
- Implementere versjonering, overvåking, og livssyklusstyring.
- Sikre sikkerhet, overholdelse, og ansvarsfull bruk av åpne kildekode modeller.
Kursets format
- Interaktiv forelesning og diskusjon.
- Hender-på øvelser i selv vertshus og finjustering.
- Live-lab implementering av styring og overvåkingsrørledninger.
Kursetilpassingsmuligheter
- For å be om en tilpasset trening for dette kurset, ta kontakt med oss for å avtale.
LangGraph Applikasjoner innen Finans
35 TimerLangGraph er et rammeverk for å bygge tilstandsbaserte, multi-actor LLM-applikasjoner som sammensatte grafer med vedvarende tilstand og kontroll over utføring.
Denne instruktørledede, live-treningen (online eller på sted) er rettet mot mellomnivå- til avanserte profesjonelle som ønsker å designe, implementere og drive LangGraph-baserte finansløsninger med riktig styring, observabilitet og overholdelse.
Ved slutten av denne treningen vil deltakerne kunne:
- Designe finansrelaterte LangGraph-flere arbeidsflyter som følger regelverks- og revisjonskrav.
- Integere finansielle datastandarder og ontologier i graftilstand og verktøy.
- Implementere pålitelighet, sikkerhet og menneske-i-løkke-kontroll for kritiske prosesser.
- Deploy, overvåke og optimalisere LangGraph-systemer for ytelse, kostnad og SLAs.
Format på kurset
- Interaktiv forelesning og diskusjon.
- Mange øvelser og praktisk trening.
- Hender i live-laboratoriums miljø.
Tilpassingsalternativer for kurset
- For å be om en tilpasset trening for dette kurset, vennligst kontakt oss for å avtale.
LangGraph Foundations: Graph-Based LLM Prompting and Chaining
14 TimerLangGraph er en rammeverk for å bygge grafbaserte LLM-applikasjoner som støtter planlegging, grening, verktøybruk, minne og kontrollerbar utførelse.
Denne instruktørledede, live-trainingen (online eller på stedet) er rettet mot utviklere på begynnernivå, prompt-ingeniører og datapraktikere som ønsker å designe og bygge pålitelige, flertrinns LLM-arbeidsflyter ved hjelp av LangGraph.
Ved slutten av denne trainingen vil deltakerne kunne:
- Forklare kjernekonsepter i LangGraph (noder, kanter, tilstand) og når de skal brukes.
- Bygge promptkjeder som grener, kaller verktøy og opprettholder minne.
- Integere henting og eksterne API-er i grafarbeidsflyter.
- Teste, feilsøke og vurdere LangGraph-apper for pålitelighet og sikkerhet.
Kursformat
- Interaktiv forelesning og fasilitert diskusjon.
- Veiledede laboratorier og kodegåthrough i en sandkassemiljø.
- Scenariebaserte øvelser på design, testing og vurdering.
Muligheter for kurskustomisering
- For å be om en tilpasset treningskurs for dette kurset, vennligst kontakt oss for å avtale.
LangGraph in Healthcare: Workflow Orchestration for Regulated Environments
35 TimerLangGraph muliggjør tilstandsbaserte, multi-aktorarbeidsfløter drevet av LLMs med presis kontroll over utførelsespåer og tilstandspersistens. I helsevesenet er disse evnene avgjørende for overholdelse av forskrifter, interoperabilitet og opprettelse av beslutningsstøttesystemer som samordnes med medisinske arbeidsfløter.
Denne instruktørledede, live trening (online eller på stedet) er rettet mot mellomnivå- til avanserte fagfolk som ønsker å designe, implementere og administrere LangGraph-baserte helsevesenløsninger mens de møter regulerings-, etiske og operative utfordringer.
Ved avslutningen av denne treningen vil deltakerne kunne:
- Designe helsevesen-spesifikke LangGraph-arbeidsfløter med overholdelse og auditering i tankene.
- Integrere LangGraph-applikasjoner med medisinske ontologier og standarder (FHIR, SNOMED CT, ICD).
- Bruke beste praksis for pålitelighet, sporbarhet og forklarbarhet i sensitive miljøer.
- Utplassere, overvåke og validere LangGraph-applikasjoner i helsevesensproduksjonsmiljøer.
Format på kurset
- Interaktive forelesninger og diskusjoner.
- Hender-på øvelser med virkelige tilfeller.
- Implementeringsøvelser i et live-labmiljø.
Tilpasningsmuligheter for kurset
- For å be om tilpasset trening for dette kurset, vennligst kontakt oss for å avtale.
LangGraph for Legal Applications
35 TimerLangGraph er et rammeverk for å bygge tilstandsbevarende, fleraktør LLM-applikasjoner som sammensatte grafer med persistert tilstand og nøyaktig kontroll over kjøring.
Denne instruktørførte, live-utdanningen (online eller på stedet) er rettet mot mellomnivå- til avanserte profesjonelle som ønsker å designe, implementere og driftsette LangGraph-baserte juridiske løsninger med nødvendige overholdelses-, sporbarhets- og reguleringskontroller.
Ved slutten av denne utdannelsen vil deltakerne kunne:
- Designe juridisk spesifikke LangGraph-arbeidsflyter som bevare sporbarhet og overholdelse.
- Integrere juridiske ontologier og dokumentstandarder i grafens tilstand og behandling.
- Implementere kontrollmekanismer, godkjenninger med menneskelig involvering og sporbare beslutningssti.
- Driftsette, overvåke og vedlikeholde LangGraph-tjenester i produksjon med observabilitet og kostnadskontroll.
Kursformat
- Interaktiv forelesning og diskusjon.
- Mye øvelser og praksis.
- Hånd-on implementering i et live-lab-miljø.
Kursanpassningsmuligheter
- For å be om en anpasset utdanning for dette kurset, kontakt oss for å avtale.
Bygging av Dynamiske Arbeidsflyter med LangGraph og LLM Agents
14 TimerLangGraph er et rammeverk for å sammensette grafbaserte LLM-arbeidsflyter som støtter avgrening, verktøybruk, hukommelse og kontrollert utførelse.
Denne instruktørledede, live-treningen (online eller på sted) er rettet mot mellomnivåingeniører og produktlag som ønsker å kombinere LangGraphs graflogikk med LLM-agent-sløyfer for å bygge dynamiske, kontekstavhengige applikasjoner som kundestøtteagenter, beslutningstrær og informasjonshentingssystemer.
Ved slutten av denne treningen vil deltakerne kunne:
- Designe grafbaserte arbeidsflyter som koordinerer LLM-agenter, verktøy og hukommelse.
- Implementere betinget ruting, gjentakelser og reserveplaner for robust utførelse.
- Integere henting, APIs og strukturerte utdata i agent-sløyfer.
- Vurdere, overvåke og sikre agentatferd for pålitelighet og sikkerhet.
Format på kurset
- Interaktiv forelesning og fasilitert diskusjon.
- Veiledede laboratorier og kodegjennomganger i en sandkasse-miljø.
- Scenariobaserte designøvelser og kollegaomtaler.
Tilpassingsmuligheter for kurset
- For å be om tilpasset trening for dette kurset, ta kontakt med oss for å avtale.
LangGraph for Marketing Automation
14 TimerLangGraph er et grafbasert orkestreringsrammeverk som gjør det mulig å implementere betingede, fler-trinns LLM- og verktøy-arbeidsflyt. Dette rammen er ideelt for automatisering og personalisering av innholdspipelines.
Denne instruktørflyttede, live-treningen (online eller på stedet) er rettet mot markedsførere med mellomnivåkompetanse, innholdsstrateger og automatiseringudviklere som ønsker å implementere dynamiske, greningsmessige e-postkampanjer og innholdsgenereringspipelines ved hjelp av LangGraph.
Ved slutten av denne treningen vil deltakerne kunne:
- Designe grafstrukturert innhold og e-postarbeidsflyt med betingelseslogikk.
- Integrere LLMs, APIer og datasøknelser for automatisert personalisering.
- Administrere tilstand, minne og kontekst i fler-trinns kampanjer.
- Evaluere, overvåke og optimalisere arbeidsflyts prestasjon og leveranseresultater.
Kursform
- Interaktive forelesninger og gruppediskusjoner.
- Praktiske laboratorieøvelser med implementering av e-postarbeidsflyt og innholdspipelines.
- Scenario-baserte øvelser om personalisering, segmentering og greningslogikk.
Kursanpassningsmuligheter
- For å be om en tilpasset trening for dette kurset, vennligst kontakt oss for å ordne det.
Le Chat Enterprise: Privat ChatOps, Integrasjoner & Admin-kontroller
14 TimerLe Chat Enterprise er en privat ChatOps-løsning som tilbyr sikre, tilpassbare og regulerte konversasjonsbaserte AI-funksjoner for organisasjoner, med støtte for RBAC, SSO, koblinger og integrasjoner med bedriftsapplikasjoner.
Denne instruktørledede, live treningen (online eller på sted) er rettet mot mellomnivå-produktansvarlige, IT-ledere, løsningsingeniører og sikkerhets-/samsvarslag som ønsker å implementere, konfigurere og administrere Le Chat Enterprise i bedriftsmiljøer.
Ved slutten av denne treningen vil deltakerne kunne:
- Sette opp og konfigurere Le Chat Enterprise for sikre implementeringer.
- Aktivere RBAC, SSO og samvarsdrevet kontroll.
- Integrere Le Chat med bedriftsapplikasjoner og datalagre.
- Utforme og implementere styrings- og administrativspørsmål for ChatOps.
Formatet på kurset
- Interaktiv forelesning og diskusjon.
- Mange øvelser og øving.
- Hender i en live-lab-miljø.
Tilpassingsmuligheter for kurset
- For å be om tilpasset trening for dette kurset, vennligst kontakt oss for å avtale.
Cost-Effective LLM Architectures: Mistral at Scale (Performance / Cost Engineering)
14 TimerMistral er en høyytelsesfamilie av store språkmodeller optimerte for kostnadseffektiv produksjonsutplasserings i stor skala.
Denne instruktørledede, live-trainingen (online eller på sted) er rettet mot avanserte infrastrukturingeniører, skyarkitekter og MLOps-ledere som ønsker å designe, utplassere og optimalisere Mistral-baserte arkitekturer for maksimal gjennomstrømning og minste kostnad.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Implementere skalbare utplasseringmønstre for Mistral Medium 3.
- Anvende batching, kvantisering og effektiv serveringsstrategier.
- Optimalisere inferenskostnader mens ytelsen opprettholdes.
- Designe produksjonsklare serveringstopologier for bedriftsarbeidsbelastninger.
Kursformat
- Interaktiv forelesning og diskusjon.
- Mange øvelser og praktiske oppgaver.
- Hånds-on implementering i en live-lab-miljø.
Tilpassingsmuligheter for kurset
- For å be om en tilpasset opplæring for dette kurset, vennligst kontakt oss for å avtale.
Produksjon av samtaleassistenter med Mistral-koblinger og integrasjoner
14 TimerMistral AI er en åpen AI-plattform som gjør det mulig for team å bygge og integrere samtaleassistenter i bedrifts- og kundefokuserte arbeidsflyter.
Denne instruktørledede opplæringen (online eller på stedet) er rettet mot produktansvarlige, full-stack-utviklere og integrasjonsingeniører på begynnernivå til mellomnivå som ønsker å designe, integrere og produktisere samtaleassistenter ved hjelp av Mistral-tilkoblinger og integrasjoner.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Integrere Mistral samtalemodeller med bedrifts- og SaaS-tilkoblinger.
- Implementere retriever-augmentert generering (RAG) for grunnlagte svar.
- Designe brukeropplevelsespatroner for interne og eksterne chatassistenter.
- Utplassere assistenter i produktarbeidsflyter for virkelige brukstilfeller.
Formatet på kurset
- Interaktiv forelesning og diskusjon.
- Hender på integrasjonsøvelser.
- Livsutvikling av samtaleassistenter.
Tilpasningsalternativer for kurset
- For å be om en tilpasset opplæring for dette kurset, vennligst kontakt oss for å avtale.
Enterprise-Grade Deployments med Mistral Medium 3
14 TimerMistral Medium 3 er en høyytelsesfull, multimodal stor språkmodell designet for produksjonsnivåutplasseringer i virksomhetsmiljøer.
Dette er en instruktørledet, live-trening (online eller på stedet) som er rettet mot mellomnivå til avanserte AI/ML-ingeniører, plattformarkitekter og MLOps-teamer som ønsker å utplassere, optimalisere og sikre Mistral Medium 3 for virksomhetsbruksområder.
Ved slutten av denne treningen vil deltakerne være i stand til å:
- Utplassere Mistral Medium 3 ved bruk av API- og selvvertevalgte alternativer.
- Optimalisere inferensytelse og kostnader.
- Implementere multimodale bruksområder med Mistral Medium 3.
- Søke om sikkerhets- og overholdelsesbest praksis for virksomhetsmiljøer.
Format på kurset
- Interaktiv forelesning og diskusjon.
- Mange øvelser og praktiske oppgaver.
- Håndson implementering i et live-lab-miljø.
Kursets tilpassingsmuligheter
- For å be om tilpasset trening for dette kurset, ta kontakt med oss for å ordne.
Mistral for Ansvarlig AI: Personvern, Databosetning & Bedriftskontroller
14 TimerMistral AI er en åpen og bedriftsklar AI-plattform som gir funksjoner for sikker, samsvarsmessig og ansvarlig AI-utplassering.
Denne instruktørlede, levende opplæringen (online eller på stedet) er rettet mot mellomnivåets samsvarsledere, sikkerhetsarkitekter og juridiske/operasjonsansvarlige som ønsker å implementere ansvarlige AI-praksiser med Mistral ved å utnytte privatliv, dataoppholdsmekanismer og bedriftskontroll.
Ved slutten av denne opplæringen vil deltakerne være i stand til å:
- Implementere privatlivsbevarende teknikker i Mistral-utplasseringer.
- Påføre dataresidensstrategier for å møte regelverkskrav.
- Sette opp bedriftsgradskontroller som RBAC, SSO og revisjonslogger.
- Vurdere leverandør- og utplasseringmuligheter for samsvarsavstemming.
Kursform
- Interaktiv forelesning og diskusjon.
- Samsvarsfokuserte case-studier og øvelser.
- Praktisk implementering av bedrifts AI-kontroll.
Kursjusteringsmuligheter
- For å be om en tilpasset opplæring for dette kurset, vennligst ta kontakt med oss for å avtale.
Multimodal Applications med Mistral Models (Vision, OCR, & Dokumentforståelse)
14 TimerMistral-modeller er åpen kildekode AI-teknologi som nå utvides til multimodale arbeidsflyter, som støtter både språk- og visjonsoppgaver for virksomhets- og forskningsapplikasjoner.
Denne instruktørledede, live-treningen (online eller på stedet) er rettet mot mellomnivå ML-forskere, anvendte ingeniører og produktteam som ønsker å bygge multimodale applikasjoner med Mistral-modeller, inkludert OCR og dokumentforståelsesprosesser.
Ved slutten av denne treningen vil deltakerne være i stand til å:
- Sette opp og konfigurere Mistral-modeller for multimodale oppgaver.
- Implementere OCR-arbeidsflyter og integrere dem med NLP-pipelines.
- Utforme dokumentforståelsesapplikasjoner for virksomhetsbrukstilfeller.
- Utvikle visjon-tekstsøk og assistiv UI-funksjonalitet.
Kursformat
- Interaktiv forelesning og diskusjon.
- Prøve med kodingsøvelser.
- Live-lab implementering av multimodale pipelines.
Tilpassningsmuligheter for kurset
- For å be om et tilpasset kurs for dette emnet, vennligst kontakt oss for å avtale.
