Implementering av Tencent Hunyuan i produksjon: Lav latens og kostnadsoptimalisering Treningskurs
Implementering av Tencent Hunyuan i produksjon: Lav latens og kostnadsoptimalisering er et praktisk kurs om drift av Tencent Hunyuan-modeller pålitelig og i stor skala.
Dette instruktørstyrte, levende kurset (online eller på stedet) er rettet mot ingeniører og arkitekter med mellomliggende kompetanse som ønsker å bruke Tencent Hunyuan til å distribuere store modeller og MoE-modeller med lavere latens, bedre GPU-utnyttelse og kontrollerte driftskostnader.
Am slutt av dette kurset vil deltakerne være i stand til å:
- forklare hovedutfordringene ved produksjonsdrift av Tencent Hunyuan-modeller.
- anvende praktiske teknikker for optimalisering av inferens, som TensorRT, finjustering av KV-cache, kvantisering og batching.
- utforme en skalerbar distribusjonsstrategi med automatisert skalering, overvåking og kapasitetsplanlegging.
- forbedre avveiningen mellom latens og kostnader for reelle produksjonsarbeidsbelastninger.
Kursformatet
- Interaktiv forelesning og diskusjon.
- Mange øvelser og praktisk trening.
- Håndheving i et levende laboratorieområde.
Alternativer for tilpasning av kurset
- For å bestille en tilpasset opplæring for dette kurset, vennligst kontakt oss for avtale.
Kursplan
Grunnleggende om Tencent Hunyuan i produksjon
- Oversikt over bruksscenarier for distribusjon av Tencent Hunyuan-modeller
- Produsjonsegenskaper ved store modeller og MoE-modeller
- Vanne flaskehalser når det gjelder latens, ytelse og kostnader
- Definere tjenestenivåmål (SLA) for inferensarbeidsbelastninger
Distribusjonsarkitektur og distribusjonsflyt
- Komponenter i et produksjonsinferens-stack
- Valg mellom distribusjonsmodeller med containere, lokalt installert infrastruktur og sky
- Modelllasting, forespørselrouting og grunntanker for GPU-allokering
- Utvikling for pålitelighet og operasjonal enkelhet
Latensoptimalisering i praksis
- Bruk av optimaliserte inferensmotorer som TensorRT der det er aktuelt
- KV-cache-konsepter og praktisk finjustering av cache
- Minsk oppstart, varmningstid og svarforbruk
- Måling av tid til første token og genereringshastighet for tokens
Ytelse, batching og GPU-effektivitet
- Kontinuerlig batching og forespørselsbatching-strategier
- Håndtering av konkurrent og køadferd
- Forbedre GPU-utnyttelsen uten å skade brukeropplevelsen
- Håndtere forespørsler med lang kontekst og blandet arbeidsbelastning
Kvantisering og kostnadskontroll
- Hvorfor kvantisering er viktig for produksjonsdistribusjon
- Praktiske avveininger mellom FP16, INT8 og andre vanlige presisjonsalternativer
- Balansere modellkvalitet, latens og infrastrukturkostnader
- Bygge en enkel sjekkliste for kostnadsoptimalisering
Drift, overvåking og klarhetsgjennomgang
- Automatisk skalering av inferenstjenester
- Overvåking av latens, ytelse, cachebruk og GPU-helse
- Grunntanker for loggføring, varsler og hendelseshåndtering
- Gjennomgang av en referansedistribusjon og utarbeide en forbedringsplan
Krav
- Grunnleggende forståelse av distribusjon og inferensarbeidsflyter for store språkmodeller
- Er erfaring med containere, skyinfrastruktur eller lokalt installert infrastruktur, og API-baserte tjenester
- Praktisk kunnskap om Python eller systemingeniør-oppgaver
Målgruppe
- ML-ingeniører som distribuerer store språkmodeller (LLM) til produksjon
- Plattformingeniører ansvarlige for GPU-baserte inferenstjenester
- Løsningsarkitekter som utformer skalerbare plattformer for AI-distribusjon
Åpne kurs krever 5+ deltakere.
Implementering av Tencent Hunyuan i produksjon: Lav latens og kostnadsoptimalisering Treningskurs - Bestilling
Implementering av Tencent Hunyuan i produksjon: Lav latens og kostnadsoptimalisering Treningskurs - Forespørsel
Implementering av Tencent Hunyuan i produksjon: Lav latens og kostnadsoptimalisering - Konsulentforespørsel
Kommende kurs
Relaterte kurs
Avansert LangGraph: Optimalisering, Feilsøking og Overvåkning av Komplekse Grafer
35 TimerLangGraph er et rammeverk for å bygge tilstandsstyrte, multi-aktor LLM-applikasjoner som sammensatte grafer med vedvarende tilstand og kontroll over utførelsen.
Denne instruktørledede, live-treningen (online eller på stedet) er rettet mot AI-plattformingeniører, DevOps for AI, og ML-arkitekter på avansert nivå som ønsker å optimalisere, feilsøke, overvåke og drifte produksjonsklare LangGraph-systemer.
Ved slutten av denne treningen vil deltakerne kunne:
- Designe og optimalisere komplekse LangGraph-topologier for hastighet, kostnad og skalerbarhet.
- Ingeniørreliabilitet med gjentakelser, tidsutløsninger, idempotens, og gjenoppretting basert på sjekkpunkter.
- Feilsøke og spore grafutførelser, inspisere tilstand, og systematisk reprodusere produksjonsproblemer.
- Instrumentere grafer med loggfiler, målinger og spor, deployere til produksjon, og overvåke SLAs og kostnader.
Format for kurset
- Interaktiv forelesning og diskusjon.
- Mye øvelser og praksis.
- Hands-on implementering i et live-laboratoriumsmiljø.
Kursetilpassingsmuligheter
- For å be om tilpasset trening for dette kurset, ta kontakt med oss for å avtale.
Bygging av Kodingagenter med Devstral: Fra Agentdesign til Verktøy
14 TimerDevstral er en åpen kilde rammeverk designet for å bygge og kjøre kodingsagenter som kan interagere med kodebaser, utviklerverktøy og APIer for å øke ingeniørproduktivitet.
Denne instruktørledede, live-treningen (online eller på stedet) er rettet mot mellomnivå til avanserte ML-ingeniører, utviklerverktøy-teamer og SREs som ønsker å designe, implementere og optimere kodingsagenter ved hjelp av Devstral.
Ved slutten av denne treningen vil deltakerne kunne:
- Sette opp og konfigurere Devstral for utvikling av kodingsagenter.
- Designe agentbaserte arbeidsflyter for utforskning og modifisering av kodebaser.
- Integre kodingsagenter med utviklerverktøy og APIer.
- Implementere beste praksis for sikker og effektiv agentdeploiement.
Kursformat
- Interaktiv forelesning og diskusjon.
- Mange øvelser og praksis.
- Hånds på implementering i et live-lab-miljø.
KursTilpassingsmuligheter
- For å be om en tilpasset trening for dette kurset, vennligst ta kontakt for å avtale.
Open-Source Model Ops: Selvhøsting, Finjustering og Styring med Devstral & Mistral Modeller
14 TimerDevstral og Mistral-modeller er åpne kilder AI-teknologier designet for fleksibel innføring, finjustering og skalerbar integrering.
Denne instruktørledede, live-treningen (online eller på stedet) er rettet mot mellomnivå til avanserte ML-ingeniører, plattformteam, og forskningsingeniører som ønsker å selv vertshus, finjustere og styre Mistral og Devstral-modeller i produksjonsmiljøer.
Ved avslutningen av denne treningen vil deltakerne kunne:
- Sette opp og konfigurere selv vertshus miljøer for Mistral og Devstral-modeller.
- Anvende finjusteringsteknikker for domenespesifikk ytelse.
- Implementere versjonering, overvåking, og livssyklusstyring.
- Sikre sikkerhet, overholdelse, og ansvarsfull bruk av åpne kildekode modeller.
Kursets format
- Interaktiv forelesning og diskusjon.
- Hender-på øvelser i selv vertshus og finjustering.
- Live-lab implementering av styring og overvåkingsrørledninger.
Kursetilpassingsmuligheter
- For å be om en tilpasset trening for dette kurset, ta kontakt med oss for å avtale.
LangGraph Applikasjoner innen Finans
35 TimerLangGraph er et rammeverk for å bygge tilstandsbaserte, multi-actor LLM-applikasjoner som sammensatte grafer med vedvarende tilstand og kontroll over utføring.
Denne instruktørledede, live-treningen (online eller på sted) er rettet mot mellomnivå- til avanserte profesjonelle som ønsker å designe, implementere og drive LangGraph-baserte finansløsninger med riktig styring, observabilitet og overholdelse.
Ved slutten av denne treningen vil deltakerne kunne:
- Designe finansrelaterte LangGraph-flere arbeidsflyter som følger regelverks- og revisjonskrav.
- Integere finansielle datastandarder og ontologier i graftilstand og verktøy.
- Implementere pålitelighet, sikkerhet og menneske-i-løkke-kontroll for kritiske prosesser.
- Deploy, overvåke og optimalisere LangGraph-systemer for ytelse, kostnad og SLAs.
Format på kurset
- Interaktiv forelesning og diskusjon.
- Mange øvelser og praktisk trening.
- Hender i live-laboratoriums miljø.
Tilpassingsalternativer for kurset
- For å be om en tilpasset trening for dette kurset, vennligst kontakt oss for å avtale.
LangGraph Foundations: Grafbasert LLM-prompting og -kjedning
14 TimerLangGraph er et rammeverk for å bygge LLM-applikasjoner med strukturerte grafer som støtter planlegging, grening, verktøybruk, minne og kontrollerbar utførelse.
Dette instruktørledete, live-opplæringen (online eller på stedet) er rettet mot utviklere på nybegynnernivå, prompt-ingeniører og databehandlere som ønsker å designe og bygge pålitelige, flertrinns LLM-arbeidsflyter ved hjelp av LangGraph.
Etter slutten av denne opplæringen vil deltakerne kunne:
- Forklare grunnleggende LangGraph-konsepter (noder, kanter, tilstand) og når de skal brukes.
- Bygge prompt-kjeder som grener seg, kaller på verktøy og opprettholder minne.
- Integrere henting og eksterne API-er i graf-arbeidsflyter.
- Teste, feilsøke og evaluere LangGraph-applikasjoner for pålitelighet og sikkerhet.
Kursformat
- Interaktiv forelesning og facilitated diskusjon.
- Veiledede laboratorier og kodegjennomganger i et sandkasse-miljø.
- Scenario-baserte øvelser innen design, testing og evaluering.
Alternativer for tilpasning av kurset
- Hvis du ønsker en tilpasset opplæring for dette kurset, vennligst kontakt oss for å avtale dette.
LangGraph in Healthcare: Workflow Orchestration for Regulated Environments
35 TimerLangGraph muliggjør tilstandsbaserte, multi-aktorarbeidsfløter drevet av LLMs med presis kontroll over utførelsespåer og tilstandspersistens. I helsevesenet er disse evnene avgjørende for overholdelse av forskrifter, interoperabilitet og opprettelse av beslutningsstøttesystemer som samordnes med medisinske arbeidsfløter.
Denne instruktørledede, live trening (online eller på stedet) er rettet mot mellomnivå- til avanserte fagfolk som ønsker å designe, implementere og administrere LangGraph-baserte helsevesenløsninger mens de møter regulerings-, etiske og operative utfordringer.
Ved avslutningen av denne treningen vil deltakerne kunne:
- Designe helsevesen-spesifikke LangGraph-arbeidsfløter med overholdelse og auditering i tankene.
- Integrere LangGraph-applikasjoner med medisinske ontologier og standarder (FHIR, SNOMED CT, ICD).
- Bruke beste praksis for pålitelighet, sporbarhet og forklarbarhet i sensitive miljøer.
- Utplassere, overvåke og validere LangGraph-applikasjoner i helsevesensproduksjonsmiljøer.
Format på kurset
- Interaktive forelesninger og diskusjoner.
- Hender-på øvelser med virkelige tilfeller.
- Implementeringsøvelser i et live-labmiljø.
Tilpasningsmuligheter for kurset
- For å be om tilpasset trening for dette kurset, vennligst kontakt oss for å avtale.
LangGraph for Legal Applications
35 TimerLangGraph er et rammeverk for å bygge tilstandsbevarende, fleraktør LLM-applikasjoner som sammensatte grafer med persistert tilstand og nøyaktig kontroll over kjøring.
Denne instruktørførte, live-utdanningen (online eller på stedet) er rettet mot mellomnivå- til avanserte profesjonelle som ønsker å designe, implementere og driftsette LangGraph-baserte juridiske løsninger med nødvendige overholdelses-, sporbarhets- og reguleringskontroller.
Ved slutten av denne utdannelsen vil deltakerne kunne:
- Designe juridisk spesifikke LangGraph-arbeidsflyter som bevare sporbarhet og overholdelse.
- Integrere juridiske ontologier og dokumentstandarder i grafens tilstand og behandling.
- Implementere kontrollmekanismer, godkjenninger med menneskelig involvering og sporbare beslutningssti.
- Driftsette, overvåke og vedlikeholde LangGraph-tjenester i produksjon med observabilitet og kostnadskontroll.
Kursformat
- Interaktiv forelesning og diskusjon.
- Mye øvelser og praksis.
- Hånd-on implementering i et live-lab-miljø.
Kursanpassningsmuligheter
- For å be om en anpasset utdanning for dette kurset, kontakt oss for å avtale.
Bygge dynamiske arbeidsflyter med LangGraph og LLM-agenter
14 TimerLangGraph er et rammeverk for å sammensette arbeidsflyter med LLM-er basert på grafer, som støtter forgrening, verktøybruk, minne og kontrollerbar utførelse.
Denna instruktørledete, live-undervisningen (nett eller på stedet) er rettet mot ingeniører og produktteam med mellomliggende kompetanse som ønsker å kombinere LangGraphs graflogikk med LLM-agentløkker for å bygge dynamiske, kontekstbevisste applikasjoner som kundesupportagenter, beslutningstre og informasjonshentningssystemer.
Et denne opplæringen vil deltakerne kunne:
- Designe arbeidsflyter basert på grafer som samordner LLM-agenter, verktøy og minne.
- Implementere betinget ruting, omforsøk og fallback-mekanismer for robust utførelse.
- Integriere henting, API-er og strukturerte utdata i agentløkker.
- Evaluere, overvåke og styrke agentytelse for pålitelighet og sikkerhet.
Kursformat
- Interaktiv forelesning og veiledet diskusjon.
- Veiledede laboratorier og kodegjennomgang i et sandkassemiljø.
- Scenariobaserte designoppgaver og kollegaveiledning.
Valgmuligheter for tilpasning av kurset
- Kontakt oss for å bestille en tilpasset opplæring på dette kurset.
LangGraph for Marketing Automation
14 TimerLangGraph er et grafbasert orkestreringsrammeverk som gjør det mulig å implementere betingede, fler-trinns LLM- og verktøy-arbeidsflyt. Dette rammen er ideelt for automatisering og personalisering av innholdspipelines.
Denne instruktørflyttede, live-treningen (online eller på stedet) er rettet mot markedsførere med mellomnivåkompetanse, innholdsstrateger og automatiseringudviklere som ønsker å implementere dynamiske, greningsmessige e-postkampanjer og innholdsgenereringspipelines ved hjelp av LangGraph.
Ved slutten av denne treningen vil deltakerne kunne:
- Designe grafstrukturert innhold og e-postarbeidsflyt med betingelseslogikk.
- Integrere LLMs, APIer og datasøknelser for automatisert personalisering.
- Administrere tilstand, minne og kontekst i fler-trinns kampanjer.
- Evaluere, overvåke og optimalisere arbeidsflyts prestasjon og leveranseresultater.
Kursform
- Interaktive forelesninger og gruppediskusjoner.
- Praktiske laboratorieøvelser med implementering av e-postarbeidsflyt og innholdspipelines.
- Scenario-baserte øvelser om personalisering, segmentering og greningslogikk.
Kursanpassningsmuligheter
- For å be om en tilpasset trening for dette kurset, vennligst kontakt oss for å ordne det.
Le Chat Enterprise: Privat ChatOps, Integrasjoner & Admin-kontroller
14 TimerLe Chat Enterprise er en privat ChatOps-løsning som tilbyr sikre, tilpassbare og regulerte konversasjonsbaserte AI-funksjoner for organisasjoner, med støtte for RBAC, SSO, koblinger og integrasjoner med bedriftsapplikasjoner.
Denne instruktørledede, live treningen (online eller på sted) er rettet mot mellomnivå-produktansvarlige, IT-ledere, løsningsingeniører og sikkerhets-/samsvarslag som ønsker å implementere, konfigurere og administrere Le Chat Enterprise i bedriftsmiljøer.
Ved slutten av denne treningen vil deltakerne kunne:
- Sette opp og konfigurere Le Chat Enterprise for sikre implementeringer.
- Aktivere RBAC, SSO og samvarsdrevet kontroll.
- Integrere Le Chat med bedriftsapplikasjoner og datalagre.
- Utforme og implementere styrings- og administrativspørsmål for ChatOps.
Formatet på kurset
- Interaktiv forelesning og diskusjon.
- Mange øvelser og øving.
- Hender i en live-lab-miljø.
Tilpassingsmuligheter for kurset
- For å be om tilpasset trening for dette kurset, vennligst kontakt oss for å avtale.
Kostnadseffektive LLM-arkitekturer: Mistral i stor skala (Ytelses-/kostnadsteknikk)
14 TimerMistral er en familie av høy ytelses store språkmodeller som er optimalisert for kostnadseffektiv produksjonsutplassering i stor skala.
Denne instruktørledede, live-opplæringen (online eller på stedet) er rettet mot avanserte infrastrukturingeniører, skyarkitekter og MLOps-ledere som ønsker å designe, plassere ut og optimalisere Mistral-baserte arkitekturer for maksimal gjennomstrømning og minimum kostnad.
Etter denne opplæringen vil deltakerne kunne:
- Implementere skalerbare utplasseringsmønstre for Mistral Medium 3.
- Anvende batching, kvantisering og effektive serveringsstrategier.
- Optimalisere inferenskostnader vedlikeholdt ytelse.
- Designe produksjonsklare serveringstopologier for bedriftsarbeidsbelastninger.
Kursformatet
- Interaktiv forelesning og diskusjon.
- Mange øvelser og praksis.
- Håndsmaks implementering i et live-lab-miljø.
Valgfrie kursetilpasninger
- Hvis du ønsker tilpasset opplæring for dette kurset, vennligst kontakt oss for å arrangere.
Produksjon av samtaleassistenter med Mistral-koblinger og integrasjoner
14 TimerMistral AI er en åpen AI-plattform som gjør det mulig for team å bygge og integrere samtaleassistenter i bedrifts- og kundefokuserte arbeidsflyter.
Denne instruktørledede opplæringen (online eller på stedet) er rettet mot produktansvarlige, full-stack-utviklere og integrasjonsingeniører på begynnernivå til mellomnivå som ønsker å designe, integrere og produktisere samtaleassistenter ved hjelp av Mistral-tilkoblinger og integrasjoner.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Integrere Mistral samtalemodeller med bedrifts- og SaaS-tilkoblinger.
- Implementere retriever-augmentert generering (RAG) for grunnlagte svar.
- Designe brukeropplevelsespatroner for interne og eksterne chatassistenter.
- Utplassere assistenter i produktarbeidsflyter for virkelige brukstilfeller.
Formatet på kurset
- Interaktiv forelesning og diskusjon.
- Hender på integrasjonsøvelser.
- Livsutvikling av samtaleassistenter.
Tilpasningsalternativer for kurset
- For å be om en tilpasset opplæring for dette kurset, vennligst kontakt oss for å avtale.
Enterprise-Grade Deployments med Mistral Medium 3
14 TimerMistral Medium 3 er en høyytelsesfull, multimodal stor språkmodell designet for produksjonsnivåutplasseringer i virksomhetsmiljøer.
Dette er en instruktørledet, live-trening (online eller på stedet) som er rettet mot mellomnivå til avanserte AI/ML-ingeniører, plattformarkitekter og MLOps-teamer som ønsker å utplassere, optimalisere og sikre Mistral Medium 3 for virksomhetsbruksområder.
Ved slutten av denne treningen vil deltakerne være i stand til å:
- Utplassere Mistral Medium 3 ved bruk av API- og selvvertevalgte alternativer.
- Optimalisere inferensytelse og kostnader.
- Implementere multimodale bruksområder med Mistral Medium 3.
- Søke om sikkerhets- og overholdelsesbest praksis for virksomhetsmiljøer.
Format på kurset
- Interaktiv forelesning og diskusjon.
- Mange øvelser og praktiske oppgaver.
- Håndson implementering i et live-lab-miljø.
Kursets tilpassingsmuligheter
- For å be om tilpasset trening for dette kurset, ta kontakt med oss for å ordne.
Mistral for Ansvarlig AI: Personvern, Databosetning & Bedriftskontroller
14 TimerMistral AI er en åpen og bedriftsklar AI-plattform som gir funksjoner for sikker, samsvarsmessig og ansvarlig AI-utplassering.
Denne instruktørlede, levende opplæringen (online eller på stedet) er rettet mot mellomnivåets samsvarsledere, sikkerhetsarkitekter og juridiske/operasjonsansvarlige som ønsker å implementere ansvarlige AI-praksiser med Mistral ved å utnytte privatliv, dataoppholdsmekanismer og bedriftskontroll.
Ved slutten av denne opplæringen vil deltakerne være i stand til å:
- Implementere privatlivsbevarende teknikker i Mistral-utplasseringer.
- Påføre dataresidensstrategier for å møte regelverkskrav.
- Sette opp bedriftsgradskontroller som RBAC, SSO og revisjonslogger.
- Vurdere leverandør- og utplasseringmuligheter for samsvarsavstemming.
Kursform
- Interaktiv forelesning og diskusjon.
- Samsvarsfokuserte case-studier og øvelser.
- Praktisk implementering av bedrifts AI-kontroll.
Kursjusteringsmuligheter
- For å be om en tilpasset opplæring for dette kurset, vennligst ta kontakt med oss for å avtale.
Multimodal Applications med Mistral Models (Vision, OCR, & Dokumentforståelse)
14 TimerMistral-modeller er åpen kildekode AI-teknologi som nå utvides til multimodale arbeidsflyter, som støtter både språk- og visjonsoppgaver for virksomhets- og forskningsapplikasjoner.
Denne instruktørledede, live-treningen (online eller på stedet) er rettet mot mellomnivå ML-forskere, anvendte ingeniører og produktteam som ønsker å bygge multimodale applikasjoner med Mistral-modeller, inkludert OCR og dokumentforståelsesprosesser.
Ved slutten av denne treningen vil deltakerne være i stand til å:
- Sette opp og konfigurere Mistral-modeller for multimodale oppgaver.
- Implementere OCR-arbeidsflyter og integrere dem med NLP-pipelines.
- Utforme dokumentforståelsesapplikasjoner for virksomhetsbrukstilfeller.
- Utvikle visjon-tekstsøk og assistiv UI-funksjonalitet.
Kursformat
- Interaktiv forelesning og diskusjon.
- Prøve med kodingsøvelser.
- Live-lab implementering av multimodale pipelines.
Tilpassningsmuligheter for kurset
- For å be om et tilpasset kurs for dette emnet, vennligst kontakt oss for å avtale.