Kursplan

Introduksjon til Multimodal LLMs i Vertex AI

  • Oversikt over multimodal evner i Vertex AI
  • Gemini-modeller og støttede modi
  • Bruksområder i bedriftsliv og forskning

Oppsett av Utviklingsmiljø

  • Konfigurerer Vertex AI for multimodal arbeidsflyt
  • Arbeid med datasett over modi
  • Hånds-på laboratorium: miljøoppsett og datasettforberedelse

Lange Kontekstvindu og Avansert Resonnement

  • Forståelse av arbeidsflyt med lange kontekster
  • Bruksområder i planlegging og beslutningstaking
  • Hånds-på laboratorium: implementering av lang-kontekstanalyse

Design av Cross-Modal Arbeidsflyt

  • Kombinerer tekst, lyd og bildeanalyse
  • Kjedelagde multimodal trinn i rørledninger
  • Hånds-på laboratorium: design av en multimodal rørledning

Arbeid med Gemini API-parametere

  • Konfigurerer multimodal inn- og utganger
  • Optimalisering av inferens og effektivitet
  • Hånds-på laboratorium: justering av Gemini API-parametere

Avanserte Applikasjoner og Integrasjoner

  • Interaktive multimodal agenter og assistenter
  • Integrering av eksterne APIer og verktøy
  • Hånds-på laboratorium: bygge en multimodal applikasjon

Vurdering og Iterasjon

  • Testing av multimodal ytelse
  • Metrikker for nøyaktighet, tilpasning og forskyvning
  • Hånds-på laboratorium: vurdering av multimodal arbeidsflyt

Oppsummering og Neste Skritt

Krav

  • Kompetanse i Python-programmering
  • Erfaring med utvikling av maskinlæringsmodeller
  • Kjennskap til multimodal data (tekst, lyd, bilde)

Målgruppe

  • AI-forskere
  • Avanserte utviklere
  • ML-vitere
 14 timer

Antall deltakere


Pris per deltaker

Kommende kurs

Relaterte kategorier