Kursplan

Introduksjon til Reinforcement Learning fra menneskelig tilbakemelding (RLHF)

  • Hva er RLHF og hvorfor det er viktig
  • Sammenligning med metoder for overvåket finjustering
  • RLHF-applikasjoner i moderne AI-systemer

Belønningsmodellering med menneskelig tilbakemelding

  • Innsamling og strukturering av menneskelig tilbakemelding
  • Bygging og trening av belønningsmodeller
  • Vurdering av belønningsmodellens effektivitet

Trening med Proximal Policy Optimization (PPO)

  • Oversikt over PPO-algoritmer for RLHF
  • Implementering av PPO med belønningsmodeller
  • Iterativ og sikker finjustering av modeller

Praktisk anvendelse av språkmodeller

  • Forberedelse av datamengder for RLHF-arbeidsflyter
  • Håndverkende finjustering av en liten LLM ved hjelp av RLHF
  • Utfordringer og strategier for å dempe disse

Skalering av RLHF til produksjonssystemer

  • Infrastruktur- og beregningshensyn
  • Kvalitetssikring og kontinuerlige tilbakemeldingsløkker
  • Beste praksiser for innføring og vedlikehold

Etiske overveielser og redusering av bias

  • Å håndtere etiske risikoer i menneskelig tilbakemelding
  • Strategier for oppdagelse og korrigering av bias
  • Å sikre samsvar og sikre utganger

Tilkoblingsstudier og virkelige eksempler

  • Tilkoblingsstudie: Finjustering av ChatGPT med RLHF
  • Andre vellykkede RLHF-implementeringer
  • Lærdommer og innsikt fra industrien

Oppsummering og neste steg

Krav

  • En forståelse av grunnleggende prinsipper for overvåket og forsterkende læring
  • Erfaring med modellfinjustering og neuralnettarkitekturer
  • Kjennskap til Python-programmering og dypelæringsrammeverk (f.eks., TensorFlow, PyTorch)

Målgruppe

  • Maskinlæringsingeniører
  • AI-forskere
 14 timer

Antall deltakere


Pris per deltaker

Kommende kurs

Relaterte kategorier