Ta kontakt

Kursplan

Introduksjon til Parameter-Efficient Fine-Tuning (PEFT)

  • Motivasjon og begrensninger ved full finjustering
  • Oversikt over PEFT: mål og fordeler
  • Anvendelser og brukstilfeller i industrien

LoRA (Low-Rank Adaptation)

  • Konsept og intuittjon bak LoRA
  • Implementering av LoRA ved hjelp av Hugging Face og PyTorch
  • Praksis: Finjustering av en modell med LoRA

Adapter Tuning

  • Hvordan adapter-moduler fungerer
  • Integrasjon med transformer-baserte modeller
  • Praksis: Bruk av Adapter Tuning på en transformer-modell

Prefix Tuning

  • Bruk av 'soft prompts' for finjustering
  • Styrker og begrensninger sammenlignet med LoRA og adaptere
  • Praksis: Prefix Tuning på en LLM-oppgave

Evaluering og sammenligning av PEFT-metoder

  • Metrider for evaluering av ytelse og effektivitet
  • Kompromisser i treningshastighet, minnebruk og nøyaktighet
  • Benchmark-eksperimenter og tolking av resultater

Distribusjon av finjusterte modeller

  • Lagring og lasting av finjusterte modeller
  • Distribusjonshensyn for PEFT-baserte modeller
  • Integrasjon i applikasjoner og pipeline

Anbefalte praksis og utvidelser

  • Kombinere PEFT med kvantisering og distillering
  • Bruk i lavressurs- og flerspråklige settinger
  • Fremtidige retninger og aktive forskningsområder

Oppsummering og neste steg

Krav

  • Forståelse av maskinlærings fundamentals
  • Erfaring med arbeid med store språkmodeller (LLM)
  • Kunnskap om Python og PyTorch

Målgruppe

  • Data vitenskapsfolk
  • AI-ingeniører
 14 Timer

Antall deltakere


Pris per deltaker

Kommende kurs

Relaterte kategorier