Finjustering av åpne kildekode-LLM-er (LLaMA, Mistral, Qwen osv.) Treningskurs

Introduksjon til Open-Source LLMs

• Hva er open-weight modeller og hvorfor de er viktige
• Oversikt over LLaMA, Mistral, Qwen og andre community modeller
• Use cases for private, on-premise eller sikre distribusjoner

Miljøoppsett og verktøy

• Installasjon og konfigurasjon av Transformers, Datasets og PEFT-biblioteker
• Valg av passende hardware for finjustering
• Lasting av forhåndstrenerede modeller fra Hugging Face eller andre repos

Dataforberedelse og foreprosesser

• Datasettformater (instruction tuning, chat data, text-only)
• Tokenisering og sekvensstyring
• Oppretting av custom datasett og data loaders

Finjusteringsteknikker

• Standard full finjustering vs. parameter-efficient metoder
• Anvendelse av LoRA og QLoRA for effektiv finjustering
• Bruk av Trainer API for rask eksperimentering

Modellverifisering og optimalisering

• Vurdering av finjusterte modeller med generasjon og presisjonsmålinger
• Håndtering av overfitting, generalisering og valideringssett
• Presiseringstips og logging

Distribusjon og privat bruk

• Lagring og lasting av modeller for inferens
• Distribusjon av finjusterte modeller i sikre enterprise-miljøer
• On-premise vs. cloud distribusjonsstrategier

Case studies og brukstilfeller

• Eksempler på enterprise bruk av LLaMA, Mistral og Qwen
• Håndtering av flerspråklig og domenespesifikke finjustering
• Diskusjon: Kompromisser mellom open og closed modeller

Oppsummering og neste steg