Dyp læring med TensorFlow 2 Treningskurs

Innføring

• Innføring til TensorFlow og dyp læring
• Anvendelser og brukstiltak for TensorFlow
• TensorFlow-økosystemet og verktøy
• Arbeidsflyter for maskinlæring og dyp læring
• Generelt oversikt over kursmål og praktiske øvelser

TensorFlow 2.x kontra tidligere versjoner – hva er nytt

• Kjerneligninger mellom TensorFlow 1.x og 2.x
• Ivrig eksekvering
• Forenklede APIer og forbedret brukervennlighet
• Endringer i modellkonstruksjon og trening
• Innføring til Keras som høg-nivå-API
• Migrasjonshensyn for eksisterende TensorFlow-applikasjoner
• Best practice for TensorFlow 2.x

Oppsett av TensorFlow 2.x

• Installere TensorFlow
• Konfigurere et Python-miljø
• Verifisere TensorFlow-installasjonen
• Installere og administrere nødvendige avhengigheter
• Konfigurere CPU- og GPU-miljøer
• Bruke TensorFlow med Jupyter-notebooks
• Grunnleggende TensorFlow-kommandoer og operasjoner
• Søke etter installasjons- og konfigurasjonsproblemer

Generelt oversikt over funksjoner og arkitektur i TensorFlow 2.x

• TensorFlow-arkitektur og kjerneverktøy
• Tensorer og tensoroperasjoner
• Variable og konstanter
• Beregningssfigurer og ivrig eksekvering
• Automatisk differensiering
• TensorFlow APIer og moduler
• Keras-integrasjon
• datapipelines med tf.data
• Modellserialisering og TensorFlow SavedModel
• TensorFlow-økosystemet og utviklingsarbeidsflyt

Hvordan neurale nettverk fungerer

• Grunnleggende om kunstige neurale nettverk
• Neuroner, lag og nettverksarkitektur
• Aktiveringsfunksjoner
• Fråsprinsipp (forward propagation)
• Tap-funksjoner (loss functions)
• Tilbakepropagering (backpropagation)
• Gradientdescent og optimering
• Læringsrater og optimaliseringsstrategier
• Overlæring og underlæring
• Regulariseringsteknikker
• trening, validering og testdatasets

Bruke TensorFlow 2.x til å lage modeller for dyp læring

• Lage tensorer og variable
• Bygge neurale nettverk med Keras
• Sequensielle og funksjonelle modell-APIer
• Definere egendefinerte modeller og lag
• Konfigurere optimalisere
• Velge egnede tap-funksjoner
• Trening modeller med fit()
• Custom training loops
• Callbacker og treningsovervåking
• Administrasjon av modelcheckpoint

Analysere data

• Forstå datasets for maskinlæring
• Eksplisere strukturert og ustrukturert data
• Datavisualisering
• Identifisere mønstre og avvik
• Håndtere manglende og uoverensstemmende data
• Oppe dele data i trening, validering og testsett
• Velge relevante trekk (features)
• Forberede datasets for TensorFlow-modeller

Forbehandle data

• Datanormalisering og standardisering
• Koder kategorisk data
• Håndtering av manglende verdier
• Trekk-skalering (feature scaling)
• Bildeforbehandling
• Tekstforbehandling
• Dataforsterkning (data augmentation)
• Bygge effektive inputpipelines
• Bruke tf.data
• Batching, shuffling, caching og prefetching
• Forberede data for modelltrening

Bygge en modell

• Velge en passende neural net architecture
• Definere modell input og output
• Lage tette neurale nettverk
• Velge aktiveringsfunksjoner
• Konfigurere modellen for trening
• Velge optimalisere og tap-funksjoner
• Trening og validering av modellen
• Overvåke treningsindikatorer
• Forbedre modell ytelse
• Forebygge overlæring
• Implementere regularisering og dropout

Implementere en State-of-the-Art bildeklassifiserer

• Grunnleggende om bildeklassifisering
• Forberede bilde-datasets
• Bildenormalisering og forsterkning
• Konvolutive neurale nettverk
• Konvolusjonslag og pooling-lag
• Design av en bildeklassifiseringsarkitektur
• Transferlæring
• Bruke forpretterte modeller
• Finjustere (fine-tuning) forpretterte nettverk
• Bygge en avansert bildeklassifiserer
• Vurdere klassifiseringens ytelse

Trening av modellen

• Konfigurere treningsparametrer
• Batch-størrelse og epoker
• Velge optimaliserer
• Læringsrate-innstilling
• Treningskallbacker
• Early stopping
• Checkpointing av modeller
• Overvåke treningsprogresjon
• Oppdage overlæring
• Forbedre treningsytelse
• Hensyn ved distribuert trening

Trening på GPU kontra TPU

• Arkitekturer for CPU, GPU og TPU
• Fordeler med maskinvareakselerasjon
• Konfigurere TensorFlow for GPU-trening
• Forstå TPU-basert trening
• Velge maskinvare for ulike arbeidsflyter
• Flytte beregninger mellom enheter
• Administrere minne og beregningsressurser
• Sammenlikne treningsytelse
• Distribuerte og akselererte treningsstrategier

Vurdere modellen

• Velge egnede vurderingsindikatorer
• Nøyaktighet, presisjon, reaktivitet og F1-poeng
• Regresjonsvurderingsindikatorer
• Forvirringsmatriser
• Valideringsstrategier
• Vurdere klassifiseringsmodeller
• Vurdere modellgeneralisering
• Identifisere modell svakpunkter
• Sammenlikne ulike modellkonfigurasjoner

Gjøre prediksjoner

• Bruke trent modell for inferens
• Forberede ny inndata
• Gjøre batch- og individuelle prediksjoner
• Fortolke modell output
• Klassifiserings-sannsynligheter
• Regresjonsprediksjoner
• Bygge en inferensarbeidsflyt
• Håndtere usete data
• Administrere prediksjonspipelines

Vurdere prediksjonene

• Analysering av prediksjonenes kvalitet
• Sammenlikne prediksjoner med forventede resultater
• Identifisere falske positive og falske negative
• Feilanalyse
• Vurdere modell konfidens
• Visualisere prediksjonsresultater
• Oppdage data- og prediksjonsbias
• Forbedre modell ytelse basert på prediksjonsanalyse

Søke feil i modellen

• Identifisere vanlige treningsproblemer
• Diagnostisere feilaktige prediksjoner
• Søke feil i datapipelines
• Undersøke tap- og indikatoroppførsel
• Oppdage eksploderende og forsvinnende grafienter
• Diagnostisere overlæring og underlæring
• Undersøke modell-lag og output
• Bruke TensorFlow-søkefeil og profileringsverktøy
• Forbedre modell stabilitet og ytelse

Lagre en modell

• Lagre trenerte modeller
• TensorFlow SavedModel-format
• Lagre og gjenopprette modellvekter
• Lagre modellarkitektur og konfigurasjon
• Last modeller for inferens
• Modellversjonering
• Eksportere modeller for levering
• Administrere modellartefakter
• Forberede modeller for produksjonsmiljøer

Levere en modell til skyen

• Innføring til skybasert modelllevering
• Forberede TensorFlow-modeller for produksjon
• Levere modeller via APIer
• Begrep for modellservering
• Containerisere TensorFlow-applikasjoner
• Skybasert inferens
• Skalering av modellserverings-arbeid
• Overvåke leverte modeller
• Administrere modellversjoner
• Hensyn ved produksjonslevering

Levere en modell til en mobil enhet

• Utfordringer med mobil maskinlæring
• TensorFlow Lite
• Konvertere TensorFlow-modeller for mobil levering
• Modelloptimering og reduksjon av størrelse
• Kvantisering
• Kjøre inferens på mobile enheter
• Administrere ressurser på mobile enheter
• Integre modeller i mobile applikasjoner
• Teste mobil inferens ytelse

Levere en modell til et innebygd system (IoT)

• Maskinlæring på innebygde enheter
• TensorFlow Lite for innebygde applikasjoner
• Ressursbegrensninger og optimering
• Redusere modellstørrelse og beregningskrav
• Kant-inferens (edge inference)
• Sensor og reeltidsdata-prosessering
• Kjøre prediksjoner lokalt
• Hensyn til strømforbruk og minne
• Integre TensorFlow-modeller i IoT-arbeidsflyter
• Teste og overvåke kantleveringer

Integre en modell med ulike programmeringsspråk

• TensorFlow-modell interoperabilitet
• Levere modeller via APIer
• Bruke TensorFlow-modeller fra ulike programmeringsmiljøer
• Python-basert modellintegrasjon
• Integre modeller i webapplikasjoner
• Modellinferens via REST-baserte tjenester
• Integre TensorFlow i eksisterende applikasjoner
• Datautveksling og serialisering
• Hensyn ved produksjonsintegrasjon

Feilsøking

• Diagnostisere TensorFlow-installasjonsproblemer
• Søke feil i modellbygge-feil
• Søke feil i dataforbehandling
• Løse treningsfeil
• Undersøke GPU- og TPU-konfigurasjonsproblemer
• Diagnostisere minne- og ytelsesproblemer
• Søke feil i modelllasting og lagring
• Søke feil i leveringsproblemer
• Praktiske feilsøkingsøvelser

Oppsummering og konklusjon

• Gjennomgang av TensorFlow 2.x-konsepter
• Gjennomgang av neural net og dyp læring arbeidsflyter
• Gjennomgang av dataforberedelse og modellutvikling
• Gjennomgang av bildeklassifisering
• Gjennomgang av trenings- og vurderingsteknikker
• Gjennomgang av modell feilsøkning og optimering
• Gjennomgang av sky, mobil og IoT-levering
• Best practice for TensorFlow-utvikling
• Sist praktiske øvelse
• Spørsmål og diskusjon