Forståelse av dype nevrale nettverk Treningskurs

Del 1 – Dyp læring og DNN-konsepter

Innføring i AI, Maskinlæring & Dyp Læring

• Historie, grunnleggende konsepter og vanlige anvendelser av kunstig intelligens langt unna fantasien forbundet med dette feltet
• Samleintelligens: aggregering av kunnskap delt av mange virtuelle agenter
• Genetiske algoritmer: for å utvikle en populasjon av virtuelle agenter ved valg
• Vanlige læringmaskiner: definisjon.
• Typer oppgaver: overvåket læring, uovervåket læring, forsterkningslæring
• Typer handlinger: klassifisering, regresjon, klustering, tetthetsestimering, dimensjonsreduksjon
• Eksempler på maskinlæringsalgoritmer: lineær regresjon, Naive Bayes, Random Tree
• Maskinlæring VS Dyp læring: problemstillinger der Maskinlæring fremdeles er den mest moderne løsningen (Random Forests & XGBoosts)

Grundleggende konsepter i et nevrale nettverk (Anvendelse: multi-lags perceptron)

• Gjennomgang av matematiske grunnlag.
• Definisjon av et nevrale nettverk: klassisk arkitektur, aktivering og
• Vektlegging av tidligere aktiveringer, dypet på et nettverk
• Definisjon av læring i et nevrale nettverk: kostfunksjoner, bakoverpropagasjon, stokastisk gradientnedstigning, maksimal sannsynlighet.
• Modellering av et nevrale nettverk: modellering av inndata og utdata basert på problemtype (regresjon, klassifisering ...). Dimensjonsforåndring.
• Distinktion mellom flerdimensjonale data og signal. Valg av en kostfunksjon basert på dataene.
• Approksimasjon av en funksjon ved et nevrale nettverk: presentasjon og eksempler
• Approksimasjon av en fordeling ved et nevrale nettverk: presentasjon og eksempler
• Dataaugmentering: hvordan balansere et datasett
• Generalisering av resultater fra et nevrale nettverk.
• Initialisering og regulering av et nevrale nettverk: L1 / L2-regulering, batch-normalisering
• Optimerings- og konvergensalgoritmer

Standard ML/DL-verktøy

En enkel presentasjon med fordeler, ulemper, posisjon i økosystemet og bruk er planlagt.

• Dataforvaltningsverktøy: Apache Spark, Apache Hadoop-verktøy
• Maskinlæring: Numpy, Scipy, Sci-kit
• DL høynivårammer: PyTorch, Keras, Lasagne
• Lavnivå DL-rammer: Theano, Torch, Caffe, TensorFlow

Konvolusjonelle nevrale nettverk (CNN).

• Presentasjon av CNNer: grunnleggende prinsipper og anvendelser
• Grunnleggende drift av en CNN: konvolusjonsslag, bruk av et kerne,
• Padding & stride, generering av egenkart, poolingslag. Utvidelser 1D, 2D og 3D.
• Presentasjon av de ulike CNN-arkitektur som har sett standarden for klassifisering
• Bilder: LeNet, VGG Networks, Network in Network, Inception, Resnet. Presentasjon av innovasjoner fra hver arkitektur og deres mer generelle anvendelser (konvolusjon 1x1 eller residualforbindelser)
• Bruk av en oppmerksomhetsmodell.
• Anvendelse på et vanlig klassifiseringsfall (tekst eller bilde)
• CNNer for generering: superoppløsning, pixel-til-pixel-segmentering. Presentasjon av
• Hovedstrategier for økende egenkart for bildegenerering.

Gjentakende nevrale nettverk (RNN).

• Presentasjon av RNNer: grunnleggende prinsipper og anvendelser.
• Grunnleggende drift av RNN: skjult aktivering, bakoverpropagasjon gjennom tid, utfoldet versjon.
• Utvikling mot Gated Recurrent Units (GRUs) og LSTM (Long Short Term Memory).
• Presentasjon av de ulike tilstandene og utviklingen båret av disse arkitektur
• Konvergens- og forsvinnende gradientproblemer
• Klassiske arkitekturer: prediksjon av en tidsrekke, klassifisering ...
• RNN-arkitektur med encoder-decoder. Bruk av en oppmerksomhetsmodell.
• NLP-anvendelser: ord-/tegnkodning, oversettelse.
• Videoanvendelser: prediksjon av det neste genererte bilde i en videosekvens.

Genererende modeller: Variational AutoEncoder (VAE) og Generative Adversarial Networks (GAN).

• Presentasjon av genererende modeller, kobling med CNNer
• Auto-encoder: dimensjonsreduksjon og begrenset generering
• Variational Auto-encoder: genererende modell og tilnærming av fordelingen til et gitt. Definisjon og bruk av latenrom. Reparameteriseringstrik. Anvendelser og observerte begrensninger
• Generative Adversarial Networks: grunnleggende prinsipper.
• Dualnettarkitektur (Generator og diskriminatoren) med alternativ læring, tilgjengelige kostfunksjoner.
• Konvergens av en GAN og vanskeligheter som oppstår.
• Forbedret konvergens: Wasserstein GAN, Began. Jordsforskyvningavstand.
• Anvendelser for generering av bilder eller fotografier, tekstgenerering, superoppløsning.

Dyp forsterkningslæring.

• Presentasjon av forsterkningslæring: kontroll av en agent i et definert miljø
• Av en tilstand og mulige handlinger
• Bruk av et nevrale nettverk for å tilnærme tilstandsfunksjonen
• Dyp Q-læring: erfaringsspesifikk gjenbruk, og anvendelse på kontroll av et spill.
• Optimering av læringstrategi. On-policy && off-policy. Actor critic-arkitektur. A3C.
• Anvendelser: kontroll av et enkelt spill eller et digitalt system.

Del 2 – Theano for Dyp Læring

Theano-grundlag

• Innføring
• Installasjon og konfigurasjon

TheanoFunksjoner

• inndata, utdata, oppdateringer, givens

Trening og optimering av et nevrale nettverk ved hjelp av Theano

• Nevralenettsmodellering
• Logistisk regresjon
• Skjulte lag
• Trening av et nettverk
• Beregning og klassifisering
• Optimering
• Logistisk tap

Testing av modellen

Del 3 – DNN ved hjelp av TensorFlow

TensorFlow-grundlag

• Opprettelse, initialisering, lagring og gjenoppretting av TensorFlow-variabler
• Føding, lesing og forhåndsindlasting av TensorFlow-data
• Hvordan bruke TensorFlow-infrastrukturen til å trene modeller på skala
• Visualisering og evaluering av modeller med TensorBoard

TensorFlow-mekanismer

• Forbered dataene
• Last ned
• Inndata og plassholdere
• Bygg grafene
  • Inferens
  • Tap
  • Trening
• Trene modellen
  • Grafen
  • Sessjonen
  • Treningssløyfe
• Evaluere modellen
  • Bygg evaluaionsgrafen
  • Evalueringsutdata

Perceptron

• Aktiveringsfunksjoner
• Perceptronalgoritmen
• Binær klassifisering med perceptron
• Dokumentklassifisering med perceptron
• Begrensende faktorer ved perceptron

Fra Perceptron til Support Vector Machines

• Kjerner og kjernetriket
• Maksimal margin klassifisering og støttevektorer

Kunstige nevrale nettverk

• Ikke-lineære beslutningsgrenser
• Fremover- og tilbakeknytnings kunstige nevrale nettverk
• Multilags perceptroner
• Minimering av kostfunksjonen
• Fremoverpropagasjon
• Bakoverpropagasjon
• Forbedring av hvordan nevrale nettverk lærer

Konvolusjonelle nevrale nettverk

• Mål
• Modellarkitektur
• Prinsipper
• Kodeorganisering
• Kjøring og trening av modellen
• Evaluering av en modell

Grundleggende introduksjoner til de nedenfor nevnte modulene (Kort introduksjon basert på tilgjengelig tid):

TensorFlow - Avansert bruk

• Tråding og køer
• Distribuert TensorFlow
• Skrive dokumentasjon og dele modellen din
• Tilpasse datalesere
• Manipulering av TensorFlow-modelfiler

TensorFlow Serving

• Innføring
• Enkel serveringstutorial
• Avansert serveringstutorial
• Servering av Inception-modelltutorial