Innføring i dype neurale nett Treningskurs

Del 1 – Dyp læring og DNN-konsepter

Innføring i AI, maskinlæring & dyp læring

• Historie, grunnleggende konsepter og vanlige applikasjoner av kunstig intelligens, utover fantasier knyttet til dette området
• Samlet intelligens: aggregering av kunnskap delt av mange virtuelle agenter
• Genetiske algoritmer: å utvikle en befolkning av virtuelle agenter gjennom seleksjon
• Vanlig læremaskin: definisjon.
• Typer av oppgaver: overvåket læring, uovervåket læring, forsterkningslæring
• Typer av handlinger: klassifisering, regresjon, klyngeanalyse, tetthetsestimater, reduksjon av dimensjonalitet
• Eksempler på maskinlæringsalgoritmer: Lineær regresjon, Naive Bayes, Random Tree
• Maskinlæring mot dyp læring: problemer der maskinlæring fremdeles er state-of-the-art i dag (Random Forests & XGBoosts)

Grunnleggende konsepter for et neuralt nett (Applikasjon: multilayer perceptron)

• Minne om matematiske grunnlag.
• Definere et nett av nøyroner: klassisk arkitektur, aktivering og
• Vekting av tidligere aktiveringer, dybde på et nett
• Definere læringen av et nett av nøyroner: kostfunksjoner, backprop, stokastisk gradientdescent, maksimum sannsynlighet.
• Modellering av et neuralt nett: modellering av inndata og utdata basert på type problem (regresjon, klassifisering ...). Dimensjonshelvedet.
• Forskjell mellom multi-funksjonsdata og signal. Valg av kostfunksjon basert på data.
• Approximasjon av en funksjon med et nett av nøyroner: presentasjon og eksempler
• Approximasjon av en fordeling med et nett av nøyroner: presentasjon og eksempler
• Datatransformasjon: hvordan balansere en datasett
• Generalisering av resultatene fra et nett av nøyroner.
• Initialisering og regularisering av et neuralt nett: L1 / L2 regularisering, Batch Normalization
• Optimerings- og konvergensalgoritmer

Standard ML / DL verktøy

En enkel presentasjon med fordeler, ulemper, posisjon i økosystemet og bruk er planlagt.

• Datahåndteringsverktøy: Apache Spark, Apache Hadoop verktøy
• Maskinlæring: Numpy, Scipy, Sci-kit
• DL high level frameworks: PyTorch, Keras, Lasagne
• Low level DL frameworks: Theano, Torch, Caffe, Tensorflow

Konvolusjonsneuronale nett (CNN).

• Presentasjon av CNN: grunnleggende prinsipper og applikasjoner
• Grunnleggende funksjon i en CNN: konvolusjonslag, bruk av en kjerne,
• Padding & stride, funksjonskartgenerering, pooling-lag. Utvidelser 1D, 2D og 3D.
• Presentasjon av de forskjellige CNN-arkitekturer som har ført til state-of-the-art i klassifisering
• Bilder: LeNet, VGG Networks, Network in Network, Inception, Resnet. Presentasjon av innovasjoner introdusert av hver arkitektur og deres bredere applikasjoner (Convolution 1x1 eller residual connections)
• Bruk av en attentionsmodell.
• Applikasjon til et vanlig klassifiseringsfall (tekst eller bilde)
• CNN for generering: superoppløsning, pixel-til-pixel segmentering. Presentasjon av
• Hovedstrategier for økt funksjonskart for bildegenerering.

Rekurrente neuronale nett (RNN).

• Presentasjon av RNN: grunnleggende prinsipper og applikasjoner.
• Grunnleggende funksjon i en RNN: skjult aktivering, backprop through time, Unfolded versjon.
• Utvikling mot Gated Recurrent Units (GRU) og LSTM (Long Short Term Memory).
• Presentasjon av de forskjellige tilstander og utviklinger bragte av disse arkitekturer
• Konvergens og vanishing gradient problemer
• Klassiske arkitekturer: Prediksering av en tidsrekke, klassifisering ...
• RNN Encoder Decoder type arkitektur. Bruk av en attentionsmodell.
• NLP applikasjoner: ord / tegn koding, oversettelse.
• Video Applikasjoner: prediksering av det neste genererte bildet av en video sekvens.

Generative modeller: Variational AutoEncoder (VAE) og Generative Adversarial Networks (GAN).

• Presentasjon av generative modeller, kobling til CNN
• Auto-encoder: reduksjon av dimensjonalitet og begrenset generering
• Variational Auto-encoder: generativ modell og approximering av fordelingen av en given. Definisjon og bruk av latent rom. Reparameterization trick. Applikasjoner og grenser observert
• Generative Adversarial Networks: Fundamentale prinsipper.
• Dual Network Arkitektur (Generator og diskriminator) med vekslende læring, tilgjengelige kostfunksjoner.
• Konvergens av en GAN og vanskeligheter opplevd.
• Bedre konvergens: Wasserstein GAN, Began. Earth Moving Distance.
• Applikasjoner for generering av bilder eller fotografier, tekstgenerering, superoppløsning.

Dyp forsterkningslæring.

• Presentasjon av forsterkningslæring: kontroll av en agent i en definert miljø
• Ved en tilstand og mulige handlinger
• Bruk av et neuralt nett til å approxime tilstandsfunksjonen
• Deep Q Learning: experience replay, og applikasjon til kontroll av et videospill.
• Optimering av læring policy. On-policy & off-policy. Actor critic arkitektur. A3C.
• Applikasjoner: kontroll av et enkelt videospill eller et digitalt system.

Del 2 – Theano for dyp læring

Theano Grunnlag

• Innføring
• Installasjon og Konfigurasjon

TheanoFunctions

• inputs, outputs, updates, givens

Trening og Optimering av et neuralt nett ved hjelp av Theano

• Neuralt nett Modellering
• Logistisk Regresjon
• Skjulte Lag
• Trening av et nett
• Beregning og Klassifisering
• Optimering
• Log Loss

Testing av modellen

Del 3 – DNN ved hjelp av Tensorflow

TensorFlow Grunnlag

• Oppretting, Initialisering, Lagring og Gjenoppretting av TensorFlow variabler
• Fodring, Lesing og Forhåndsinnlasting av TensorFlow Data
• Hvordan bruke TensorFlow infrastruktur for å trene modeller i skala
• Visualisering og Evaluering av modeller med TensorBoard

TensorFlow Mekanisme

• Forbered Data
• Last ned
• Inputs og Placeholders
• Bygg Grafene
  • Inferens
  • Taps
  • Trening
• Trene Modellen
  • Grafen
  • Sesjonen
  • Treningsløkke
• Evaluer Modellen
  • Bygg Eval Grafen
  • Eval Output

Perceptron

• Aktiveringsfunksjoner
• Perceptron læring algoritme
• Binær klassifisering med perceptron
• Dokumentklassifisering med perceptron
• Begrensninger av perceptron

Fra Perceptron til Support Vector Machines

• Kjerner og kernel trikken
• Maksimum margin klassifisering og støttevektorer

Kunstige Neurone Net

• Ikke-lineære beslutningsgrenser
• Feedforward og feedback kunstige neurone net
• Multilayer perceptrons
• Minimering av kostfunksjonen
• Forward propagering
• Back propagering
• Forbedre måten neurone nett lærer på

Konvolusjonsneuronale Net

• Mål
• Modell Arkitektur
• Prinsipper
• Kode Organisasjon
• Starte og Trene Modellen
• Evaluere en Modell

Grunnleggende innføringer som skal gis til modulene under (Kort innføring skal leveres basert på tilgjengelig tid):

Tensorflow - Avansert Bruk

• Threading og Queues
• Distribuert TensorFlow
• Skriv Dokumentasjon og Del Modellen
• Tilpasse Data Lesere
• Manipulere TensorFlow Modell Filer

TensorFlow Serving

• Innføring
• Grunnleggende Serving Tutorial
• Avansert Serving Tutorial
• Serving Inception Modell Tutorial