Kursplan
Del 1 – Deep Learning og DNN-konsepter
Introduksjon AI, Machine Learning og dyp læring
- Historie, grunnleggende konsepter og vanlige anvendelser av kunstig intelligens langt Av fantasiene som bæres av dette domenet Kollektiv intelligens: samle kunnskap som deles av mange virtuelle agenter Genetiske algoritmer: å utvikle en populasjon av virtuelle agenter ved valg Vanlig læremaskin: definisjon. Typer oppgaver: overvåket læring, uovervåket læring, forsterkende læring Typer av handlinger: klassifisering, regresjon, clustering, tetthetsestimering, reduksjon av dimensjonalitet Eksempler på maskinlæringsalgoritmer: Lineær regresjon, Naive Bayes, Random Tree Machine learning VS Deep Learning: problemer på hvilken maskinlæring fortsatt er i dag toppmoderne (Random Forests & XGBoosts)
Grunnleggende konsepter for et nevralt nettverk (applikasjon: flerlags perceptron)
- Påminnelse om matematiske grunnlag. Definisjon av et nettverk av nevroner: klassisk arkitektur, aktivering og vekting av tidligere aktiveringer, dybde av et nettverk Definisjon av læring av et nettverk av nevroner: funksjoner av kostnad, tilbake-propagering, Stokastisk gradientnedstigning, maksimal sannsynlighet. Modellering av et nevralt nettverk: modellering av input og output data i henhold til typen problem (regresjon, klassifisering ...). Dimensjonalitetens forbannelse. Skille mellom multifunksjonsdata og signal. Valg av kostnadsfunksjon i henhold til dataene. Tilnærming av en funksjon ved et nettverk av nevroner: presentasjon og eksempler Tilnærming av en fordeling ved et nettverk av nevroner: presentasjon og eksempler Dataforsterkning: hvordan balansere et datasett Generalisering av resultatene av et nettverk av nevroner. Initialisering og regularisering av et nevralt nettverk: L1 / L2-regularisering, batchnormaliseringsoptimalisering og konvergensalgoritmer
Standard ML / DL-verktøy
Det legges opp til en enkel presentasjon med fordeler, ulemper, plassering i økosystemet og bruk.
- Databehandlingsverktøy: Apache Spark, Apache Hadoop Tools Maskinlæring: Numpy, Scipy, Sci-kit DL rammeverk på høyt nivå: PyTorch, Keras, Lasagne DL-rammeverk på lavt nivå: Theano, Torch, Caffe, Tensorflow
Convolutional Neural Networks (CNN).
- Presentasjon av CNN-ene: grunnleggende prinsipper og applikasjoner Grunnleggende drift av et CNN: konvolusjonslag, bruk av en kjerne, polstring og skritt, generering av funksjonskart, sammenslåing av lag. Utvidelser 1D, 2D og 3D. Presentasjon av de forskjellige CNN-arkitekturene som brakte toppmoderne i klassifiseringen Bilder: LeNet, VGG Networks, Network in Network, Inception, Resnet. Presentasjon av innovasjoner forårsaket av hver arkitektur og deres mer globale applikasjoner (Convolution 1x1 eller restforbindelser) Bruk av en oppmerksomhetsmodell. Anvendelse på en vanlig klassifiseringsak (tekst eller bilde) CNN-er for generering: superoppløsning, piksel-til-piksel segmentering. Presentasjon av hovedstrategier for å øke funksjonskart for bildegenerering.
Tilbakevendende Neural Networks (RNN).
- Presentasjon av RNN: grunnleggende prinsipper og anvendelser. Grunnleggende drift av RNN: skjult aktivering, forplantning tilbake gjennom tiden, utfoldet versjon. Evolusjoner mot Gated Recurrent Units (GRUs) og LSTM (Long Short Term Memory). Presentasjon av de forskjellige tilstandene og evolusjonene brakt av disse arkitekturene Konvergens- og forsvinnende gradientproblemer Klassiske arkitekturer: Prediksjon av en tidsserie, klassifisering ... RNN Encoder Dekoder type arkitektur. Bruk av oppmerksomhetsmodell. NLP-applikasjoner: ord-/tegnkoding, oversettelse. Videoapplikasjoner: prediksjon av det neste genererte bildet av en videosekvens.
Generasjonsmodeller: Variational AutoEncoder (VAE) og Generative Adversarial Networks (GAN).
- Presentasjon av generasjonsmodellene, kobling til CNNs Auto-encoder: reduksjon av dimensjonalitet og begrenset generasjon Variational Auto-encoder: generasjonsmodell og tilnærming av fordelingen av en gitt. Definisjon og bruk av latent rom. Reparameteriseringstriks. Applikasjoner og grenser observert Generative kontradiktoriske nettverk: grunnleggende. Dobbel nettverksarkitektur (Generator og diskriminator) med alternativ læring, kostnadsfunksjoner tilgjengelig. Konvergens av en GAN og vanskeligheter. Forbedret konvergens: Wasserstein GAN, Begynte. Jordflytteavstand. Applikasjoner for generering av bilder eller fotografier, tekstgenerering, superoppløsning.
Dyp Reinforcement Learning.
- Presentasjon av forsterkningslæring: kontroll av en agent i et definert miljø Ved en tilstand og mulige handlinger Bruk av et nevralt nettverk for å tilnærme tilstandsfunksjonen Deep Q Learning: erfaringsreplay, og applikasjon til kontroll av et videospill. Optimalisering av læringspolitikk. On-policy && off-policy. Skuespiller kritiker arkitektur. A3C. Applikasjoner: kontroll av et enkelt videospill eller et digitalt system.
Del 2 – Theano for Deep Learning
Grunnleggende om Theano
- Introduksjon Installasjon og konfigurasjon
Theano funksjoner
- innganger, utganger, oppdateringer, gitter
Trening og optimalisering av et nevralt nettverk ved hjelp av Theano
- Nevrale nettverksmodellering Logistisk regresjon Skjulte lag Trene et nettverk Databehandling og klassifiseringsoptimalisering Loggtap
Tester modellen
Del 3 – DNN ved hjelp av Tensorflow
TensorFlow Grunnleggende
- Opprette, initialisere, lagre og gjenopprette TensorFlow variabler Mate, lese og forhåndslaste TensorFlow Data Hvordan bruke TensorFlow infrastruktur for å trene modeller i skala Visualisere og evaluere modeller med TensorBoard
TensorFlow Mekanikk
- Forbered datanedlastingsinnganger og plassholdere Bygg GraphS Inference Loss Training
Fra Perceptron til støtte for vektormaskiner
- Kjerner og kjernetrikset Maksimal marginklassifisering og støttevektorer
Kunstig Neural Networks
- Ikke-lineære beslutningsgrenser Feedforward og feedback kunstige nevrale nettverk Flerlags perseptroner Minimere kostnadsfunksjonen Foroverforplantning Tilbakespredning Forbedre måten nevrale nettverk lærer
Konvolusjonell Neural Networks
- Goals Modellarkitekturprinsipper Kodeorganisering Lansering og opplæring av modellen Evaluering av en modell
- Grunnleggende introduksjoner som skal gis til modulene nedenfor (Kort introduksjon skal gis basert på tilgjengelig tid):
Tensorflow - Avansert bruk
Distribuerte tråder og køer TensorFlow Skrive dokumentasjon og dele modellen din Tilpasse datalesere Manipulere TensorFlow modellfiler
TensorFlow Servering
- Introduksjon Grunnleggende serveringsopplæring Avansert serveringsopplæring Oppstartsmodell for servering
Krav
Bakgrunn i fysikk, matematikk og programmering. Engasjement i bildebehandlingsaktiviteter.
Delegatene bør ha en forhåndsforståelse av maskinlæringskonsepter, og bør ha arbeidet med Python programmering og biblioteker.