Kursplan
Avsnitt 1: Introduksjon til Hadoop
- Hadoop historie, konsepter
- økosystem
- distribusjoner
- kohøy nivåarkitektur
- Hadoop-myter
- Hadoop-utfordringer
- maskin/programvare
- laboratorium : første blikk på Hadoop
Avsnitt 2: HDFS
- design og arkitektur
- konsepter (horisontal skaling, replikering, datalokalitet, rack-awareness)
- kjørere : Namenode, Secondary namenode, Data node
- kommunikasjon / hjerteslag
- dataintegritet
- lese / skrivesti
- Namenode High Availability (HA), Federation
- laboratorium : interaksjon med HDFS
Avsnitt 3: Map Reduce
- konsepter og arkitektur
- kjørere (MRV1) : jobtracker / tasktracker
- faser : driver, mapper, shuffle/sortering, reducer
- Map Reduce Versjon 1 og Versjon 2 (YARN)
- Innforståelse for Map Reduce
- Introduksjon til Java Map Reduce program
- laboratorium : kjøring av et eksempel på MapReduce-program
Avsnitt 4: Pig
- pig vs java map reduce
- pig jobbstrøm
- Pig Latin språk
- ETL med Pig
- Transformasjoner & Joiner
- Brukerdefinerte funksjoner (UDF)
- laboratorium : skriving av Pig-script for å analysere data
Avsnitt 5: Hive
- arkitektur og design
- datatyper
- SQL-støtte i Hive
- Oprettelse av Hive-tabeller og spørringer
- deler
- joiner
- tekstbehandling
- laboratorium : ulike laboratorieøvelser for behandling av data med Hive
Avsnitt 6: HBase
- konsepter og arkitektur
- HBase vs RDBMS vs Cassandra
- HBase Java API
- Tidsserie-data i HBase
- schemadesign
- laboratorium : interaksjon med HBase ved hjelp av shell; programmering i HBase Java API ; Schemadesignøvelse
Krav
- tryg med Java programmeringsspråket (de fleste programmeringsøvelser er på java)
- tryg i Linux-miljøet (være i stand til å navigere i Linux kommandolinjen, redigere filer ved hjelp av vi / nano)
Labbmiljø
Null installasjon : Det er ikke nødvendig å installere Hadoop-programvaren på studenters maskiner! En fungerende Hadoop-kluster vil bli tilgjengelig for studenter.
Studenter vil treng en
- en SSH-klient (Linux og Mac har allerede ssh-klienter, for Windows anbefales Putty)
- en nettleser for å tilgå klustret, Firefox anbefales
Referanser (5)
De live-eksemplene
Ahmet Bolat - Accenture Industrial SS
Kurs - Python, Spark, and Hadoop for Big Data
Maskinoversatt
Under øvingene forklarte James meg hvert enkelt trinn i detalj hver gang jeg ble fast. Jeg var helt ny for NIFI. Han forklarte den faktiske formålet med NIFI, selv de grunnleggende begrepene som open source. Han gikk gjennom alle konseptene i Nifi fra Beginner Level til Developer Level.
Firdous Hashim Ali - MOD A BLOCK
Kurs - Apache NiFi for Administrators
Maskinoversatt
At jeg hadde det i første rekke.
Peter Scales - CACI Ltd
Kurs - Apache NiFi for Developers
Maskinoversatt
praktiske ting med å gjøre, også teorien ble godt fremmet av Ajay
Dominik Mazur - Capgemini Polska Sp. z o.o.
Kurs - Hadoop Administration on MapR
Maskinoversatt
Jeg likte VM-arrangementet veldig mye. Læreren var meget kunnskapsrik både om emnet og andre temaer, han var veldig snill og vennlig. Jeg likte faciliteten i Dubai.
Safar Alqahtani - Elm Information Security
Kurs - Big Data Analytics in Health
Maskinoversatt