Kursplan
Avsnitt 1: Datalagring i HDFS
- Forskjellige datiformater (JSON / Avro / Parquet)
- Komprimeringsmetoder
- Datamasking
- Øvelser : Analyse av forskjellige datatformater; aktivering av kompresjon
Avsnitt 2: Avansert Pig
- Brukerdefinerte funksjoner
- Innføring i Pig-biblioteker (ElephantBird / Data-Fu)
- Lastning av komplekse strukturerte data ved hjelp av Pig
- Pig-optimalisering
- Øvelser : Avansert pig-scripting, parsing av komplekse datatyper
Avsnitt 3: Avansert Hive
- Brukerdefinerte funksjoner
- Komprimerte tabeller
- Hive-optimalisering
- Øvelser : Opprettelse av komprimerte tabeller, vurdering av tabelformater og konfigurasjon
Avsnitt 4: Avansert HBase
- Avansert skjemamodellering
- Komprimering
- Bulk-inndatahenting
- Bred-tabeller / Lange-tabeller sammenligning
- HBase og Pig
- HBase og Hive
- HBase-optimalisering
- Øvelser : Optimalisering av HBase; tilgang til HBase-data fra Pig & Hive; Bruk av Phoenix for datamodellering
Krav
- komfortabel med Java-programmeringsspråket (de fleste programmeringsøvelsene er i Java)
- komfortabel i Linux-miljøet (være i stand til å navigere i Linux-kommandolinjen, redigere filer ved hjelp av vi / nano)
- praktisk kunnskap om Hadoop.
Labbmiljø
Null installasjon: Det er ikke nødvendig å installere hadoop-software på studenters maskiner! Et fungerende Hadoop-kluster vil bli tilgjengelig for studenter.
Studenter vil trenge følgende
Referanser (5)
De live-eksemplene
Ahmet Bolat - Accenture Industrial SS
Kurs - Python, Spark, and Hadoop for Big Data
Maskinoversatt
Under øvingene forklarte James meg hvert enkelt trinn i detalj hver gang jeg ble fast. Jeg var helt ny for NIFI. Han forklarte den faktiske formålet med NIFI, selv de grunnleggende begrepene som open source. Han gikk gjennom alle konseptene i Nifi fra Beginner Level til Developer Level.
Firdous Hashim Ali - MOD A BLOCK
Kurs - Apache NiFi for Administrators
Maskinoversatt
At jeg hadde det i første rekke.
Peter Scales - CACI Ltd
Kurs - Apache NiFi for Developers
Maskinoversatt
praktiske ting med å gjøre, også teorien ble godt fremmet av Ajay
Dominik Mazur - Capgemini Polska Sp. z o.o.
Kurs - Hadoop Administration on MapR
Maskinoversatt
Jeg likte VM-arrangementet veldig mye. Læreren var meget kunnskapsrik både om emnet og andre temaer, han var veldig snill og vennlig. Jeg likte faciliteten i Dubai.
Safar Alqahtani - Elm Information Security
Kurs - Big Data Analytics in Health
Maskinoversatt