Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Kursplan
Modul 1. Introduksjon til Hadoop
- Hadoop Distribuert filsystem (HDFS) Lesebanen og skrivebanen Administrere filsystemmetadata Namenode og datanode Namenode High Availability Namenode Federation Kommandolinjeverktøyene Forstå REST-støtte
Modul 2. Introduksjon til MapReduce
- Analysere dataene med Hadoop-kart og reduksjonsmønster Java MapReduce Utskalering av dataflyt Utvikle kombineringsfunksjoner Kjøre en distribuert MapReduce-jobb
Modul 3. Planlegging av en Hadoop klynge
- Velge en distribusjon og versjon av Hadoop versjoner og funksjoner Maskinvarevalg Hoved- og arbeidermaskinvarevalg Klyngestørrelse Operativsystemvalg og klargjøring Implementeringsoppsett Sette opp brukere, grupper og rettigheter Diskkonfigurasjon Nettverksdesign
Modul 4. Installasjon og konfigurasjon
- Installere Hadoop-konfigurasjon: En oversikt Hadoop XML-konfigurasjonsfiler Miljøvariabler og Shell-skript Loggingskonfigurasjon Administrere HDFS-optimalisering og -innstilling Formatere Namenode Opprette en /tmp Directory Thinking Namenode Høy tilgjengelighet Fektingsalternativene Automatisk Failover-konfigurasjonsformat og Bootstrap the Namenode
Modul 5. Forstå Hadoop I/O
- Dataintegritet i HDFS Forstå kodeker komprimering og inngangsdelinger Bruke komprimering i MapReduce Serialiseringsmekanismen Filbaserte datastrukturer SequenceFile-formatet Andre filformater og kolonneorienterte formater
Modul 6. Utvikle en MapReduce-applikasjon
- Konfigurasjons-APIet Sette opp utviklingsmiljøet Administrere konfigurasjon GenericOptionsParser, Tool og ToolRunner Skrive en enhetstest med MRUnit Mapper og Reducer kjører lokalt på testdata Teste driveren som kjører på en klyngepakke og starte en jobb MapReduce Web UI Justere en jobb
Modul 7. Identitet, autentisering og autorisasjon
- Administrere identitet Kerberos og Hadoop Forstå autorisasjon
Modul 8. Ressurs Management
- Hva er ressurs Management? HDFS-kvoter MapReduce Schedulers Anatomy of a YARN Application Run Requests Application Lifespan YARN Sammenlignet med MapReduce 1 Planlegging i YARN Scheduler-alternativer Kapasitet Scheduler Konfigurasjon Fair Scheduler Konfigurasjon Forsinkelse Planlegging Dominant Resource Fairness
Modul 9. MapReduce typer og formater
- MapReduce-typer Standard MapReduce-jobben Definere inngangsformatene Administrere inngangsdelinger og -poster Tekstinngang og binærinngang Administrere flere innganger Database Input (og utdata) utdataformater Tekstutgang og binær utgang Håndtere flere utganger Database utdata
Modul 10. Bruke MapReduce-funksjoner
- Bruke tellere Lese Innebygde tellere Brukerdefinerte Java Tellere Forstå sortering ved å bruke den distribuerte hurtigbufferen
Modul 11. Klyngevedlikehold og feilsøking
- Administrere Hadoop prosesser Starte og stoppe prosesser med Init-skript Starte og stoppe prosesser manuelt HDFS-vedlikeholdsoppgaver Legge til en datanode Dekommisjonere en datanode Kontrollere filsystemintegritet med fsck Balansering av HDFS-blokkdata Håndtere en mislykket disk MapReduce vedlikeholdsoppgaver Killing a MapReduce Killing Oppgavebehandling av ressursbruk
Modul 12. Overvåking
- De tilgjengelige Hadoop metrikkene Rollen til SNMP-helseovervåking Kontroller på vertsnivå HDFS-sjekker MapReduce Checks
Modul 13. Sikkerhetskopiering og gjenoppretting
- Datasikkerhetskopi distribuert kopi (distcp) Parallell datainntak Namenode Metadata
21 timer
Testimonials (1)
The fact that all the data and software was ready to use on an already prepared VM, provided by the trainer in external disks.
