Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Kursplan
- Scala primer En rask introduksjon til Scala Labs : Bli kjent med Scala Spark Grunnleggende Bakgrunn og historie Spark og Hadoop Spark konsepter og arkitektur Spark økosystem (kjerne, spark sql, mlib, streaming) Labs : Installere og kjøre Spark First Look at Spark Running Spark i lokal modus Spark web UI Spark shell Analyserer datasett – del 1 Inspiserer RDD-er Labs: Spark-shell-utforskning RDD-er RDD-konsepter Partisjoner RDD Operasjoner / transformasjoner RDD-typer Nøkkelverdipar RDD-er MapReduce on RDD Caching and persistence Labs : opprette og inspisere RDD-er; Bufring av RDD-er Spark API-programmering Introduksjon til Spark API / RDD API Sende det første programmet til Spark Debugging / logging Konfigurasjonsegenskaper Labs : Programmering i Spark API, Sende jobber Spark SQL SQL-støtte i Spark-datarammer Definere tabeller og importere datasett Spørre data rammer ved hjelp av SQL Lagringsformater: JSON / Parquet Labs: Opprette og spørre om datarammer; evaluere dataformater MLlib MLlib intro MLlib algoritmer Labs : Skrive MLib-applikasjoner GraphX GraphX bibliotekoversikt GraphX APIs Labs : Behandle grafdata ved hjelp av Spark Spark Streaming Streaming-oversikt Evaluere Streaming-plattformer Streamingoperasjoner Skyvevinduoperasjoner Labs : Hadoop Spark-applikasjon i streaming HDFS / YARN) Hadoop + Spark-arkitektur Kjører Spark på Hadoop YARN Behandler HDFS-filer ved hjelp av Spark Spark Ytelse og Tuning Broadcast-variabler Akkumulatorer Minneadministrasjon og hurtigbufring Spark Operations Implementering av Spark i produksjon Eksempel på distribusjonsmaler Konfigurasjoner Overvåking Feilsøking
Krav
FORHÅNDSKRAV
kjennskap til enten Java / Scala / Python-språk (våre laboratorier i Scala og Python) grunnleggende forståelse av Linux utviklingsmiljø (kommandolinjenavigering / redigering av filer med VI eller nano)
21 timer