Administrasjon av Apache Spark Treningskurs

Denne instruktørledede, live opplæringen (online eller på sted) er rettet mot mellomnivå dataforskere og ingeniører som ønsker å bruke Google Colab og Apache Spark for behandling og analyse av store datasett.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Opprette en stor data-miljø ved bruk av Google Colab og Spark.
• Behandle og analysere store datasett effektivt med Apache Spark.
• Visualisere store data i et samarbeidsmiljø.
• Integrere Apache Spark med skyløsninger.

Big data analytics innebærer prosessen med å undersøke store mengder varierte datasett for å avdekke korrelasjoner, skjulte mønstre og annen nyttig innsikt.

Helseindustrien har enorme mengder komplekse heterogene medisinske og kliniske data. Å bruke big data-analyse av helsedata gir et stort potensial i å oppnå innsikt for å forbedre leveransen av helsetjenester. Imidlertid gir enorme datasett store utfordringer i analyser og praktiske applikasjoner i et klinisk miljø.

I denne instruktørledede liveopplæringen (ekstern) vil deltakerne lære å utføre big data-analyse innen helse når de går gjennom en serie praktiske live-lab-øvelser.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer verktøy for analyse av big data som Hadoop MapReduce og Spark
• Forstå egenskapene til medisinsk data
• Bruk big data-teknikker for å håndtere medisinske data
• Studer store datasystemer og algoritmer i sammenheng med helseprogrammer

Publikum

• Utviklere
• Dataforskere

Kursets format

• Delforelesning, deldiskusjon, øvelser og tung praktisk øvelse.

Merk

• For å be om en tilpasset opplæring for dette kurset, vennligst kontakt oss for å avtale.

Denne instruktørledede, direkteopplæringen i Norge (online eller på stedet) er rettet mot systemadministratorer som ønsker å lære hvordan de konfigurerer, distribuerer og administrerer Hadoop klynger i organisasjonen deres.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer Apache Hadoop.
• Forstå de fire hovedkomponentene i Hadoop-økosystemet: HDFS, MapReduce, YARN og Hadoop Common.
• Bruk Hadoop Distributed File System (HDFS) for å skalere en klynge til hundrevis eller tusenvis av noder.
• Konfigurer HDFS for å fungere som lagringsmotor for Spark-distribusjoner på stedet.
• Sett opp Spark for å få tilgang til alternative lagringsløsninger som Amazon S3 og NoSQL databasesystemer som Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Utfør administrative oppgaver som klargjøring, administrasjon, overvåking og sikring av en Apache Hadoop-klynge.

In this instructor-led, live training in Norge (onsite or remote), participants will learn how to set up and integrate different Stream Processing frameworks with existing big data storage systems and related software applications and microservices.

By the end of this training, participants will be able to:

• Install and configure different Stream Processing frameworks, such as Spark Streaming and Kafka Streaming.
• Understand and select the most appropriate framework for the job.
• Process of data continuously, concurrently, and in a record-by-record fashion.
• Integrate Stream Processing solutions with existing databases, data warehouses, data lakes, etc.
• Integrate the most appropriate stream processing library with enterprise applications and microservices.

Denne instruktørledede, liveopplæringen i Norge (online eller på stedet) er rettet mot dataforskere som ønsker å bruke SMACK-stakken til å bygge databehandlingsplattformer for big data-løsninger.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Implementer en datapipeline-arkitektur for behandling av big data.
• Utvikle en klyngeinfrastruktur med Apache Mesos og Docker.
• Analyser data med Spark og Scala.
• Administrer ustrukturerte data med Apache Cassandra.

Denne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot ingeniører som ønsker å sette opp og distribuere Apache Spark-system for å behandle svært store datamengder.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer Apache Spark.
• Behandle og analysere svært store datasett raskt.
• Forstå forskjellen mellom Apache Spark og Hadoop MapReduce og når du skal bruke hvilken.
• Integrer Apache Spark med andre maskinlæringsverktøy.

Apache Spark læringskurve øker sakte i begynnelsen, det krever mye krefter for å komme tilbake. Dette kurset tar sikte på å hoppe gjennom den første tøffe delen. Etter å ha tatt dette kurset vil deltakerne forstå det grunnleggende om Apache Spark , de vil tydelig differensiere RDD fra DataFrame, de vil lære Python og Scala API, de vil forstå eksekutører og oppgaver, etc. I tillegg til å følge beste praksis fokuserer dette kurset sterkt på skyutplassering, Databricks og AWS. Studentene vil også forstå forskjellene mellom AWS EMR og AWS Glue, en av de siste gnisttjenestene til AWS.

PUBLIKUM:

Data Engineer, DevOps , Data Scientist

OBJEKTIV:

Dette kurset vil introdusere Apache Spark . Studentene skal lære hvordan Spark passer inn i Big Data økosystemet, og hvordan de kan bruke Spark til dataanalyse. Emnet dekker Spark shell for interaktiv dataanalyse, Spark internals, Spark APIer, Spark SQL , Spark streaming, og maskinlæring og grafX.

Audiens:

Utviklere / dataanalytikere

Denne instruktørledede, direkteopplæringen i Norge (online eller på stedet) er rettet mot datavitere og utviklere som ønsker å bruke Spark NLP, bygget på toppen av Apache Spark, for å utvikle, implementere og skalere tekstbehandling av naturlig språk modeller og rørledninger.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Sett opp det nødvendige utviklingsmiljøet for å begynne å bygge NLP-rørledninger med Spark NLP.
• Forstå funksjonene, arkitekturen og fordelene ved å bruke Spark NLP.
• Bruk de forhåndstrente modellene tilgjengelig i Spark NLP for å implementere tekstbehandling.
• Lær hvordan du bygger, trener og skalerer Spark NLP modeller for prosjekter i produksjonsgrad.
• Bruk klassifisering, inferens og sentimentanalyse på brukssaker i den virkelige verden (kliniske data, kundeatferdsinnsikt, etc.).

I denne instruktørledede, live-treningen i Norge vil deltakerne lære å bruke Python og Spark sammen for å analysere store data mens de jobber med praktiske øvelser.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Lær hvordan du bruker Spark med Python for å analysere Big Data.
• Arbeid med øvelser som etterligner virkelige tilfeller.
• Bruk forskjellige verktøy og teknikker for stordataanalyse ved hjelp av PySpark.

Denne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot utviklere som ønsker å bruke og integrere Spark, Hadoop og Python for å behandle, analysere og transformere store og komplekse datasett.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Sett opp det nødvendige miljøet for å begynne å behandle store data med Spark, Hadoop og Python.
• Forstå funksjonene, kjernekomponentene og arkitekturen til Spark og Hadoop.
• Lær hvordan du integrerer Spark, Hadoop og Python for behandling av store data.
• Utforsk verktøyene i Spark-økosystemet (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka og Flume).
• Bygg anbefalingssystemer for samarbeidsfiltrering som ligner på Netflix, YouTube, Amazon, Spotify og Google.
• Bruk Apache Mahout til å skalere maskinlæringsalgoritmer.

Spark SQL er Apache Spark modul for arbeid med strukturerte og ustrukturerte data. Spark SQL gir informasjon om strukturen til dataene samt beregningen som blir utført. Denne informasjonen kan brukes til å utføre optimaliseringer. To vanlige bruksområder for Spark SQL er:
- for å utføre SQL spørsmål.
- å lese data fra en eksisterende Hive installasjon.

I denne instruktørledede, liveopplæringen (på stedet eller fjernkontrollen) vil deltakerne lære å analysere ulike typer datasett ved å bruke Spark SQL .

Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer Spark SQL .
• Utfør dataanalyse ved å bruke Spark SQL .
• Forespørselsdatasett i forskjellige formater.
• Visualiser data og spørreresultater.

Kursets format

• Interaktiv forelesning og diskusjon.
• Masse øvelser og trening.
• Praktisk implementering i et live-lab-miljø.

Alternativer for tilpasning av kurset

• For å be om en tilpasset opplæring for dette kurset, vennligst kontakt oss for å avtale.

Stratio er en datacentrisk plattform som integrerer big data, AI og governance i én løsning. Rocket- og Intelligence-modulene muliggjør rask datautforskning, transformasjon og avansert analyse i bedriftsmiljøer.

Denne instruktørledede, levende opplæringen (online eller på sted) er rettet mot mellomnivå-datafagpersonell som ønsker å bruke Rocket- og Intelligence-modulene i Stratio effektivt med PySpark, med fokus på løkker, brukerdefinerte funksjoner og avansert datalogikk.

Ved slutten av denne opplæringen vil deltakerne være i stand til:

• Navigere og arbeide innenfor Stratio-plattformen ved bruk av Rocket- og Intelligence-modulene.
• Bruke PySpark i forbindelse med datainnsamling, transformasjon og analyse.
• Bruke løkker og betinget logikk til å kontrollere dataflyter og oppgavearbeid for egenskapsutvinning.
• Opprette og administrere brukerdefinerte funksjoner (UDFs) for gjentatte dataoperasjoner i PySpark.

Kursformat

• Interaktiv forelesning og diskusjon.
• Mange øvelser og praksis.
• Håndson implementering i en levende labmiljø.

Tilpassingsalternativer for kurset

• For å bestille en tilpasset opplæring for dette kurset, kontakt oss for å avtale.