Hadoop og Spark for Administratører Treningskurs

Målgruppe:

Kurset er ment for IT-spesialister som ser etter en løsning for å lagre og behandle store datasett i en distribusjonssystemmiljø.

Goal:

Dypt kunnskap om Hadoop klusteradministrasjon.

Denne instruktørledede, live opplæringen (online eller på sted) er rettet mot mellomnivå dataforskere og ingeniører som ønsker å bruke Google Colab og Apache Spark for behandling og analyse av store datasett.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Opprette en stor data-miljø ved bruk av Google Colab og Spark.
• Behandle og analysere store datasett effektivt med Apache Spark.
• Visualisere store data i et samarbeidsmiljø.
• Integrere Apache Spark med skyløsninger.

Big data analytics innebærer prosessen med å undersøke store mengder varierende datasett for å oppdage sammenhenger, skjulte mønstre og andre nyttige innsikter.

Helsenæringen har enorme mengder kompleks og heterogene medisinske og kliniske data. Ved å bruke big data analytics på helsedata, finnes det stort potensial for å utlede innsikter som kan forbedre leveringen av helseomsorgen. Imidlertid stiller størrelsen på disse datasettene store utfordringer i analyser og praktiske anvendelser i en klinisk miljø.

I denne instruktørledede, live-treningen (fjernta), vil deltakerne lære hvordan de kan utføre big data analytics i helsenæringen gjennom en rekke praksisøvelser i live-lab.

Avslutning på denne treningen vil deltakerne kunne:

• Installere og konfigurere big data analyseverktøy som Hadoop MapReduce og Spark
• Få en forståelse for egenskapene til medisinske data
• Bruke big data teknikker for å håndtere medisinske data
• Studere big data systemer og algoritmer i sammenhengen med helseanvendelser

Målgruppe

• Utviklere
• Datavitenskapsfolk

Kursformat

• Del foredrag, del diskusjon, øvelser og mye praksis.

Merk

• For å be om en tilpasset trening for dette kurset, vennligst kontakt oss for å ordne det.

I denne instruktørledede, live-treningen i Norge (på stedet eller fjernundervisning), vil deltakerne lære hvordan de kan sette opp og integrere ulike strømprosesseringssystemer med eksisterende store data-lagringssystemer og relaterte programvareapplikasjoner og mikrotjenester.

Ved slutten av denne treningen, vil deltakerne kunne:

• Installere og konfigurere ulike strømprosesseringssystemer, som Spark Streaming og Kafka Streaming.
• Forstå og velge det mest passende systemet for oppgaven.
• Behandle data kontinuerlig, samtidig og record-for-record.
• Integrasjon av strømprosesseringsløsninger med eksisterende databaser, datalager, datavannværker osv.
• Integrere det mest passende strømprosesseringsbiblioteket med foretagsapplikasjoner og mikrotjenester.

Denne opplæringen gir en praktisk innføring i å bygge skalerbare databehandlings- og maskinlæringsarbeidsflyter ved hjelp av PySpark. Deltakerne lærer hvordan Apache Spark fungerer i moderne Big Data-ekosystemer, og hvordan man effektivt behandler store datasett ved hjelp av prinsippene for distribuert datateknikk.

Dette instruktørførte, live-kurs i Norge (online eller på stedet) er rettet mot datavitenskapsfolk som ønsker å bruke SMACK-stakken til å bygge datahåndteringstjenester for store dataløsninger.

Til slutt av dette kurs, vil deltakerne kunne:

• Implementere en datapipelinearkitektur for behandling av store data.
• Utvikle en klusterinfrastruktur med Apache Mesos og Docker.
• Analysere data med Spark og Scala.
• Hantere ustrukturerte data med Apache Cassandra.

Dette veiledede kurset i Norge (online eller på sted) er rettet mot ingeniører som ønsker å sette opp og deploye Apache Spark-systemet for behandling av ekstremt store mengder data.

Etter dette kurset vil deltakerne kunne:

Denne instruktørledede, direkteopplæringen i Norge (online eller på stedet) er rettet mot systemadministratorer på nybegynnere til mellomnivå som ønsker å distribuere, vedlikeholde og optimalisere Spark-klynger.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer Apache Spark i forskjellige miljøer.
• Administrer klyngeressurser og overvåk Spark-applikasjoner.
• Optimaliser ytelsen til Spark-klynger.
• Iverksette sikkerhetstiltak og sikre høy tilgjengelighet.
• Feilsøk og feilsøk vanlige Spark-problemer.

Læringskurven til Apache Spark stiger sakte i begynnelsen, det krever mye innsats for å få den første tilbakemeldingen. Dette kurset har som mål å hoppe over den første vanskelige delen. Etter å ha tatt dette kurset vil deltakerne forstå grunnleggende om Apache Spark, de vil klart skille mellom RDD og DataFrame, de vil lære Python og Scala API, de vil forstå executors og tasks, etc. I tillegg til å følge beste praksis, fokuserer dette kurset sterkt på skydeploering, Databricks og AWS. Studentene vil også forstå forskjellene mellom AWS EMR og AWS Glue, en av de nyeste Spark-tjenestene fra AWS.

MÅLGREP:

Data Engineer, DevOps, Data Scientist

MÅL:

Dette kurset vil introdusere Apache Spark. Studentene vil lære hvordan Spark passer inn i Big Data-økosystemet, og hvordan man bruker Spark til dataanalyse. Kurset dekker Spark shell for interaktiv dataanalyse, Spark internt, Spark APIer, Spark SQL, Spark strømming, maskinlæring og GraphX.

MÅLGRUPPE:

Utviklere / Dataanalytikere

Denne instruktørledede, direkteopplæringen i Norge (online eller på stedet) er rettet mot datavitere og utviklere som ønsker å bruke Spark NLP, bygget på toppen av Apache Spark, for å utvikle, implementere og skalere tekstbehandling av naturlig språk modeller og rørledninger.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Sett opp det nødvendige utviklingsmiljøet for å begynne å bygge NLP-rørledninger med Spark NLP.
• Forstå funksjonene, arkitekturen og fordelene ved å bruke Spark NLP.
• Bruk de forhåndstrente modellene tilgjengelig i Spark NLP for å implementere tekstbehandling.
• Lær hvordan du bygger, trener og skalerer Spark NLP modeller for prosjekter i produksjonsgrad.
• Bruk klassifisering, inferens og sentimentanalyse på brukssaker i den virkelige verden (kliniske data, kundeatferdsinnsikt, etc.).

I denne instruktørledede, live-treningen i Norge vil deltakerne lære å bruke Python og Spark sammen for å analysere store data mens de jobber med praktiske øvelser.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Lær hvordan du bruker Spark med Python for å analysere Big Data.
• Arbeid med øvelser som etterligner virkelige tilfeller.
• Bruk forskjellige verktøy og teknikker for stordataanalyse ved hjelp av PySpark.

Denne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot utviklere som ønsker å bruke og integrere Spark, Hadoop og Python for å behandle, analysere og transformere store og komplekse datasett.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Sett opp det nødvendige miljøet for å begynne å behandle store data med Spark, Hadoop og Python.
• Forstå funksjonene, kjernekomponentene og arkitekturen til Spark og Hadoop.
• Lær hvordan du integrerer Spark, Hadoop og Python for behandling av store data.
• Utforsk verktøyene i Spark-økosystemet (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka og Flume).
• Bygg anbefalingssystemer for samarbeidsfiltrering som ligner på Netflix, YouTube, Amazon, Spotify og Google.
• Bruk Apache Mahout til å skalere maskinlæringsalgoritmer.

Spark SQL er Apache Sparks modul for å jobbe med strukturerte og ustrukturerte data. Spark SQL gir informasjon om strukturen på dataene og den beregningen som utføres. Denne informasjonen kan brukes til å gjennomføre optimaliseringer. To vanlige bruksscenarier for Spark SQL er:
- å utføre SQL-spørringer.
- å lese data fra en eksisterende Hive-installasjon.

I denne instructerledede, live-treningen (på stedet eller fjern) vil deltakerne lære hvordan de kan analysere ulike typer datasett ved hjelp av Spark SQL.

Til slutt av dette kurset, vil deltakerne kunne:

• Installere og konfigurere Spark SQL.
• Utgjøre dataanalyse med Spark SQL.
• Forespørre datasett i ulike formater.
• Visualisere data og forespørselseresultater.

Kursets format

• Interaktiv forelesning og diskusjon.
• Masse øvelser og praksis.
• Håndheving i en live-lab-miljø.

Kurs tilpasningsmuligheter

• For å be om et tilpasset kurs, vennligst kontakt oss for å organisere det.

Stratio er en data-sentrert plattform som integrerer store data, kunstig intelligens og styring i én løsning. Dets Rocket- og Intelligence-moduler gjør det mulig å utforske, transformere og analysere data raskt i virksomhetsmiljøer.

Denne veiledede, live-treningen (online eller på stedet) er rettet mot mellomnivås dataprofessionelle som ønsker å bruke Rocket- og Intelligence-modulene i Stratio effektivt med PySpark, med fokus på løkkestrukturer, brukerdefinerte funksjoner og avansert data-logikk.

Ved slutten av denne treningen vil deltakerne kunne:

• Navigere og jobbe i Stratio-plattformen ved hjelp av Rocket- og Intelligence-modulene.
• Bruke PySpark i sammenheng med datainnlesing, -transformasjon og -analyse.
• Bruke løkker og betinget logikk for å kontrollere data-arbeidsflyt og uttrekk av egenskaper.
• Opprette og administrere brukerdefinerte funksjoner (UDFs) for gjenbrukbare dataoperasjoner i PySpark.

Kursformat

• Interaktiv foredrag og diskusjon.
• Masse øvelser og praksis.
• Praktisk implementering i et live-lab-miljø.

Kurstilpasningsoptions

• For å forespørre en tilpasset trening for dette kurset, vennligst kontakt oss for å ordne det.