Stream Processing Kurs i Norge

Apache Beam er en åpen kildekode, enhetlig programmeringsmodell for å definere og utføre parallelle databehandlingsrørledninger. Dens kraft ligger i dens evne til å kjøre både batch- og streaming-pipelines, med utførelse utført av en av Beams støttede distribuerte prosesserings-backends: Apache Apex, Apache Flink, Apache Spark og Googgle Cloud Dataflow. Apache Beam er nyttig for ETL (Extract, Transform, and Load) oppgaver som å flytte data mellom forskjellige lagringsmedier og datakilder, transformere data til et mer ønskelig format og laste inn data til et nytt system. I denne instruktørledede, live-opplæringen (på stedet eller ekstern) vil deltakerne lære hvordan de implementerer Apache Beam SDK-ene i en Java eller Python applikasjon som definerer en databehandlingspipeline for å dekomponere et stort datasett i mindre biter for uavhengig, parallell behandling. Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer Apache Beam.
• Bruk en enkelt programmeringsmodell for å utføre både batch- og strømbehandling fra deres Java eller Python applikasjon.
• Utfør rørledninger på tvers av flere miljøer.

Kursets format

• Del forelesning, del diskusjon, øvelser og tung praktisk praksis

Note

• Dette kurset vil være tilgjengelig Scala i fremtiden. Vennligst kontakt oss for å avtale.

Denne instruktørledede, direkteopplæringen (online eller på stedet) er rettet mot ingeniører som ønsker å bruke Confluent (en distribusjon av Kafka) til å bygge og administrere en sanntidsdatabehandlingsplattform for applikasjonene deres. Ved slutten av denne opplæringen vil deltakerne kunne:

Installer og konfigurer Confluent Platform. Bruk Confluents administrasjonsverktøy og tjenester for å kjøre Kafka enklere. Lagre og behandle innkommende strømdata. Optimaliser og administrer Kafka-klynger. Sikre datastrømmer.

Kursets format

Interaktivt foredrag og diskusjon. Mye øvelser og trening. Praktisk implementering i et live-lab-miljø.

Alternativer for kurstilpasning

Dette kurset er basert på åpen kildekode-versjonen av Confluent: Confluent Open Source. For å be om en tilpasset opplæring for dette kurset, vennligst kontakt oss for å avtale.

Denne instruktørledede, direkteopplæringen i Norge (online eller på stedet) introduserer prinsippene og tilnærmingene bak distribuert strøm- og batchdatabehandling, og leder deltakerne gjennom opprettelsen av en sanntidsdatastrømningsapplikasjon i Apache Flink. Ved slutten av denne opplæringen vil deltakerne kunne:

• Sett opp et miljø for utvikling av dataanalyseapplikasjoner.
• Forstå hvordan Apache Flink sitt grafbehandlingsbibliotek (Gelly) fungerer.
• Pakk, utfør og overvåk Flink-baserte, feiltolerante, datastrømmeapplikasjoner.
• Håndter ulike arbeidsmengder.
• Utfør avanserte analyser.
• Sett opp en multi-node Flink-klynge.
• Mål og optimer ytelsen.
• Integrer Flink med forskjellige Big Data systemer.
• Sammenlign Flink-funksjonene med andre rammeverk for behandling av store data.

I denne instruktørledede, live-opplæringen i Norge (på stedet eller ekstern), vil deltakerne lære å sette opp og integrere forskjellige Stream Processing rammeverk med eksisterende lagringssystemer for store data og relaterte programvareapplikasjoner og mikrotjenester. Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer forskjellige Stream Processing rammeverk, for eksempel Spark Streaming og Kafka Streaming.
• Forstå og velg det mest passende rammeverket for jobben.
• Prosess av data kontinuerlig, samtidig og på en rekord-for-post måte.
• Integrer Stream Processing løsninger med eksisterende databaser, datavarehus, datainnsjøer, etc.
• Integrer det mest passende strømbehandlingsbiblioteket med bedriftsapplikasjoner og mikrotjenester.

Denne instruktørledede, direkteopplæringen i Norge (online eller på stedet) er rettet mot dataingeniører, dataforskere og programmerere som ønsker å bruke Apache Kafka-funksjoner i datastrømming med Python. Ved slutten av denne opplæringen vil deltakerne kunne bruke Apache Kafka til å overvåke og administrere forhold i kontinuerlige datastrømmer ved å bruke Python programmering.

Kafka Streams er et bibliotek på klientsiden for å bygge applikasjoner og mikroservices hvis data sendes til og fra et Kafka-meldingssystem. Tradisjonelt har Apache Kafka vært avhengig av Apache Spark eller Apache Storm å behandle data mellom meldingsprodusenter og forbrukere. Ved å kalle Kafka Streams API fra en applikasjon, kan data behandles direkte i Kafka, og omgå behovet for å sende dataene til en egen klynge for behandling. I denne instruktørledede, liveopplæringen, vil deltakerne lære å integrere Kafka Streams i et sett med Java applikasjoner som sender data til og fra Apache Kafka for strømbehandling. Ved slutten av denne opplæringen vil deltakerne kunne:

• Forstå Kafka Streams funksjoner og fordeler i forhold til andre rammeverk for prosessering av strømmer
• Behandle data direkte i en Kafka-klynge
• Skriv en Java eller Scala applikasjon eller mikroservice som integreres med Kafka og Kafka Streams
• Skriv kortfattet kode som forvandler input Kafka-emner til output Kafka-emner
• Bygg, pakke og distribuer applikasjonen

Publikum

• Utviklere

Kursets format

• Delforelesning, deldiskusjon, øvelser og tung praktisk øvelse

Merknader

• For å be om en tilpasset opplæring for dette kurset, vennligst kontakt oss for å avtale

Denne instruktørledede, direkteopplæringen i Norge (online eller på stedet) er rettet mot utviklere som ønsker å implementere Apache Kafka strømbehandling uten å skrive kode. Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer Confluent KSQL.
• Sett opp en strømbehandlingspipeline ved å bruke bare SQL kommandoer (ingen Java eller Python koding).
• Utfør datafiltrering, transformasjoner, aggregeringer, sammenføyninger, vinduer og økter i SQL.
• Design og distribuer interaktive, kontinuerlige spørringer for streaming av ETL og sanntidsanalyse.

I denne instruktørledede, live-opplæringen i Norge (på stedet eller eksternt), vil deltakerne lære hvordan de distribuerer og administrerer Apache NiFi i et levende laboratoriemiljø. Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer Apachi NiFi.
• Kilde, transformer og administrer data fra forskjellige, distribuerte datakilder, inkludert databaser og store datainnsjøer.
• Automatiser dataflyter.
• Aktiver strømmeanalyse.
• Bruk ulike tilnærminger for datainntak.
• Forvandle Big Data og til forretningsinnsikt.

I denne instruktørledede, live-opplæringen i Norge vil deltakerne lære det grunnleggende om flytbasert programmering når de utvikler en rekke demo-utvidelser, komponenter og prosessorer ved hjelp av Apache NiFi. Ved slutten av denne opplæringen vil deltakerne kunne:

• Forstå NiFis arkitektur og dataflytkonsepter.
• Utvikle utvidelser ved å bruke NiFi og tredjeparts APIer.
• Tilpasset utvikle sin egen Apache Nifi-prosessor.
• Ta inn og behandle sanntidsdata fra forskjellige og uvanlige filformater og datakilder.

Denne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot dataingeniører, dataforskere og programmerere som ønsker å bruke Spark Streaming-funksjoner til å behandle og analysere sanntidsdata. Ved slutten av denne opplæringen vil deltakerne kunne bruke Spark Streaming til å behandle live datastrømmer for bruk i databaser, filsystemer og live dashboards.