Stream Processing Kurs i Norge

Apache Samza er en åpen kildekode nær-sanntid, asynkron beregningsramme for strømbehandling. Den bruker Apache Kafka for meldinger, og Apache Hadoop YARN for feiltoleranse, prosessorisolering, sikkerhet og ressursstyring. Denne instruktørledede, liveopplæringen introduserer prinsippene bak meldingssystemer og distribuert strømbehandling, mens de går deltakerne gjennom opprettelsen av et eksempel på Samza-basert prosjekt og jobbutførelse. Ved slutten av denne opplæringen vil deltakerne kunne:

• Bruk Samza for å forenkle koden som er nødvendig for å produsere og konsumere meldinger.
• Kobler fra behandlingen av meldinger fra et program.
• Bruk Samza til å implementere asynkron beregning nær sanntid.
• Bruk strømbehandling for å gi et høyere abstraksjonsnivå over meldingssystemer.

Publikum

• Utviklere

Kursets format

• Delforelesning, deldiskusjon, øvelser og tung praktisk øvelse

Kafka Streams er et bibliotek på klientsiden for å bygge applikasjoner og mikroservices hvis data sendes til og fra et Kafka-meldingssystem. Tradisjonelt har Apache Kafka vært avhengig av Apache Spark eller Apache Storm å behandle data mellom meldingsprodusenter og forbrukere. Ved å kalle Kafka Streams API fra en applikasjon, kan data behandles direkte i Kafka, og omgå behovet for å sende dataene til en egen klynge for behandling. I denne instruktørledede, liveopplæringen, vil deltakerne lære å integrere Kafka Streams i et sett med Java applikasjoner som sender data til og fra Apache Kafka for strømbehandling. Ved slutten av denne opplæringen vil deltakerne kunne:

• Forstå Kafka Streams funksjoner og fordeler i forhold til andre rammeverk for prosessering av strømmer
• Behandle data direkte i en Kafka-klynge
• Skriv en Java eller Scala applikasjon eller mikroservice som integreres med Kafka og Kafka Streams
• Skriv kortfattet kode som forvandler input Kafka-emner til output Kafka-emner
• Bygg, pakke og distribuer applikasjonen

Publikum

• Utviklere

Kursets format

• Delforelesning, deldiskusjon, øvelser og tung praktisk øvelse

Merknader

• For å be om en tilpasset opplæring for dette kurset, vennligst kontakt oss for å avtale

I denne instruktørledede, live-opplæringen i Norge (på stedet eller ekstern), vil deltakerne lære å sette opp og integrere forskjellige Stream Processing rammeverk med eksisterende lagringssystemer for store data og relaterte programvareapplikasjoner og mikrotjenester.Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer forskjellige Stream Processing rammeverk, for eksempel Spark Streaming og Kafka Streaming.
• Forstå og velg det mest passende rammeverket for jobben.
• Prosess av data kontinuerlig, samtidig og på en rekord-for-post måte.
• Integrer Stream Processing løsninger med eksisterende databaser, datavarehus, datainnsjøer, etc.
• Integrer det mest passende strømbehandlingsbiblioteket med bedriftsapplikasjoner og mikrotjenester.

Denne instruktørledede, direkteopplæringen (online eller på stedet) er rettet mot ingeniører som ønsker å bruke Confluent (en distribusjon av Kafka) til å bygge og administrere en sanntidsdatabehandlingsplattform for applikasjonene deres.Ved slutten av denne opplæringen vil deltakerne kunne:

Installer og konfigurer Confluent Platform. Bruk Confluents administrasjonsverktøy og tjenester for å kjøre Kafka enklere. Lagre og behandle innkommende strømdata. Optimaliser og administrer Kafka-klynger. Sikre datastrømmer.

Kursets format

Interaktivt foredrag og diskusjon. Mye øvelser og trening. Praktisk implementering i et live-lab-miljø.

Alternativer for kurstilpasning

Dette kurset er basert på åpen kildekode-versjonen av Confluent: Confluent Open Source. For å be om en tilpasset opplæring for dette kurset, vennligst kontakt oss for å avtale.

Denne instruktørledede, direkteopplæringen i Norge (online eller på stedet) er rettet mot dataingeniører, dataforskere og programmerere som ønsker å bruke Apache Kafka-funksjoner i datastrømming med Python.Ved slutten av denne opplæringen vil deltakerne kunne bruke Apache Kafka til å overvåke og administrere forhold i kontinuerlige datastrømmer ved hjelp av Python programmering.

Denne instruktørledede, direkteopplæringen i Norge (online eller på stedet) er rettet mot dataingeniører, dataforskere og programmerere som ønsker å bruke Spark Streaming-funksjoner til å behandle og analysere sanntidsdata.Ved slutten av denne opplæringen vil deltakerne kunne bruke Spark Streaming til å behandle live datastrømmer for bruk i databaser, filsystemer og live dashboards.

Denne instruktørledede, direkteopplæringen i Norge (online eller på stedet) er rettet mot utviklere som ønsker å implementere Apache Kafka strømbehandling uten å skrive kode.Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer Confluent KSQL.
• Sett opp en strømbehandlingspipeline med kun SQL-kommandoer (ingen Java- eller Python-koding).
• Utfør datafiltrering, transformasjoner, aggregeringer, sammenføyninger, vinduer og sesjonsisering i sin helhet i SQL.
• Design og distribuer interaktive, kontinuerlige spørringer for streaming av ETL og sanntidsanalyse.

Denne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot utviklere som ønsker å lære prinsippene bak vedvarende og ren lagring i minnet mens de går gjennom opprettelsen av et eksempelprosjekt for in-memory databehandling.Ved slutten av denne opplæringen vil deltakerne kunne:

Bruk Ignite for in-memory, on-disk persistens samt en rent distribuert in-memory database. Oppnå utholdenhet uten å synkronisere data tilbake til en relasjonsdatabase. Bruk Ignite til å utføre SQL og distribuerte sammenføyninger. Forbedre ytelsen ved å flytte data nærmere CPU, ved å bruke RAM som lagring. Spre datasett over en klynge for å oppnå horisontal skalerbarhet. Integrer Ignite med RDBMS, NoSQL, Hadoop og maskinlæringsprosessorer.

Apache Beam er en åpen kildekode, enhetlig programmeringsmodell for å definere og utføre parallelle databehandlingsrørledninger. Dens kraft ligger i dens evne til å kjøre både batch- og streaming-pipelines, med utførelse utført av en av Beams støttede distribuerte prosesserings-backends: Apache Apex, Apache Flink, Apache Spark og Google Cloud Dataflow. Apache Beam er nyttig for ETL-oppgaver (Extract, Transform and Load) som å flytte data mellom forskjellige lagringsmedier og datakilder, transformere data til et mer ønskelig format og laste inn data til et nytt system.I denne instruktørledede, live-opplæringen (på stedet eller ekstern), vil deltakerne lære hvordan de implementerer Apache Beam SDK-ene i en Java- eller Python-applikasjon som definerer en databehandlingspipeline for å dekomponere et stort datasett i mindre biter for uavhengige, parallell behandling.Ved slutten av denne opplæringen vil deltakerne kunne:

Installer og konfigurer Apache Beam. Bruk en enkelt programmeringsmodell for å utføre både batch- og strømbehandling fra Java- eller Python-applikasjonen deres. Utfør rørledninger på tvers av flere miljøer.

Kursets format

Del forelesning, del diskusjon, øvelser og tung praktisk praksis

Merk

Dette kurset vil være tilgjengelig Scala i fremtiden. Vennligst kontakt oss for å avtale.

Apache Apex er en YARN-innfødt plattform som forener strøm og batch-behandling. Den behandler store data-i-bevegelse på en måte som er skalerbar, performant, feiltolerant, tilstrekkelig, sikker, distribuert og lett å betjene. Denne instruktørledede, liveopplæringen introduserer Apache Apex 'enhetlige strømbehandlingsarkitektur, og leder deltakerne gjennom opprettelsen av en distribuert applikasjon som bruker Apex på Hadoop . Ved slutten av denne opplæringen vil deltakerne kunne:

• Forstå databehandlingsrørledningskonsepter som kontakter for kilder og vasker, vanlige datatransformasjoner, etc.
• Bygg, skaler og optimaliser et Apex-program
• Behandle datastrømmer i sanntid pålitelig og med minimum latens
• Bruk Apex Core og Apex Malhar-biblioteket for å muliggjøre rask applikasjonsutvikling
• Bruk Apex API for å skrive og bruke eksisterende Java kode på nytt
• Integrer Apex i andre applikasjoner som en prosessor
• Still inn, test og skaler Apex-applikasjoner

Kursets format

• Interaktiv forelesning og diskusjon.
• Masse øvelser og trening.
• Praktisk implementering i et live-lab-miljø.

Alternativer for tilpasning av kurset

• For å be om en tilpasset opplæring for dette kurset, vennligst kontakt oss for å avtale.

Apache Storm er en distribuert, real-time datamaskin som brukes til å muliggjøre real-time forretningsintelligens. Det gjør det ved å tillate applikasjoner å pålitelig behandle ubegrensede datastrømmer (f.eks. forbruk av strømmen). "Storm er for real-time bearbeiding hva Hadoop er for batch bearbeiding!" I denne instruktørledede live-trening lærer deltakerne hvordan du installerer og konfigurerer Apache Storm, og deretter utvikler og implementerer en Apache Storm applikasjon for å behandle store data i sanntid. Noen av temaene som er inkludert i denne treningen inkluderer:

• Apache Storm i sammenheng med Hadoop
• Arbeid med ubegrensede data
• Kontinuerlig beregning
• Real-time analyser
• Distribusjon av RPC og ETL

Be om dette kurset nå! Publikum

• Programvare og ETL utviklere
• Mainframe fagfolk
• Data forskere
• Big data analytikere
• 0 0 Profesjonelle

Format av kurset

• Del forelesning, del diskusjon, øvelser og tung praksis

I denne instruktørledede, live-opplæringen i Norge (på stedet eller ekstern), vil deltakerne lære hvordan de distribuerer og administrerer Apache NiFi i et levende laboratoriemiljø.Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer Apachi NiFi.
• Kilde, transformer og administrer data fra forskjellige, distribuerte datakilder, inkludert databaser og store datainnsjøer.
• Automatiser dataflyter.
• Aktiver strømmeanalyse.
• Bruk ulike tilnærminger for datainntak.
• Forvandle Big Data og til forretningsinnsikt.

I denne instruktørledede, direkteopplæringen i Norge vil deltakerne lære det grunnleggende om flytbasert programmering når de utvikler en rekke demo-utvidelser, komponenter og prosessorer ved hjelp av Apache NiFi.Ved slutten av denne opplæringen vil deltakerne kunne:

• Forstå NiFis arkitektur og dataflytkonsepter.
• Utvikle utvidelser ved å bruke NiFi og tredjeparts APIer.
• Tilpasset utvikle sin egen Apache Nifi-prosessor.
• Innta og behandle sanntidsdata fra forskjellige og uvanlige filformater og datakilder.

Denne instruktørledede, direkteopplæringen i Norge (online eller på stedet) introduserer prinsippene og tilnærmingene bak distribuert strøm- og batchdatabehandling, og leder deltakerne gjennom opprettelsen av en sanntidsdatastrømningsapplikasjon i Apache Flink.Ved slutten av denne opplæringen vil deltakerne kunne:

Sett opp et miljø for utvikling av dataanalyseapplikasjoner. Forstå hvordan Apache Flinks grafbehandlingsbibliotek (Gelly) fungerer. Pakk, kjør og overvåk Flink-baserte, feiltolerante datastrømmeapplikasjoner. Håndter ulike arbeidsmengder. Utfør avanserte analyser. Sett opp en multi-node Flink-klynge. Mål og optimer ytelsen. Integrer Flink med forskjellige Big Data systemer. Sammenlign Flink-funksjonene med andre rammeverk for behandling av store data.