Stream Processing Kurs i Norge

Confluent Apache Kafka er en bedriftsorientert distribuert platform for hendelsesstrøming bygget på Apache Kafka. Den støtter høykapasitets-, feiltolerante datapipelines og sanntidsstrøming av applikasjoner.Denne instruktørledede, live-treningen (online eller på stedet) er rettet mot mellomnivåingeniører og administratorer som ønsker å deploye, konfigurere og optimalisere Confluent Kafka-klustrer i produksjonsmiljøer.Ved slutten av denne treningen vil deltakerne kunne:- Installere, konfigurere og drifte Confluent Kafka-klustrer med flere brokere.- Designe høyt tilgjengelige oppsetninger ved hjelp av Zookeeper og replikeringsteknikker.- Optimalisere ytelse, overvåke metrikker og bruke gjenopprettingsstrategier.- Sikre, skale og integrere Kafka med bedriftsmiljøer.Kursets format- Interaktiv forelesning og diskusjon.- Mange øvelser og praksis.- Håndpålagt implementering i en live-lab-miljø.Muligheter for tilpasning av kurset- For å be om et tilpasset kurs for dette kurset, ta kontakt med oss for å ordne.Module 1: Introduksjon til Confluent Apache Kafka-arkitektur og klusterkonfigurasjon- Hva er Apache Kafka og Confluent-plattformen?- Kafka broker, produsent, konsument og tema grundig- Kafkas rolle i data-strømming og meldingspipelines- Confluent-utvidelser: REST Proxy, Schema Registry, Control Center- Kafka kluster arkitektur: brokere, partisjoner og replikeringModule 2: Konfigurasjon av Zookeeper Quorum- Hva er Zookeeper?- Zookeeper’s rolle i en Kafka-kluster- Størrelsen på Zookeeper quorum- Konfigurasjon av Zookeeper- Implementering av SSH på våre servere- Håndpålagt: Konfigurasjon av Zookeeper (som team og som tjeneste)- Bruk av Zookeeper Command Line Interface (CLI)- Håndpålagt: Oppsetning av Zookeeper quorum- Zookeepers indre filsystem- Ytelsesfaktorer som påvirker Zookeeper- Demo: Verktøy for Zookeeper-administrasjon og ZoonavigatorModule 3: Konfigurasjon av Kafka-kluster- Kafka grunnleggende- Konfigurasjon av Kafka- Håndpålagt: Konfigurasjon av Kafka på en enkelt broker- Håndpålagt: Kjøring av Kafka-kommandoer- Håndpålagt: Oppsetning av Kafka multi-broker (kluster)- Håndpålagt: Testing av Kafka-kluster- Kan jeg koble meg til min Kafka-kluster?- Konfigurasjon av advertised.listeners: nøkkelinnstilling- Konfigurasjon av tema- Oppsett av meldingsinngang og -levering i tema- Håndpålagt: Demonstrering av Kafka-resiliens- Kafka-ytelse: I/O, nettverk, RAM, CPU, OS- Kafka-ytelse: andre faktorer- Håndpålagt: Hvordan endre broker-konfigurasjonerModule 4: Avansert Kafka-konfigurasjon- Konfigurasjon av Landoop Kafka Topics UI, Confluent REST Proxy, Confluent Schema Registry- Sending og mottak av meldinger (CLI, Java, Spring Framework)- Metrikk- og overvåkningsverktøy (Confluent Control Center, Elasticsearch, etc.)- Loggfiler og offset-håndtering- Høyt tilgjengelighet og katastrofeberedskap- Sikring av høy tilgjengelighet med replikering- Ytelsesoptimalisering (produsent/konsument)- Strategier for katastrofeberedskap- Kontroll av feilovergang og gjenoppretting av data- Oppsett av tilkoblinger- Implementering av Kafka Connect- Kafkas sikkerhetsfunksjonerOppsummering og neste trinnConfluent Apache Kafka er en bedriftsorientert distribuert platform for hendelsesstrøming bygget på Apache Kafka. Den støtter høykapasitets-, feiltolerante datapipelines og sanntidsstrøming av applikasjoner.Denne instruktørledede, live-treningen (online eller på stedet) er rettet mot mellomnivåingeniører og administratorer som ønsker å deploye, konfigurere og optimalisere Confluent Kafka-klustrer i produksjonsmiljøer.Ved slutten av denne treningen vil deltakerne kunne:- Installere, konfigurere og drifte Confluent Kafka-klustrer med flere brokere.- Designe høyt tilgjengelige oppsetninger ved hjelp av Zookeeper og replikeringsteknikker.- Optimalisere ytelse, overvåke metrikker og bruke gjenopprettingsstrategier.- Sikre, skale og integrere Kafka med bedriftsmiljøer.Kursets format- Interaktiv forelesning og diskusjon.- Mange øvelser og praksis.- Håndpålagt implementering i en live-lab-miljø.Muligheter for tilpasning av kurset- For å be om et tilpasset kurs for dette kurset, ta kontakt med oss for å ordne.- Erfaring med Linux-baserte systemer og kommandoverktøy i terminalen- Kjennskap til konsepter for distribuert systemer- Forståelse av grunnleggende nettverk og systemkonfigurasjonMålgruppe- DevOps- og SRE-team som administrerer Kafka-deployeringer- Systemadministratorer som arbeider med Confluent og Zookeeper- Kafka-utviklere og arkitekter som er ansvarlige for skalerbare systemer

Confluent Apache Kafka er en fordelt plattform for strømmehendelser designet for datapipelines med høy gjennomstrømning, feiltoleranse og realtid-analytikk.

Denne instruktørledede, live-undervisningen (online eller på stedet) er rettet mot systemadministratorer på mellomnivå og DevOps-profesjonelle som ønsker å installere, konfigurere, overvåke og feilsøke Confluent Apache Kafka-klustrer.

Ved kursets slutt vil deltakerne kunne:

• Forstå komponentene og arkitekturen til Confluent Kafka.
• Installere og administrere Kafka-brokere, Zookeeper-quorums og nøkkel-tjenester.
• Konfigurere avanserte funksjoner inkludert sikkerhet, replikering og ytelsestilpasning.
• Bruk verktøy til å overvåke og vedlikeholde Kafka-klustrer.

Kursform

• Interaktiv forelesning og diskusjon.
• Mange øvelser og praksis.
• Håndholdt implementering i en live-lab-miljø.

Tilpasningsalternativer for kurs

• For å be om en tilpasset opplæring for dette kurset, ta kontakt med oss for å avtale.

Denne instruktørledede, direkteopplæringen i Norge (online eller på stedet) introduserer prinsippene og tilnærmingene bak distribuert strøm- og batchdatabehandling, og leder deltakerne gjennom opprettelsen av en sanntidsdatastrømningsapplikasjon i Apache Flink.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Sett opp et miljø for utvikling av dataanalyseapplikasjoner.
• Forstå hvordan Apache Flink sitt grafbehandlingsbibliotek (Gelly) fungerer.
• Pakk, utfør og overvåk Flink-baserte, feiltolerante, datastrømmeapplikasjoner.
• Håndter ulike arbeidsmengder.
• Utfør avanserte analyser.
• Sett opp en multi-node Flink-klynge.
• Mål og optimer ytelsen.
• Integrer Flink med forskjellige Big Data systemer.
• Sammenlign Flink-funksjonene med andre rammeverk for behandling av store data.

I denne instruktørledede, live-opplæringen i Norge (på stedet eller eksternt), vil deltakerne lære hvordan de distribuerer og administrerer Apache NiFi i et levende laboratoriemiljø.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer Apachi NiFi.
• Kilde, transformer og administrer data fra forskjellige, distribuerte datakilder, inkludert databaser og store datainnsjøer.
• Automatiser dataflyter.
• Aktiver strømmeanalyse.
• Bruk ulike tilnærminger for datainntak.
• Forvandle Big Data og til forretningsinnsikt.

I denne instruktørledede, live-opplæringen i Norge vil deltakerne lære det grunnleggende om flytbasert programmering når de utvikler en rekke demo-utvidelser, komponenter og prosessorer ved hjelp av Apache NiFi.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Forstå NiFis arkitektur og dataflytkonsepter.
• Utvikle utvidelser ved å bruke NiFi og tredjeparts APIer.
• Tilpasset utvikle sin egen Apache Nifi-prosessor.
• Ta inn og behandle sanntidsdata fra forskjellige og uvanlige filformater og datakilder.

Kafka Streams er et bibliotek på klientsiden for å bygge applikasjoner og mikroservices hvis data sendes til og fra et Kafka-meldingssystem. Tradisjonelt har Apache Kafka vært avhengig av Apache Spark eller Apache Storm å behandle data mellom meldingsprodusenter og forbrukere. Ved å kalle Kafka Streams API fra en applikasjon, kan data behandles direkte i Kafka, og omgå behovet for å sende dataene til en egen klynge for behandling.

I denne instruktørledede, liveopplæringen, vil deltakerne lære å integrere Kafka Streams i et sett med Java applikasjoner som sender data til og fra Apache Kafka for strømbehandling.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Forstå Kafka Streams funksjoner og fordeler over andre strømbehandlingsrammeverk
• Behandle strømdata direkte innenfor en Kafka-kluster
• Skrive en Java eller Scala applikasjon eller mikrotjeneste som integreres med Kafka og Kafka Streams
• Skrive kortfattet kode som omformer innkommende Kafka-emner til utgående Kafka-emner
• Bygge, pakke og deploye applikasjonen

Publikum

• Utviklere

Kursformat

• Delvis forelesning, delvis diskusjon, øvelser og mye praktisk øvelse

Merknader

• For å be om en tilpasset opplæring for dette kurset, ta kontakt med oss for å avtale

I denne instruktørledede, live-opplæringen i Norge (på stedet eller ekstern), vil deltakerne lære å sette opp og integrere forskjellige Stream Processing rammeverk med eksisterende lagringssystemer for store data og relaterte programvareapplikasjoner og mikrotjenester.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer forskjellige Stream Processing rammeverk, for eksempel Spark Streaming og Kafka Streaming.
• Forstå og velg det mest passende rammeverket for jobben.
• Prosess av data kontinuerlig, samtidig og på en rekord-for-post måte.
• Integrer Stream Processing løsninger med eksisterende databaser, datavarehus, datainnsjøer, etc.
• Integrer det mest passende strømbehandlingsbiblioteket med bedriftsapplikasjoner og mikrotjenester.

Apache Beam er en åpen kildekode, enhetlig programmeringsmodell for å definere og utføre parallelle databehandlingsrørledninger. Dens kraft ligger i dens evne til å kjøre både batch- og streaming-pipelines, med utførelse utført av en av Beams støttede distribuerte prosesserings-backends: Apache Apex, Apache Flink, Apache Spark og Googgle Cloud Dataflow. Apache Beam er nyttig for ETL (Extract, Transform, and Load) oppgaver som å flytte data mellom forskjellige lagringsmedier og datakilder, transformere data til et mer ønskelig format og laste inn data til et nytt system.

I denne instruktørledede, live-opplæringen (på stedet eller ekstern) vil deltakerne lære hvordan de implementerer Apache Beam SDK-ene i en Java eller Python applikasjon som definerer en databehandlingspipeline for å dekomponere et stort datasett i mindre biter for uavhengig, parallell behandling.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer Apache Beam.
• Bruk en enkelt programmeringsmodell for å utføre både batch- og strømbehandling fra deres Java eller Python applikasjon.
• Utfør rørledninger på tvers av flere miljøer.

Kursets format

• Del forelesning, del diskusjon, øvelser og tung praktisk praksis

Note

• Dette kurset vil være tilgjengelig Scala i fremtiden. Vennligst kontakt oss for å avtale.

Denne instruktørledede, direkteopplæringen (online eller på stedet) er rettet mot ingeniører som ønsker å bruke Confluent (en distribusjon av Kafka) til å bygge og administrere en sanntidsdatabehandlingsplattform for applikasjonene deres.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Installere og konfigurere Confluent Platform.
• Bruke Confluents verktøy og tjenester for å administrere Kafka mer effektivt.
• Lagre og behandle innkommende strømmedata.
• Optimalisere og administrere Kafka-kluster.
• Sikre data-strømmer.

Kursets format

• Interaktive forelesninger og diskusjoner.
• Mange øvelser og praktiske oppgaver.
• Pratisk implementering i et live-lab-miljø.

Alternativer for kurstilpasning

• Dette kurset er basert på den åpne kildekodeversjonen av Confluent: Confluent Open Source.
• For å be om et tilpasset kurs, kontakt oss for å avtale.

Denne instruktørledede, direkteopplæringen i Norge (online eller på stedet) er rettet mot utviklere som ønsker å implementere Apache Kafka strømbehandling uten å skrive kode.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer Confluent KSQL.
• Sett opp en strømbehandlingspipeline ved å bruke bare SQL kommandoer (ingen Java eller Python koding).
• Utfør datafiltrering, transformasjoner, aggregeringer, sammenføyninger, vinduer og økter i SQL.
• Design og distribuer interaktive, kontinuerlige spørringer for streaming av ETL og sanntidsanalyse.

Denne instruktørledede, direkteopplæringen i Norge (online eller på stedet) er rettet mot dataingeniører, dataforskere og programmerere som ønsker å bruke Apache Kafka-funksjoner i datastrømming med Python.

Ved slutten av denne opplæringen vil deltakerne kunne bruke Apache Kafka til å overvåke og administrere forhold i kontinuerlige datastrømmer ved å bruke Python programmering.

Denne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot dataingeniører, dataforskere og programmerere som ønsker å bruke Spark Streaming-funksjoner til å behandle og analysere sanntidsdata.

Ved slutten av denne opplæringen vil deltakerne kunne bruke Spark Streaming til å behandle live datastrømmer for bruk i databaser, filsystemer og live dashboards.