Building Data Pipelines with Apache Kafka Treningskurs

Dette kurset er for bedriftsarkitekter, utviklere, systemadministratorer og alle som ønsker å forstå og bruke et distribuert meldingssystem med høy gjennomstrømning. Hvis du har mer spesifikke krav (f.eks. Kun systemadministrasjonssiden), kan dette kurset skreddersys for å passe bedre til dine behov.

Apache Samza er en åpen kildekode nær-sanntid, asynkron beregningsramme for strømbehandling. Den bruker Apache Kafka for meldinger, og Apache Hadoop YARN for feiltoleranse, prosessorisolering, sikkerhet og ressursstyring.

Denne instruktørledede, liveopplæringen introduserer prinsippene bak meldingssystemer og distribuert strømbehandling, mens de går deltakerne gjennom opprettelsen av et eksempel på Samza-basert prosjekt og jobbutførelse.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Bruk Samza for å forenkle koden som er nødvendig for å produsere og konsumere meldinger.
• Kobler fra behandlingen av meldinger fra et program.
• Bruk Samza til å implementere asynkron beregning nær sanntid.
• Bruk strømbehandling for å gi et høyere abstraksjonsnivå over meldingssystemer.

Publikum

• Utviklere

Kursets format

• Delforelesning, deldiskusjon, øvelser og tung praktisk øvelse

Kafka Streams er et bibliotek på klientsiden for å bygge applikasjoner og mikroservices hvis data sendes til og fra et Kafka-meldingssystem. Tradisjonelt har Apache Kafka vært avhengig av Apache Spark eller Apache Storm å behandle data mellom meldingsprodusenter og forbrukere. Ved å kalle Kafka Streams API fra en applikasjon, kan data behandles direkte i Kafka, og omgå behovet for å sende dataene til en egen klynge for behandling.

I denne instruktørledede, liveopplæringen, vil deltakerne lære å integrere Kafka Streams i et sett med Java applikasjoner som sender data til og fra Apache Kafka for strømbehandling.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Forstå Kafka Streams funksjoner og fordeler i forhold til andre rammeverk for prosessering av strømmer
• Behandle data direkte i en Kafka-klynge
• Skriv en Java eller Scala applikasjon eller mikroservice som integreres med Kafka og Kafka Streams
• Skriv kortfattet kode som forvandler input Kafka-emner til output Kafka-emner
• Bygg, pakke og distribuer applikasjonen

Publikum

• Utviklere

Kursets format

• Delforelesning, deldiskusjon, øvelser og tung praktisk øvelse

Merknader

• For å be om en tilpasset opplæring for dette kurset, vennligst kontakt oss for å avtale

I denne instruktørledede, live-opplæringen i Norge (på stedet eller ekstern), vil deltakerne lære å sette opp og integrere forskjellige Stream Processing rammeverk med eksisterende lagringssystemer for store data og relaterte programvareapplikasjoner og mikrotjenester.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer forskjellige Stream Processing rammeverk, for eksempel Spark Streaming og Kafka Streaming.
• Forstå og velg det mest passende rammeverket for jobben.
• Prosess av data kontinuerlig, samtidig og på en rekord-for-post måte.
• Integrer Stream Processing løsninger med eksisterende databaser, datavarehus, datainnsjøer, etc.
• Integrer det mest passende strømbehandlingsbiblioteket med bedriftsapplikasjoner og mikrotjenester.

Denne instruktørledede, direkteopplæringen (online eller på stedet) er rettet mot ingeniører som ønsker å bruke Confluent (en distribusjon av Kafka) til å bygge og administrere en sanntidsdatabehandlingsplattform for applikasjonene deres.

Ved slutten av denne opplæringen vil deltakerne kunne:

Installer og konfigurer Confluent Platform. Bruk Confluents administrasjonsverktøy og tjenester for å kjøre Kafka enklere. Lagre og behandle innkommende strømdata. Optimaliser og administrer Kafka-klynger. Sikre datastrømmer.

Kursets format

Interaktivt foredrag og diskusjon. Mye øvelser og trening. Praktisk implementering i et live-lab-miljø.

Alternativer for kurstilpasning

Dette kurset er basert på åpen kildekode-versjonen av Confluent: Confluent Open Source. For å be om en tilpasset opplæring for dette kurset, vennligst kontakt oss for å avtale.

Denne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot utviklere som ønsker å transformere tradisjonell arkitektur til en svært samtidig mikrotjenestebasert arkitektur ved å bruke Spring Cloud, Kafka, Docker, Kubernetes og Redis.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Sett opp det nødvendige utviklingsmiljøet for å bygge mikrotjenester.
• Design og implementer et svært samtidig mikrotjenesteøkosystem ved å bruke Spring Cloud, Kafka, Redis, Docker og Kubernetes.
• Transform monolittiske og SOA-tjenester til mikrotjenestebasert arkitektur.
• Bruk en DevOps-tilnærming til utvikling, testing og utgivelse av programvare.
• Sikre høy samtidighet blant mikrotjenester i produksjon.
• Overvåk mikrotjenester og implementer gjenopprettingsstrategier.
• Utfør ytelsesjustering.
• Lær om fremtidige trender innen mikrotjenestearkitektur.

Denne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot utviklere som ønsker å integrere Apache Kafka med eksisterende databaser og applikasjoner for prosessering, analyse, etc.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Bruk Kafka Connect til å innta store mengder data fra en database til Kafka-emner.
• Lag inn loggdata generert av en applikasjonsserver i Kafka-emner.
• Gjør alle innsamlede data tilgjengelig for strømbehandling.
• Eksporter data fra Kafka-emner til sekundære systemer for lagring og analyse.

Denne instruktørledede, direkteopplæringen i Norge (online eller på stedet) er rettet mot utviklere som ønsker å implementere Apache Kafka strømbehandling uten å skrive kode.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer Confluent KSQL.
• Sett opp en strømbehandlingspipeline med kun SQL-kommandoer (ingen Java- eller Python-koding).
• Utfør datafiltrering, transformasjoner, aggregeringer, sammenføyninger, vinduer og sesjonsisering i sin helhet i SQL.
• Design og distribuer interaktive, kontinuerlige spørringer for streaming av ETL og sanntidsanalyse.

Denne instruktørledede, direkteopplæringen i Norge (online eller på stedet) er rettet mot systemadministratorer som ønsker å sette opp, distribuere, administrere og optimalisere en Kafka-klynge i bedriftsklasse.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Sett opp og administrer en Kafka-klynge.
• Vurder fordelene og ulempene ved å distribuere Kafka på stedet kontra i skyen.
• Distribuer og overvåk Kafka ved å bruke ulike lokale og skymiljøverktøy.

Denne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot programvaretestere som ønsker å implementere nettverkssikkerhetstiltak i en Apache Kafka-applikasjon.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Distribuer Apache Kafka på en skybasert server.
• Implementer SSL-kryptering for å forhindre angrep.
• Legg til ACL-autentisering for å spore og kontrollere brukertilgang.
• Sørg for at troverdige kunder har tilgang til Kafka-klynger med SSL- og SASL-autentisering.

Denne instruktørledede, liveopplæringen i Norge (online eller på stedet) er rettet mot dataforskere som ønsker å bruke SMACK-stakken til å bygge databehandlingsplattformer for big data-løsninger.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Implementer en datapipeline-arkitektur for behandling av big data.
• Utvikle en klyngeinfrastruktur med Apache Mesos og Docker.
• Analyser data med Spark og Scala.
• Administrer ustrukturerte data med Apache Cassandra.

Denne instruktørledede, direkteopplæringen i Norge (online eller på stedet) er rettet mot dataingeniører, dataforskere og programmerere som ønsker å bruke Apache Kafka-funksjoner i datastrømming med Python.

Ved slutten av denne opplæringen vil deltakerne kunne bruke Apache Kafka til å overvåke og administrere forhold i kontinuerlige datastrømmer ved hjelp av Python programmering.

Denne instruktørledede, direkteopplæringen i Norge (online eller på stedet) er rettet mot dataingeniører, dataforskere og programmerere som ønsker å bruke Spark Streaming-funksjoner til å behandle og analysere sanntidsdata.

Ved slutten av denne opplæringen vil deltakerne kunne bruke Spark Streaming til å behandle live datastrømmer for bruk i databaser, filsystemer og live dashboards.

Denne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot utviklere på mellomnivå som ønsker å utvikle big data-applikasjoner med Apache Kafka.

Ved slutten av denne opplæringen vil deltakerne kunne:

Utvikle Kafka-produsenter og -forbrukere til å sende og lese data fra Kafka. Integrer Kafka med eksterne systemer ved hjelp av Kafka Connect. Skriv strømmeapplikasjoner med Kafka Streams & ksqlDB. Integrer en Kafka-klientapplikasjon med Confluent Cloud for skybaserte Kafka-distribusjoner. Få praktisk erfaring gjennom praktiske øvelser og brukssaker i den virkelige verden.

Denne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot utviklere på middels nivå som ønsker å lære det grunnleggende om Kafka og integrere det med Spring Boot.

Ved slutten av denne opplæringen vil deltakerne kunne:

Forstå Kafka og dens arkitektur. Lær hvordan du installerer, konfigurerer og setter opp et grunnleggende Kafka-miljø. Integrer Kafka med Spring Boot.