A Practical Introduction to Stream Processing Treningskurs

Confluent Apache Kafka er en fordelt plattform for strømmehendelser designet for datapipelines med høy gjennomstrømning, feiltoleranse og realtid-analytikk.

Denne instruktørledede, live-undervisningen (online eller på stedet) er rettet mot systemadministratorer på mellomnivå og DevOps-profesjonelle som ønsker å installere, konfigurere, overvåke og feilsøke Confluent Apache Kafka-klustrer.

Ved kursets slutt vil deltakerne kunne:

• Forstå komponentene og arkitekturen til Confluent Kafka.
• Installere og administrere Kafka-brokere, Zookeeper-quorums og nøkkel-tjenester.
• Konfigurere avanserte funksjoner inkludert sikkerhet, replikering og ytelsestilpasning.
• Bruk verktøy til å overvåke og vedlikeholde Kafka-klustrer.

Kursform

• Interaktiv forelesning og diskusjon.
• Mange øvelser og praksis.
• Håndholdt implementering i en live-lab-miljø.

Tilpasningsalternativer for kurs

• For å be om en tilpasset opplæring for dette kurset, ta kontakt med oss for å avtale.

Dette kurset er rettet mot utviklere og dataforskere som ønsker å forstå og implementere kunstig intelligens i sine applikasjoner. Det er spesielt fokus på dataanalyse, distribuert kunstig intelligens og natursprakkbehandling.

Confluent Apache Kafka er en bedriftsorientert distribuert platform for hendelsesstrøming bygget på Apache Kafka. Den støtter høykapasitets-, feiltolerante datapipelines og sanntidsstrøming av applikasjoner.Denne instruktørledede, live-treningen (online eller på stedet) er rettet mot mellomnivåingeniører og administratorer som ønsker å deploye, konfigurere og optimalisere Confluent Kafka-klustrer i produksjonsmiljøer.Ved slutten av denne treningen vil deltakerne kunne:- Installere, konfigurere og drifte Confluent Kafka-klustrer med flere brokere.- Designe høyt tilgjengelige oppsetninger ved hjelp av Zookeeper og replikeringsteknikker.- Optimalisere ytelse, overvåke metrikker og bruke gjenopprettingsstrategier.- Sikre, skale og integrere Kafka med bedriftsmiljøer.Kursets format- Interaktiv forelesning og diskusjon.- Mange øvelser og praksis.- Håndpålagt implementering i en live-lab-miljø.Muligheter for tilpasning av kurset- For å be om et tilpasset kurs for dette kurset, ta kontakt med oss for å ordne.Module 1: Introduksjon til Confluent Apache Kafka-arkitektur og klusterkonfigurasjon- Hva er Apache Kafka og Confluent-plattformen?- Kafka broker, produsent, konsument og tema grundig- Kafkas rolle i data-strømming og meldingspipelines- Confluent-utvidelser: REST Proxy, Schema Registry, Control Center- Kafka kluster arkitektur: brokere, partisjoner og replikeringModule 2: Konfigurasjon av Zookeeper Quorum- Hva er Zookeeper?- Zookeeper’s rolle i en Kafka-kluster- Størrelsen på Zookeeper quorum- Konfigurasjon av Zookeeper- Implementering av SSH på våre servere- Håndpålagt: Konfigurasjon av Zookeeper (som team og som tjeneste)- Bruk av Zookeeper Command Line Interface (CLI)- Håndpålagt: Oppsetning av Zookeeper quorum- Zookeepers indre filsystem- Ytelsesfaktorer som påvirker Zookeeper- Demo: Verktøy for Zookeeper-administrasjon og ZoonavigatorModule 3: Konfigurasjon av Kafka-kluster- Kafka grunnleggende- Konfigurasjon av Kafka- Håndpålagt: Konfigurasjon av Kafka på en enkelt broker- Håndpålagt: Kjøring av Kafka-kommandoer- Håndpålagt: Oppsetning av Kafka multi-broker (kluster)- Håndpålagt: Testing av Kafka-kluster- Kan jeg koble meg til min Kafka-kluster?- Konfigurasjon av advertised.listeners: nøkkelinnstilling- Konfigurasjon av tema- Oppsett av meldingsinngang og -levering i tema- Håndpålagt: Demonstrering av Kafka-resiliens- Kafka-ytelse: I/O, nettverk, RAM, CPU, OS- Kafka-ytelse: andre faktorer- Håndpålagt: Hvordan endre broker-konfigurasjonerModule 4: Avansert Kafka-konfigurasjon- Konfigurasjon av Landoop Kafka Topics UI, Confluent REST Proxy, Confluent Schema Registry- Sending og mottak av meldinger (CLI, Java, Spring Framework)- Metrikk- og overvåkningsverktøy (Confluent Control Center, Elasticsearch, etc.)- Loggfiler og offset-håndtering- Høyt tilgjengelighet og katastrofeberedskap- Sikring av høy tilgjengelighet med replikering- Ytelsesoptimalisering (produsent/konsument)- Strategier for katastrofeberedskap- Kontroll av feilovergang og gjenoppretting av data- Oppsett av tilkoblinger- Implementering av Kafka Connect- Kafkas sikkerhetsfunksjonerOppsummering og neste trinnConfluent Apache Kafka er en bedriftsorientert distribuert platform for hendelsesstrøming bygget på Apache Kafka. Den støtter høykapasitets-, feiltolerante datapipelines og sanntidsstrøming av applikasjoner.Denne instruktørledede, live-treningen (online eller på stedet) er rettet mot mellomnivåingeniører og administratorer som ønsker å deploye, konfigurere og optimalisere Confluent Kafka-klustrer i produksjonsmiljøer.Ved slutten av denne treningen vil deltakerne kunne:- Installere, konfigurere og drifte Confluent Kafka-klustrer med flere brokere.- Designe høyt tilgjengelige oppsetninger ved hjelp av Zookeeper og replikeringsteknikker.- Optimalisere ytelse, overvåke metrikker og bruke gjenopprettingsstrategier.- Sikre, skale og integrere Kafka med bedriftsmiljøer.Kursets format- Interaktiv forelesning og diskusjon.- Mange øvelser og praksis.- Håndpålagt implementering i en live-lab-miljø.Muligheter for tilpasning av kurset- For å be om et tilpasset kurs for dette kurset, ta kontakt med oss for å ordne.- Erfaring med Linux-baserte systemer og kommandoverktøy i terminalen- Kjennskap til konsepter for distribuert systemer- Forståelse av grunnleggende nettverk og systemkonfigurasjonMålgruppe- DevOps- og SRE-team som administrerer Kafka-deployeringer- Systemadministratorer som arbeider med Confluent og Zookeeper- Kafka-utviklere og arkitekter som er ansvarlige for skalerbare systemer

Dette instruktørlidene, live-treningen (online eller på stedet) er rettet mot ingeniører som ønsker å bruke Confluent (en distribusjon av Kafka) for å bygge og administrere en sanntids dataproseffringsplattform for sine applikasjoner.

Etter dette kurset vil deltakerne kunne:

• Installer og konfigurere Confluent Platform.
• Bruke Confluents administreringsverktøy og tjenester til å kjøre Kafka enklere.
• Lagre og behandle innkommende strømdata.
• Optimere og administrere Kafka-klynger.
• Sikre datastrømmene.

Kursformat

• Interaktiv forelesning og diskusjon.
• Masse øvelser og praksis.
• Håndsinnsimplementering i en live-labbmiljø.

Kurstilpasningsalternativer

• Dette kurset er basert på den open source-versjonen av Confluent: Confluent Open Source.
• For å be om en tilpasset trening for dette kurset, vennligst kontakt oss for å arrangere.

I denne instruktørledede, live-opplæringen i Norge vil deltakerne lære om teknologitilbudene og implementeringstilnærmingene for behandling av grafdata. Målet er å identifisere virkelige objekter, deres egenskaper og relasjoner, deretter modellere disse relasjonene og behandle dem som data ved å bruke en Graph Computing (også kjent som Graph Analytics) tilnærming. Vi starter med en bred oversikt og begrenser oss til spesifikke verktøy når vi går gjennom en serie casestudier, praktiske øvelser og live-implementeringer.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Forstå hvordan grafdata opprettholdes og krysses.
• Velg det beste rammeverket for en gitt oppgave (fra grafdatabaser til rammeverk for batchbehandling.)
• Implementer Hadoop, Spark, GraphX og Pregel for å utføre grafberegning på tvers av mange maskiner parallelt.
• Se virkelige store dataproblemer når det gjelder grafer, prosesser og gjennomganger.

Dette kurset er for virksomhetsarkitekter, utviklere, systemadministratorer og enhver som ønsker å forstå og bruke et høydeknaphast distribuert meldingsystem. Hvis du har mer spesifikke krav (f.eks. bare systemadministrasjon), kan dette kurset tilpasses bedre til dine behov.

Denne instruktørledede, direkteopplæringen i Norge (online eller på stedet) er rettet mot dataingeniører, dataforskere og programmerere som ønsker å bruke Apache Kafka-funksjoner i datastrømming med Python.

Ved slutten av denne opplæringen vil deltakerne kunne bruke Apache Kafka til å overvåke og administrere forhold i kontinuerlige datastrømmer ved å bruke Python programmering.

Kafka Streams er en klientbibliotek for å bygge applikasjoner og mikrotjenester hvis data sendes til og fra et Kafka-meldingssystem. Tradisjonelt har Apache Kafka avhengt av Apache Spark eller Apache Storm for å behandle data mellom meldingsprodusenter og -forbrukere. Ved å kalle Kafka Streams API-en fra innenfor en applikasjon, kan data bli behandlet direkte i Kafka, uten at det er nødvendig å sende data til et separat kluster for behandling.

I denne instruktørførte, live-treningen vil deltakerne lære hvordan de kan integrere Kafka Streams i en rekke eksempelapplikasjoner skrevet i Java som sender data til og fra Apache Kafka for strømbehandling.

Til slutt av denne treningen vil deltakerne kunne:

• Føre Kafka Streams funksjoner og fordeler over andre strømbehandlingsrammer
• Behandle strømdata direkte innenfor et Kafka-kluster
• Skrive en Java eller Scala-applikasjon eller mikrotjeneste som integrerer seg med Kafka og Kafka Streams
• Skrive kortfattet kode som transformerer innkommende Kafka-topics til utgående Kafka-topics
• Bygge, pakke og distribuere applikasjonen

Målgruppe

• Utviklere

Kursformat

• Del forelesning, del diskusjon, øvelser og mye praktisk trening

Merknader

• For å be om en tilpasset trening for dette kurset, vennligst kontakt oss for å avtale

Denne instruktørledede, direkteopplæringen i Norge (online eller på stedet) er rettet mot utviklere som ønsker å implementere Apache Kafka strømbehandling uten å skrive kode.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer Confluent KSQL.
• Sett opp en strømbehandlingspipeline ved å bruke bare SQL kommandoer (ingen Java eller Python koding).
• Utfør datafiltrering, transformasjoner, aggregeringer, sammenføyninger, vinduer og økter i SQL.
• Design og distribuer interaktive, kontinuerlige spørringer for streaming av ETL og sanntidsanalyse.

I denne instruktørledede, live-opplæringen i Norge (på stedet eller eksternt), vil deltakerne lære hvordan de distribuerer og administrerer Apache NiFi i et levende laboratoriemiljø.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer Apachi NiFi.
• Kilde, transformer og administrer data fra forskjellige, distribuerte datakilder, inkludert databaser og store datainnsjøer.
• Automatiser dataflyter.
• Aktiver strømmeanalyse.
• Bruk ulike tilnærminger for datainntak.
• Forvandle Big Data og til forretningsinnsikt.

I denne instruktørledede, live-opplæringen i Norge vil deltakerne lære det grunnleggende om flytbasert programmering når de utvikler en rekke demo-utvidelser, komponenter og prosessorer ved hjelp av Apache NiFi.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Forstå NiFis arkitektur og dataflytkonsepter.
• Utvikle utvidelser ved å bruke NiFi og tredjeparts APIer.
• Tilpasset utvikle sin egen Apache Nifi-prosessor.
• Ta inn og behandle sanntidsdata fra forskjellige og uvanlige filformater og datakilder.

I denne instruktørledede, live-treningen i Norge vil deltakerne lære å bruke Python og Spark sammen for å analysere store data mens de jobber med praktiske øvelser.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Lær hvordan du bruker Spark med Python for å analysere Big Data.
• Arbeid med øvelser som etterligner virkelige tilfeller.
• Bruk forskjellige verktøy og teknikker for stordataanalyse ved hjelp av PySpark.

Denne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot dataingeniører, dataforskere og programmerere som ønsker å bruke Spark Streaming-funksjoner til å behandle og analysere sanntidsdata.

Ved slutten av denne opplæringen vil deltakerne kunne bruke Spark Streaming til å behandle live datastrømmer for bruk i databaser, filsystemer og live dashboards.

MLlib er Sparks maskinlæringsbibliotek. Målet er å gjøre praktisk maskinlæring skalerbar og enkel. Den består av vanlige læringsalgoritmer og verktøy, inkludert klassifisering, regresjon, klynger, samarbeidende filtrering, dimensjonalitetsreduksjon, samt primitiver på lavere nivå og optimaliseringsgrensesnitt på rørledningen.

Den deler seg i to pakker:

• spark.mllib inneholder den originale API-en som er bygget på toppen av RDD-er.

• spark.ml gir API på høyere nivå bygget oppå DataFrames for konstruksjon av ML-rørledninger.

Publikum

Dette kurset er rettet mot ingeniører og utviklere som søker å bruke et innebygd maskinbibliotek for Apache Spark

Stratio er en datacentrisk plattform som integrerer big data, AI og governance i én løsning. Rocket- og Intelligence-modulene muliggjør rask datautforskning, transformasjon og avansert analyse i bedriftsmiljøer.

Denne instruktørledede, levende opplæringen (online eller på sted) er rettet mot mellomnivå-datafagpersonell som ønsker å bruke Rocket- og Intelligence-modulene i Stratio effektivt med PySpark, med fokus på løkker, brukerdefinerte funksjoner og avansert datalogikk.

Ved slutten av denne opplæringen vil deltakerne være i stand til:

• Navigere og arbeide innenfor Stratio-plattformen ved bruk av Rocket- og Intelligence-modulene.
• Bruke PySpark i forbindelse med datainnsamling, transformasjon og analyse.
• Bruke løkker og betinget logikk til å kontrollere dataflyter og oppgavearbeid for egenskapsutvinning.
• Opprette og administrere brukerdefinerte funksjoner (UDFs) for gjentatte dataoperasjoner i PySpark.

Kursformat

• Interaktiv forelesning og diskusjon.
• Mange øvelser og praksis.
• Håndson implementering i en levende labmiljø.

Tilpassingsalternativer for kurset

• For å bestille en tilpasset opplæring for dette kurset, kontakt oss for å avtale.