Kursplan

Introduksjon

    Apache Beam vs MapReduce, Spark Streaming, Kafka Streaming, Storm og Flink

Installere og konfigurere Apache Beam

Oversikt over Apache Beam Funksjoner og arkitektur

    Beam Model, SDK-er, Beam Pipeline Runners Distribuert prosesseringsback-ends

Forstå Apache Beam Programming-modellen

    Hvordan en rørledning utføres

Kjøre en prøverørledning

    Klargjøring av en WordTell pipeline Utføring av rørledningen lokalt

Designe en rørledning

    Planlegging av strukturen, valg av transformasjoner og bestemmelse av input- og outputmetoder

Opprette rørledningen

    Skrive driverprogrammet og definere rørledningen Bruke Apache Beam-klasser Datasett, transformasjoner, I/O, datakoding, etc.

Utførelse av rørledningen

    Utføre rørledningen lokalt, på eksterne maskiner og på en offentlig sky Velge en løper Løperspesifikke konfigurasjoner

Testing og feilsøking Apache Beam

    Bruke typetips for å emulere statisk skriving Administrere Python Pipeline-avhengigheter

Behandler avgrensede og ubegrensede datasett

    Vindu og utløsere

Gjør rørledningene dine gjenbrukbare og vedlikeholdbare

Opprett nye datakilder og synker

    Apache Beam Kilde og Sink API

Integrering av Apache Beam med andre Big Data systemer

    Apache Hadoop, Apache Spark, Apache Kafka

Feilsøking

Oppsummering og konklusjon

Krav

  • Erfaring med Python programmering.
  • Erfaring med Linux-kommandolinjen.

Publikum

  • Utviklere
 14 timer

Antall deltakere



Price per participant

Testimonials (1)

Relaterte kurs

Related Categories