Kursplan

Grunnleggende prinsipper for NiFi og dataflyt

  • Data i bevegelse vs. data i ro: konsepter og utfordringer
  • NiFi arkitektur: kjerner, flykontroller, opprinnelse, og meldinger
  • Nøkkelkomponenter: prosessorer, forbindelser, kontrollanter, og opprinnelse

Større data kontekst og integrasjon

  • NiFis rolle i større data-økosystemer (Hadoop, Kafka, sky-lagring)
  • Oversikt over HDFS, MapReduce og moderne alternativer
  • Bruksområder: strøm-innsamling, logg-frakt, hendelsesrørledninger

Installasjon, konfigurasjon og klusteroppsett

  • Installere NiFi på enkelt node og kluster-modus
  • Klusterkonfigurasjon: noderoller, Zookeeper, og lastobalansering
  • Orkestrering av NiFi-utplasseringer: ved bruk av Ansible, Docker, eller Helm

Design og håndtering av dataflyt

  • Ruting, filtrering, splitting, og sammenslåing av flyt
  • Prosessorkonfigurasjon (InvokeHTTP, QueryRecord, PutDatabaseRecord, osv.)
  • Håndtering av skjema, berikelse, og transformasjonsoperasjoner
  • Feilhåndtering, forsøksforhold, og tilbakekobling

Integrasjonscenarier

  • Tilkobling til databaser, meldingssystemer, REST-APIer
  • Strømming til analyse-systemer: Kafka, Elasticsearch, eller sky-lagring
  • Integrering med Splunk, Prometheus, eller logging-rørledninger

Overvåking, gjenoppretting og opprinnelse

  • Bruk av NiFi-grensesnitt, metrikker, og opprinnelses-visualiserer
  • Design av autonom gjenoppretting og hensiktsmessig feilhåndtering
  • Sikkerhetskopiering, flyversjonering, og endringshåndtering

Ytelsestuning og optimalisering

  • Tuning av JVM, heap, tråd-pools, og klusterparametere
  • Optimalisering av flydesign for å redusere flaskehalser
  • Resursisolasjon, flyprioritering, og gjennomstrømningskontroll

Beste praksis og styring

  • Flytdokumentasjon, navnstandarder, modulær design
  • Sikkerhet: TLS, autentisering, tilgangskontroll, data- kryptering
  • Endringskontroll, versjonering, rollebasert tilgang, audit-trakk

Feilretting og håndtering av ulykker

  • Vanlige problemer: deadlocks, minnelekkasjer, prosessorfeil
  • Logganalyse, feildiagnostikk, og rotårsaksinvestigasjon
  • Gjenopprettingsstrategier og flytrinn tilbake

Prøvelab: Realistisk data-rørledningsimplementering

  • Bygging av en ende-til-ende flyt: innsamling, transformasjon, levering
  • Implementering av feilhåndtering, tilbakekobling, og skalerbarhet
  • Ytelsestesting og tuning av rørledningen

Oppsummering og neste skritt

Krav

  • Erfaring med Linux kommandolinje
  • Grunnleggende forståelse av nettverk og datasystemer
  • Erfaring med data strømning eller ETL-konsepter

Målgruppe

  • Systemadministratorer
  • Dataingeniører
  • Utviklere
  • DevOps-profesjonelle
 21 timer

Antall deltakere


Pris per deltaker

Referanser (7)

Kommende kurs

Relaterte kategorier