Apache NiFi for administratoren Treningskurs

Grunnleggende om NiFi og dataflyt

• Data i bevegelse vs data i hvile: konsepter og utfordringer
• NiFi-arkitektur: kjerner, flytkontroller, provenance og bulletin
• Viktige komponenter: prosessorer, tilkoblinger, kontroller og provenance

Big Data-kontekst og integrasjon

• Nifen rolle i Big Data-økosystemer (Hadoop, Kafka, cloud-lagring)
• Oversikt over HDFS, MapReduce og moderne alternativer
• Bruksscenarioer: inntak av strømmer, loggsending, hendelsesflukt

Installasjon, konfigurasjon og klusteroppsett

• Installere NiFi på enkel node og klustermodus
• Klusterkonfigurasjon: nod roller, zookeeper og lastbalansering
• Orkestrering av NiFi-implementeringer: bruk av Ansible, Docker eller Helm

Design og administrasjon av dataflukt

• Rutevalg, filtrering, oppdeling og sammenslåing av flukt
• Konfigurering av prosessorer (InvokeHTTP, QueryRecord, PutDatabaseRecord, osv.)
• Håndtering av schema, berikelse og transformasjonsoperasjoner
• Feilhåndtering, gjentakelsesrelasjoner og backpressure

Integrasjonsscenarioer

• Tilkobling til databaser, meldingssystemer, REST-APIer
• Strømming til analytisk system: Kafka, Elasticsearch eller cloud-lagring
• Integrasjon med Splunk, Prometheus eller loggingsrørledninger

Overvåking, gjenoppretting og provenance

• Bruk av NiFi UI, metrikker og provenance-visning
• Design av autonom gjenoppretting og glidende feilhåndtering
• Backup, versjonering av flukt og endringsadministrasjon

Ytelsesjustering og optimalisering

• Justering av JVM, heap, trådgrupper og klusterparametere
• Optimalisering av flukt design for å redusere flaskehalser
• Ressursisolering, flukt prioritering og gjennomstrømningskontroll

Beste praksis og styring

• Dokumentasjon av flukt, navnestandarder, modulært design
• Sikkerhet: TLS, autentisering, tilgangskontroll, datakryptering
• Endringskontroll, versjonering, rollebasert tilgang, revisjonslog

Feilsøking og ulykkesrespons

• Vanlige problemer: deadlock, minnelakk, prosessorefeil
• Logganalyse, feildiagnostikk og årsakundersøkelse
• Gjenopprettingsstrategier og tilbakerullering av flukt

Praksisøvelse: Realistisk implementering av data-rørledning

• Bygge en end-to-end flukt: inntak, transformasjon, leveranse
• Implementere feilhåndtering, backpressure og skalering
• Ytelsestest og justering av rørledningen

Oppsummering og neste steg