Big Data Kurs i Norge

Stratio er en datacentrisk plattform som integrerer big data, AI og governance i én løsning. Rocket- og Intelligence-modulene muliggjør rask datautforskning, transformasjon og avansert analyse i bedriftsmiljøer.

Denne instruktørledede, levende opplæringen (online eller på sted) er rettet mot mellomnivå-datafagpersonell som ønsker å bruke Rocket- og Intelligence-modulene i Stratio effektivt med PySpark, med fokus på løkker, brukerdefinerte funksjoner og avansert datalogikk.

Ved slutten av denne opplæringen vil deltakerne være i stand til:

• Navigere og arbeide innenfor Stratio-plattformen ved bruk av Rocket- og Intelligence-modulene.
• Bruke PySpark i forbindelse med datainnsamling, transformasjon og analyse.
• Bruke løkker og betinget logikk til å kontrollere dataflyter og oppgavearbeid for egenskapsutvinning.
• Opprette og administrere brukerdefinerte funksjoner (UDFs) for gjentatte dataoperasjoner i PySpark.

Kursformat

• Interaktiv forelesning og diskusjon.
• Mange øvelser og praksis.
• Håndson implementering i en levende labmiljø.

Tilpassingsalternativer for kurset

• For å bestille en tilpasset opplæring for dette kurset, kontakt oss for å avtale.

Deltakere som fullfører denne instruktørledede, liveopplæringen i Norge vil få en praktisk, virkelig forståelse av Big Data og dets relaterte teknologier, metoder og verktøy.

Deltakerne vil få mulighet til å omsette denne kunnskapen i praksis gjennom praktiske øvelser. Gruppesamhandling og instruktørtilbakemeldinger utgjør en viktig del av klassen.

Kurset starter med en introduksjon til elementære konsepter av Big Data, og går deretter videre til programmeringsspråkene og metodikkene som brukes til å utføre Data Analysis. Til slutt diskuterer vi verktøyene og infrastrukturen som muliggjør Big Data lagring, distribuert prosessering og Scalability.

Confluent Apache Kafka er en bedriftsorientert distribuert platform for hendelsesstrøming bygget på Apache Kafka. Den støtter høykapasitets-, feiltolerante datapipelines og sanntidsstrøming av applikasjoner.Denne instruktørledede, live-treningen (online eller på stedet) er rettet mot mellomnivåingeniører og administratorer som ønsker å deploye, konfigurere og optimalisere Confluent Kafka-klustrer i produksjonsmiljøer.Ved slutten av denne treningen vil deltakerne kunne:- Installere, konfigurere og drifte Confluent Kafka-klustrer med flere brokere.- Designe høyt tilgjengelige oppsetninger ved hjelp av Zookeeper og replikeringsteknikker.- Optimalisere ytelse, overvåke metrikker og bruke gjenopprettingsstrategier.- Sikre, skale og integrere Kafka med bedriftsmiljøer.Kursets format- Interaktiv forelesning og diskusjon.- Mange øvelser og praksis.- Håndpålagt implementering i en live-lab-miljø.Muligheter for tilpasning av kurset- For å be om et tilpasset kurs for dette kurset, ta kontakt med oss for å ordne.Module 1: Introduksjon til Confluent Apache Kafka-arkitektur og klusterkonfigurasjon- Hva er Apache Kafka og Confluent-plattformen?- Kafka broker, produsent, konsument og tema grundig- Kafkas rolle i data-strømming og meldingspipelines- Confluent-utvidelser: REST Proxy, Schema Registry, Control Center- Kafka kluster arkitektur: brokere, partisjoner og replikeringModule 2: Konfigurasjon av Zookeeper Quorum- Hva er Zookeeper?- Zookeeper’s rolle i en Kafka-kluster- Størrelsen på Zookeeper quorum- Konfigurasjon av Zookeeper- Implementering av SSH på våre servere- Håndpålagt: Konfigurasjon av Zookeeper (som team og som tjeneste)- Bruk av Zookeeper Command Line Interface (CLI)- Håndpålagt: Oppsetning av Zookeeper quorum- Zookeepers indre filsystem- Ytelsesfaktorer som påvirker Zookeeper- Demo: Verktøy for Zookeeper-administrasjon og ZoonavigatorModule 3: Konfigurasjon av Kafka-kluster- Kafka grunnleggende- Konfigurasjon av Kafka- Håndpålagt: Konfigurasjon av Kafka på en enkelt broker- Håndpålagt: Kjøring av Kafka-kommandoer- Håndpålagt: Oppsetning av Kafka multi-broker (kluster)- Håndpålagt: Testing av Kafka-kluster- Kan jeg koble meg til min Kafka-kluster?- Konfigurasjon av advertised.listeners: nøkkelinnstilling- Konfigurasjon av tema- Oppsett av meldingsinngang og -levering i tema- Håndpålagt: Demonstrering av Kafka-resiliens- Kafka-ytelse: I/O, nettverk, RAM, CPU, OS- Kafka-ytelse: andre faktorer- Håndpålagt: Hvordan endre broker-konfigurasjonerModule 4: Avansert Kafka-konfigurasjon- Konfigurasjon av Landoop Kafka Topics UI, Confluent REST Proxy, Confluent Schema Registry- Sending og mottak av meldinger (CLI, Java, Spring Framework)- Metrikk- og overvåkningsverktøy (Confluent Control Center, Elasticsearch, etc.)- Loggfiler og offset-håndtering- Høyt tilgjengelighet og katastrofeberedskap- Sikring av høy tilgjengelighet med replikering- Ytelsesoptimalisering (produsent/konsument)- Strategier for katastrofeberedskap- Kontroll av feilovergang og gjenoppretting av data- Oppsett av tilkoblinger- Implementering av Kafka Connect- Kafkas sikkerhetsfunksjonerOppsummering og neste trinnConfluent Apache Kafka er en bedriftsorientert distribuert platform for hendelsesstrøming bygget på Apache Kafka. Den støtter høykapasitets-, feiltolerante datapipelines og sanntidsstrøming av applikasjoner.Denne instruktørledede, live-treningen (online eller på stedet) er rettet mot mellomnivåingeniører og administratorer som ønsker å deploye, konfigurere og optimalisere Confluent Kafka-klustrer i produksjonsmiljøer.Ved slutten av denne treningen vil deltakerne kunne:- Installere, konfigurere og drifte Confluent Kafka-klustrer med flere brokere.- Designe høyt tilgjengelige oppsetninger ved hjelp av Zookeeper og replikeringsteknikker.- Optimalisere ytelse, overvåke metrikker og bruke gjenopprettingsstrategier.- Sikre, skale og integrere Kafka med bedriftsmiljøer.Kursets format- Interaktiv forelesning og diskusjon.- Mange øvelser og praksis.- Håndpålagt implementering i en live-lab-miljø.Muligheter for tilpasning av kurset- For å be om et tilpasset kurs for dette kurset, ta kontakt med oss for å ordne.- Erfaring med Linux-baserte systemer og kommandoverktøy i terminalen- Kjennskap til konsepter for distribuert systemer- Forståelse av grunnleggende nettverk og systemkonfigurasjonMålgruppe- DevOps- og SRE-team som administrerer Kafka-deployeringer- Systemadministratorer som arbeider med Confluent og Zookeeper- Kafka-utviklere og arkitekter som er ansvarlige for skalerbare systemer

Greenplum er en open-source massively parallel processing (MPP) data-plattform designet for analyser og miljøer med store datamengder.

Denne instruktørledede, levende undervisningen (online eller på stedet) er rettet mot tekniske brukere på mellomnivå til avansert nivå som ønsker å forstå Greenplums interne arkitektur, bygge optimerte datamodeller og anvende høyytelses SQL i distribuerte miljøer.

Ved slutten av denne undervisningen vil deltakerne kunne:

• Forstå Greenplums shared-nothing arkitektur og parallelliseringmodell.
• Designe distribuerte tabellstrukturer og partisjoner som er optimerte for spørringseffektivitet.
• Bruk indeksstrategier, lagringsformater og teknikker for fysisk design.
• Tolke EXPLAIN-planer og optimalisere spørringer ved bruk av best practices.

Kursets form

• Interaktiv forelesning og diskusjon.
• Mange øvelser og praksis.
• Hånds-on implementering i et live-lab miljø.

Tilpasningsmuligheter for kurset

• For å be om en tilpasset undervisning for dette kurset, vennligst kontakt oss for å avtale.

Confluent Apache Kafka er en fordelt plattform for strømmehendelser designet for datapipelines med høy gjennomstrømning, feiltoleranse og realtid-analytikk.

Denne instruktørledede, live-undervisningen (online eller på stedet) er rettet mot systemadministratorer på mellomnivå og DevOps-profesjonelle som ønsker å installere, konfigurere, overvåke og feilsøke Confluent Apache Kafka-klustrer.

Ved kursets slutt vil deltakerne kunne:

• Forstå komponentene og arkitekturen til Confluent Kafka.
• Installere og administrere Kafka-brokere, Zookeeper-quorums og nøkkel-tjenester.
• Konfigurere avanserte funksjoner inkludert sikkerhet, replikering og ytelsestilpasning.
• Bruk verktøy til å overvåke og vedlikeholde Kafka-klustrer.

Kursform

• Interaktiv forelesning og diskusjon.
• Mange øvelser og praksis.
• Håndholdt implementering i en live-lab-miljø.

Tilpasningsalternativer for kurs

• For å be om en tilpasset opplæring for dette kurset, ta kontakt med oss for å avtale.

Greenplum er en åpen kildekode massivt parallell dataplattform basert på PostgreSQL, designet for avansert analyse og stort skala lagring av data.

Denne instruktørlede, live opplæringen (online eller på stedet) er rettet mot administrerende med mellomnivå som ønsker å installere, konfigurere og administrere Greenplum-miljøer effektivt, inkludert administrasjon av systemoppdateringer og biblioteker.

Ved slutten av denne opplæringen vil deltakere kunne:

• Installere og konfigurere en produksjonsklar Greenplum-kluster.
• Administrere systemoppdateringer og sømløst påføre patcher.
• Håndtere Greenplum-biblioteksadministrasjon for analyse og utvidelser.
• Felsøke og overvåke Greenplum-systemer.

Format for kurset

• Interaktiv forelesning og diskusjon.
• Hendene-på bruk av Greenplum i en kontrollert laboratoriumsmiljø.
• Vejledende øvelser fokusert på klusterinnstilling, oppgraderingsprosesser og systemutvidelser.

Tilpassningsmuligheter for kurset

• For å bestille en tilpasset opplæring for dette kurset basert på ditt miljø eller dataplattform, vennligst kontakt oss for å avtale.

Denne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot dataprofesjonelle på avansert nivå som ønsker å optimalisere databehandlingsarbeidsflyter, sikre dataintegritet og implementere robuste datainnsjøløsninger som kan håndtere kompleksiteten til moderne store dataapplikasjoner.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Få en grundig forståelse av Icebergs arkitektur, inkludert metadatabehandling og fillayout.
• Konfigurer Iceberg for optimal ytelse i ulike miljøer og integrer det med flere databehandlingsmotorer.
• Administrer storskala Iceberg-tabeller, utfør komplekse skjemaendringer og håndter partisjonsutvikling.
• Mestre teknikker for å optimalisere spørringsytelse og dataskanningseffektivitet for store datasett.
• Implementer mekanismer for å sikre datakonsistens, administrere transaksjonsgarantier og håndtere feil i distribuerte miljøer.

Denne instruktørledede, liveopplæringen i Norge (online eller på stedet) er rettet mot datafagfolk på nybegynnernivå som ønsker å tilegne seg kunnskapen og ferdighetene som er nødvendige for å effektivt bruke Apache Iceberg for å administrere store datasett, sikre dataintegritet og optimalisering av arbeidsflyter for databehandling.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Få en grundig forståelse av Apache Icebergs arkitektur, funksjoner og fordeler.
• Lær om tabellformater, partisjonering, skjemautvikling og tidsreisefunksjoner.
• Installer og konfigurer Apache Iceberg i forskjellige miljøer.
• Lag, administrer og manipuler Iceberg-tabeller.
• Forstå prosessen med å migrere data fra andre tabellformater til Iceberg.

Denne instruktørledede liveopplæringen i Norge (online eller på stedet) er rettet mot IT-fagfolk på middels nivå som ønsker å forbedre ferdighetene sine innen dataarkitektur, styring, cloud computing og big data-teknologier for å effektivt administrere og analysere store datasett for datamigrering innen deres organisasjoner.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Forstå de grunnleggende konseptene og komponentene i ulike dataarkitekturer.
• Få en omfattende forståelse av datastyringsprinsipper og deres betydning i regulatoriske miljøer.
• Implementere og administrere rammeverk for datastyring som Dama og Togaf.
• Utnytt skyplattformer for effektiv datalagring, prosessering og administrasjon.

Denne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot dataingeniører på middels nivå som ønsker å lære å bruke Azure Data Lake Storage Gen2 for effektive dataanalyseløsninger.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Forstå arkitekturen og nøkkelfunksjonene til Azure Data Lake Storage Gen2.
• Optimaliser datalagring og tilgang for kostnader og ytelse.
• Integrer Azure Data Lake Storage Gen2 med andre Azure tjenester for analyse og databehandling.
• Utvikle løsninger ved hjelp av Azure Data Lake Storage Gen2 API.
• Feilsøk vanlige problemer og optimaliser lagringsstrategier.

Denne instruktørledede liveopplæringen i Norge (online eller på stedet) er rettet mot IT-fagfolk på middels nivå som ønsker å ha en omfattende forståelse av IBM DataStage både fra et administrativt og et utviklingsperspektiv, slik at de kan administrere og bruke dette verktøy effektivt på sine respektive arbeidsplasser.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Forstå kjernekonseptene til DataStage.
• Lær hvordan du effektivt installerer, konfigurerer og administrerer DataStage-miljøer.
• Koble til ulike datakilder og trekk ut data effektivt fra databaser, flate filer og eksterne kilder.
• Implementer effektive datalastingsteknikker.

Dette instructorledede, live-oppdraget i Norge (online eller på stedet) er rettet mot mellomnivå-big data-professionelle som ønsker å bruke Apache Kylin for å bygge sanntidsdatawarehouse og utføre multidimensjonell analyse på store datasett.

Ved sluttet av dette oppdraget, vil deltakerne kunne:

• Sette opp og konfigurere Apache Kylin med sanntidstrekkende datasøkilder.
• Designe og bygge OLAP-kuber for både batch- og streamprosesser.
• Føre kompliserte forespørsler med undersekundelatenhet ved hjelp av Kylin's SQL-grunnlag.
• Integreere Kylin med BI-verktøy for interaktiv datavisualisering.
• Optimere ytelsen og administrere ressurser effektivt i Kylin.

Deltakere som fullfører denne instruktørledede, liveopplæringen i Norge vil få en praktisk, virkelig forståelse av Big Data og dets relaterte teknologier, metoder og verktøy.

Deltakerne vil få mulighet til å omsette denne kunnskapen i praksis gjennom praktiske øvelser. Gruppesamhandling og instruktørtilbakemeldinger utgjør en viktig del av klassen.

Kurset starter med en introduksjon til grunnleggende konsepter for Big Data, og går deretter videre til programmeringsspråkene og metodene som brukes til å utføre dataanalyse. Til slutt diskuterer vi verktøyene og infrastrukturen som muliggjør Big Data-lagring, distribuert prosessering og Scalability.

I denne instruktørledede, live-treningen i Norge vil deltakerne lære å bruke Python og Spark sammen for å analysere store data mens de jobber med praktiske øvelser.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Lær hvordan du bruker Spark med Python for å analysere Big Data.
• Arbeid med øvelser som etterligner virkelige tilfeller.
• Bruk forskjellige verktøy og teknikker for stordataanalyse ved hjelp av PySpark.

Dette kurset dekker hvordan du bruker Hive SQL språk (AKA: Hive HQL, SQL on Hive , Hive QL) for folk som henter ut data fra Hive

Denne instruktørledede, live-opplæringen (online eller på sted) er rettet mot mellomnivådatabasadministratorer, utviklere og analytikere som ønsker å mestre avanserte SQL-funksjoner for komplekse databehandlingsoperasjoner og databasestyring.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Utføre avanserte spørreteknikker ved hjelp av unjoner, underspørringer og komplekse joins.
• Legge til, oppdatere og slette data, tabeller, visninger og indekser med presisjon.
• Sikre dataintegritet gjennom transaksjoner og manipulere database- strukturer.
• Opprette og administrere databaser effektivt for robust datalagring og henting.

Dremio er en åpen kilde "self-service data plattform" som akselererer søket av ulike typer data kilder. Dremio integrerer med relasjonelle databaser, Apache Hadoop, MongoDB, Amazon S3, ElasticSearch, og andre datakilder. Den støtter SQL og gir en web-UI for byggeforespørsler.

I denne instruktørledede, live-trening lærer deltakerne hvordan man installerer, konfigurerer og bruker Dremio som et forenende lag for dataanalyseverktøy og de underliggende datarepositoriene.

Ved slutten av denne treningen vil deltakerne være i stand til å:

• Installasjon og konfigurasjon Dremio
• Utføre forespørsler mot flere datakilder, uavhengig av plassering, størrelse eller struktur
• Integrere Dremio med BI og datakilder som Tableau og Elasticsearch

Publikum

• Data forskere
• Business Analytikere
• Data ingeniører

Format av kurset

• Delvis forelesning, delvis diskusjon, øvelser og tung praksis

Noter

• For å be om en tilpasset opplæring for dette kurset, vennligst kontakt oss for å arrangere.

Denne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot databasefagfolk på mellomnivå som ønsker å forbedre ferdighetene sine i Oracle SQL utvikling og administrasjon.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Bygg og optimaliser komplekse SQL søk.
• Administrer databaser effektivt ved å bruke Oracle SQL-verktøy.
• Bruk beste praksis i databaseutvikling og vedlikehold.
• Administrer brukertilgang og databasesikkerhet i et Oracle miljø.

Apache Accumulo er et sortert, distribuert nøkkel/verdilager som gir robust, skalerbar datalagring og gjenfinning. Den er basert på designet til Googles BigTable og er drevet av Apache Hadoop, Apache Zookeeper og Apache Thrift.

Dette instruktørledede livekurset dekker arbeidsprinsippene bak Accumulo og leder deltakerne gjennom utviklingen av en prøveapplikasjon på Apache Accumulo.

Kursets format

• Del forelesning, del diskusjon, praktisk utvikling og implementering, sporadiske tester for å måle forståelse

Dette kurset er ment for utviklere og dataforskere som ønsker å forstå og implementere kunstig intelligens i sine applikasjoner. Spesielt fokus er på dataanalyse, distribuert kunstig intelligens og naturlig språkbehandling.

Amazon Redshift er en skybasert datavarehustjeneste i petabyte-skala i AWS.

I denne instruktørledede liveopplæringen vil deltakerne lære det grunnleggende om Amazon Redshift.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer Amazon Redshift
• Last inn, konfigurer, distribuer, spør etter og visualiser data med Amazon Redshift

Publikum

• Utviklere
• IT-fagfolk

Format på kurset

• Del forelesning, del diskusjon, øvelser og tung praktisk praksis

Note

• For å be om en tilpasset opplæring for dette kurset, vennligst kontakt oss for å avtale.

Fremskritt innen teknologi og den økende informasjonsmengden endrer hvordan virksomheten drives i mange bransjer, inkludert myndigheter. Gostatens datagenerering og digital arkivering øker på grunn av den raske veksten av mobile enheter og applikasjoner, smarte sensorer og enheter, cloud computing-løsninger og innbyggervendte portaler. Etter hvert som digital informasjon utvides og blir mer kompleks, blir informasjonshåndtering, prosessering, lagring, sikkerhet og disponering også mer kompleks. Nye verktøy for fangst, søk, oppdagelse og analyse hjelper organisasjoner med å få innsikt fra deres ustrukturerte data. Det offentlige markedet er på et vippepunkt, og innser at informasjon er en strategisk ressurs, og myndighetene må beskytte, utnytte og analysere både strukturert og ustrukturert informasjon for å bedre tjene og møte oppdragskravene. Ettersom regjeringsledere streber etter å utvikle datadrevne organisasjoner for å lykkes med oppdraget, legger de grunnlaget for å korrelere avhengigheter på tvers av hendelser, mennesker, prosesser og informasjon.

Offentlige løsninger av høy verdi vil bli laget fra en blanding av de mest forstyrrende teknologiene:

Mobile enheter og applikasjoner Skytjenester Sosiale forretningsteknologier og nettverk Big Data og analyser

IDC spår at innen 2020 vil IT-industrien nå 5 billioner dollar, omtrent 1,7 billioner dollar større enn i dag, og at 80 % av industriens vekst vil bli drevet av disse 3. plattformteknologiene. På lang sikt vil disse teknologiene være sentrale verktøy for å håndtere kompleksiteten i økt digital informasjon. Big Data er en av de intelligente bransjeløsningene og lar myndigheter ta bedre beslutninger ved å iverksette tiltak basert på mønstre avslørt ved å analysere store datamengder – relatert og urelatert, strukturert og ustrukturert.

Men å oppnå disse bragdene krever langt mer enn bare å samle enorme mengder data. «Å gi mening om disse volumene av Big Data krever banebrytende verktøy og teknologier som kan analysere og trekke ut nyttig kunnskap fra enorme og mangfoldige informasjonsstrømmer,» og Tom Kalil og Fen Zhao fra Det hvite hus Office of Science and Technology Policy skrev i et innlegg på OSTP-bloggen.

Det hvite hus tok et skritt mot å hjelpe byråer med å finne disse teknologiene da det etablerte National Big Data Research and Development Initiative i 2012. Initiativet inkluderte mer enn $200 millioner for å få mest mulig ut av eksplosjonen av Big Data og verktøyene som trengs for å analysere det.

Utfordringene som Big Data utgjør er nesten like skremmende som løftet er oppmuntrende. Å lagre data effektivt er en av disse utfordringene. Som alltid er budsjettene stramme, så byråer må minimere lagringsprisen per megabyte og holde dataene lett tilgjengelige slik at brukerne kan få det når de vil ha det og hvordan de trenger det. Sikkerhetskopiering av enorme mengder data øker utfordringen.

Å analysere dataene effektivt er en annen stor utfordring. Mange byråer bruker kommersielle verktøy som gjør dem i stand til å sile gjennom fjellene av data, og oppdage trender som kan hjelpe dem å operere mer effektivt. (En fersk studie av MeriTalk fant at føderale IT-ledere tror Big Data kan hjelpe byråer med å spare mer enn 500 milliarder dollar samtidig som de oppfyller oppdragsmålene.).

Spesialutviklede Big Data-verktøy lar også byråer dekke behovet for å analysere dataene deres. For eksempel har Oak Ridge National Laboratorys Computational Data Analytics Group gjort sitt Piranha-dataanalysesystem tilgjengelig for andre byråer. Systemet har hjulpet medisinske forskere med å finne en kobling som kan varsle leger om aortaaneurismer før de slår til. Den brukes også til mer hverdagslige oppgaver, for eksempel å søke gjennom CV-er for å koble jobbkandidater med ansettelsesledere.

Apache Beam er en åpen kildekode, enhetlig programmeringsmodell for å definere og utføre parallelle databehandlingsrørledninger. Dens kraft ligger i dens evne til å kjøre både batch- og streaming-pipelines, med utførelse utført av en av Beams støttede distribuerte prosesserings-backends: Apache Apex, Apache Flink, Apache Spark og Googgle Cloud Dataflow. Apache Beam er nyttig for ETL (Extract, Transform, and Load) oppgaver som å flytte data mellom forskjellige lagringsmedier og datakilder, transformere data til et mer ønskelig format og laste inn data til et nytt system.

I denne instruktørledede, live-opplæringen (på stedet eller ekstern) vil deltakerne lære hvordan de implementerer Apache Beam SDK-ene i en Java eller Python applikasjon som definerer en databehandlingspipeline for å dekomponere et stort datasett i mindre biter for uavhengig, parallell behandling.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer Apache Beam.
• Bruk en enkelt programmeringsmodell for å utføre både batch- og strømbehandling fra deres Java eller Python applikasjon.
• Utfør rørledninger på tvers av flere miljøer.

Kursets format

• Del forelesning, del diskusjon, øvelser og tung praktisk praksis

Note

• Dette kurset vil være tilgjengelig Scala i fremtiden. Vennligst kontakt oss for å avtale.

Denne klasseromsbaserte treningsøkten vil utforske Big Data. Delegatene vil ha datamaskinbaserte eksempler og casestudieøvelser å gjennomføre med relevante stordataverktøy

Dag 1 - gir et høyt nivå oversikt over viktige Big Data . Modulen er delt inn i en serie seksjoner, som hver blir ledsaget av en praktisk øvelse.

Dag 2 - utforsker en rekke temaer som relaterer analysepraksiser og verktøy for Big Data miljøer. Det kommer ikke inn på implementerings- eller programmeringsdetaljer, men holder i stedet dekningen på et konseptuelt nivå, med fokus på temaer som gjør at deltakerne kan utvikle en omfattende forståelse av de vanlige analysefunksjonene og funksjonene som tilbys av Big Data løsninger.

Dag 3 - gir en oversikt over de grunnleggende og essensielle temaområdene knyttet til plattformarkitekturen for Big Data løsning. Den dekker Big Data mekanismer som er nødvendige for utvikling av en Big Data løsningsplattform og arkitektoniske alternativer for å sette sammen en databehandlingsplattform. Vanlige scenarier presenteres også for å gi en grunnleggende forståelse av hvordan en Big Data løsningsplattform generelt brukes.

Dag 4 - bygger videre på dag 3 ved å utforske avanserte emner relatert til Big Data løsningsplattformarkitektur. Spesielt blir forskjellige arkitektoniske lag som utgjør Big Data løsningsplattformen introdusert og diskutert, inkludert datakilder, datastyrking, datalagring, databehandling og sikkerhet.

Dag 5 - dekker en rekke øvelser og problemer designet for å teste delegatene muligheten til å anvende kunnskap om emner som dekkes dag 3 og 4.

I denne instruktørledede, live-opplæringen i Norge vil deltakerne lære tankesettet for å nærme seg Big Data teknologier, vurdere deres innvirkning på eksisterende prosesser og retningslinjer, og implementere disse teknologiene med det formål å identifisere kriminell aktivitet og forebygge kriminalitet. Kasusstudier fra rettshåndhevelsesorganisasjoner rundt om i verden vil bli undersøkt for å få innsikt i deres adopsjonstilnærminger, utfordringer og resultater.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Kombiner Big Data teknologi med tradisjonelle datainnsamlingsprosesser for å sette sammen en historie under en etterforskning.
• Implementer industrielle løsninger for lagring og prosessering av store data for dataanalyse.
• Utarbeide et forslag for å ta i bruk de mest passende verktøyene og prosessene for å muliggjøre en datadrevet tilnærming til kriminell etterforskning.

Big Data er et begrep som refererer til løsninger som er beregnet på lagring og behandling av store datasett. Disse Big Data løsningene ble utviklet av Go ogle i utgangspunktet og har utviklet og inspirert andre lignende prosjekter, hvorav mange er tilgjengelige som open source. R er et populært programmeringsspråk i finansnæringen.

Når tradisjonelle lagringsteknologier ikke håndterer datamengden du trenger å lagre, er det hundrevis av alternativer. Dette kurset prøver å veilede deltakerne hva som er alternativer for lagring og analyse av Big Data og hva er deres fordeler og ulemper.

Dette kurset fokuserer mest på diskusjon og presentasjon av løsninger, selv om praktiske øvelser er tilgjengelige på forespørsel.

Kurset er en del av Data Scientist ferdighetssettet (Domain: Data and Technology).

Denne instruktørledede, direkteopplæringen (online eller på stedet) er rettet mot ingeniører som ønsker å bruke Confluent (en distribusjon av Kafka) til å bygge og administrere en sanntidsdatabehandlingsplattform for applikasjonene deres.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Installere og konfigurere Confluent Platform.
• Bruke Confluents verktøy og tjenester for å administrere Kafka mer effektivt.
• Lagre og behandle innkommende strømmedata.
• Optimalisere og administrere Kafka-kluster.
• Sikre data-strømmer.

Kursets format

• Interaktive forelesninger og diskusjoner.
• Mange øvelser og praktiske oppgaver.
• Pratisk implementering i et live-lab-miljø.

Alternativer for kurstilpasning

• Dette kurset er basert på den åpne kildekodeversjonen av Confluent: Confluent Open Source.
• For å be om et tilpasset kurs, kontakt oss for å avtale.

Publikum

Hvis du prøver å være fornuftig ut fra dataene du har tilgang til eller ønsker å analysere ustrukturerte data tilgjengelig på nettet (som Twitter, koblet inn osv.), Er dette kurset noe for deg.

Det er mest rettet mot beslutningstakere og personer som trenger å velge hvilke data som er verdt å samle inn og hva som er verdt å analysere.

Det er ikke rettet mot folk som konfigurerer løsningen, de menneskene vil dra nytte av det store bildet.

Leveringsmodus

I løpet av kurset vil delegatene bli presentert med fungerende eksempler på stort sett åpen kildekode-teknologier.

Korte forelesninger blir fulgt av presentasjon og enkle øvelser av deltakerne

Innhold og programvare brukt

All programvare som brukes oppdateres hver gang kurset kjøres, så vi sjekker de nyeste versjonene som er mulig.

Den dekker prosessen fra innhenting, formatering, behandling og analyse av dataene, for å forklare hvordan man kan automatisere beslutningsprosesser med maskinlæring.

I denne instruktørledede liveopplæringen i Norge vil deltakerne lære hvordan man bygger en Data Vault.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Forstå arkitekturen og designkonseptene bak Data Vault 2.0, og dens interaksjon med Big Data, NoSQL og AI.
• Bruk datahvelvteknikker for å aktivere revisjon, sporing og inspeksjon av historiske data i et datavarehus.
• Utvikle en konsistent og repeterbar ETL (Extract, Transform, Load) prosess.
• Bygg og distribuer svært skalerbare og repeterbare varehus.

Denne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot arkitekter, utviklere og administratorer som ønsker å bruke Denodo-plattformen for å optimalisere og akselerere databehandling gjennom datavirtualisering.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer Denodo Plattform.
• Forstå funksjonene og arkitekturen til Denodo Plattform.
• Forstå nøkkelbegrepene, fordelene og brukstilfellene for datavirtualisering.
• Lær hvordan du konfigurerer og administrerer Denodo-plattformserveren.
• Implementer datasikkerhet, brukertilgang og tjenesterautentisering.
• Bruk verktøyene og teknikkene for driftsovervåking og ytelsesoptimalisering.

Apache Druid er et open source, kolonneorientert, distribuert datalager skrevet i Java . Den ble designet for å raskt innta store mengder hendelsesdata og utføre OLAP-spørsmål med lav latens på disse dataene. Druid brukes ofte i forretningsintelligensapplikasjoner for å analysere høye mengder sanntids- og historiske data. Det er også godt egnet til å bruke raske, interaktive, analytiske dashbord for sluttbrukere. Druid brukes av selskaper som Alibaba, Airbnb, Cisco , eBay, Netflix, Paypal og Yahoo.

I dette instruktørledede, live-kurset utforsker vi noen av begrensningene i datavarehusløsninger og diskuterer hvordan Druid kan komplimentere disse teknologiene til å danne en fleksibel og skalerbar streaming-analysestabel. Vi går gjennom mange eksempler, og tilbyr deltakerne sjansen til å implementere og teste Druid-baserte løsninger i et laboratoriemiljø.

Kursets format

• Delforelesning, deldiskusjon, tung praktisk praksis, sporadiske tester for å måle forståelse

Big data er datasett som er så omfangsrike og komplekse at tradisjonell databehandlingsapplikasjonsprogramvare er utilstrekkelig til å håndtere dem. Store datautfordringer inkluderer innhenting av data, datalagring, dataanalyse, søk, deling, overføring, visualisering, spørring, oppdatering og informasjon om personvern.

Denne instruktørledede, direkteopplæringen i Norge (online eller på stedet) introduserer prinsippene og tilnærmingene bak distribuert strøm- og batchdatabehandling, og leder deltakerne gjennom opprettelsen av en sanntidsdatastrømningsapplikasjon i Apache Flink.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Sett opp et miljø for utvikling av dataanalyseapplikasjoner.
• Forstå hvordan Apache Flink sitt grafbehandlingsbibliotek (Gelly) fungerer.
• Pakk, utfør og overvåk Flink-baserte, feiltolerante, datastrømmeapplikasjoner.
• Håndter ulike arbeidsmengder.
• Utfør avanserte analyser.
• Sett opp en multi-node Flink-klynge.
• Mål og optimer ytelsen.
• Integrer Flink med forskjellige Big Data systemer.
• Sammenlign Flink-funksjonene med andre rammeverk for behandling av store data.

I denne instruktørledede, live-opplæringen i Norge vil deltakerne lære om teknologitilbudene og implementeringstilnærmingene for behandling av grafdata. Målet er å identifisere virkelige objekter, deres egenskaper og relasjoner, deretter modellere disse relasjonene og behandle dem som data ved å bruke en Graph Computing (også kjent som Graph Analytics) tilnærming. Vi starter med en bred oversikt og begrenser oss til spesifikke verktøy når vi går gjennom en serie casestudier, praktiske øvelser og live-implementeringer.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Forstå hvordan grafdata opprettholdes og krysses.
• Velg det beste rammeverket for en gitt oppgave (fra grafdatabaser til rammeverk for batchbehandling.)
• Implementer Hadoop, Spark, GraphX og Pregel for å utføre grafberegning på tvers av mange maskiner parallelt.
• Se virkelige store dataproblemer når det gjelder grafer, prosesser og gjennomganger.

Denne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot administratorer som ønsker å sette opp Greenplum Database for business intelligence og datavarehusløsninger.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Dele med seg behov for bearbeiding med Greenplum.
• Utføre ETL-operasjoner for databehandling.
• Utnytte eksisterende infrastrukturer for spørrebehandling.

Denne instruktørledede, direkteopplæringen i Norge (online eller på stedet) introduserer Hortonworks Data Platform (HDP) og leder deltakerne gjennom utrullingen av Spark + Hadoop-løsningen.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Bruk Hortonworks til å kjøre Hadoop pålitelig i stor skala.
• Foren Hadoops sikkerhet, styring og drift med Sparks smidige analytiske arbeidsflyter.
• Bruk Hortonworks til å undersøke, validere, sertifisere og støtte hver av komponentene i et Spark-prosjekt.
• Behandle ulike typer data, inkludert strukturert, ustrukturert, i bevegelse og i hvile.

Cloudera Impala er en åpen kildekode massivt parallel processing (MPP) SQL søkemotor for Apache Hadoop klynger.

Impala gjør det mulig for brukere å sende spørsmål med lav latens SQL til data lagret i Hadoop Distribuert filsystem og Apache Hbase uten å kreve dataflytting eller transformasjon.

Publikum

Dette kurset er rettet mot analytikere og dataforskere som utfører analyser på data lagret i Hadoop via Business Intelligence eller SQL verktøy.

Etter dette kurset vil delegatene kunne

• Trekk ut meningsfull informasjon fra Hadoop klynger med Impala.
• Skriv spesifikke programmer for å lette Business Intelligens i Impala SQL Dialekt.
• Feilsøking Impala.

I denne instruktørledede, live-opplæringen i Norge (på stedet eller ekstern), vil deltakerne lære å sette opp og integrere forskjellige Stream Processing rammeverk med eksisterende lagringssystemer for store data og relaterte programvareapplikasjoner og mikrotjenester.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer forskjellige Stream Processing rammeverk, for eksempel Spark Streaming og Kafka Streaming.
• Forstå og velg det mest passende rammeverket for jobben.
• Prosess av data kontinuerlig, samtidig og på en rekord-for-post måte.
• Integrer Stream Processing løsninger med eksisterende databaser, datavarehus, datainnsjøer, etc.
• Integrer det mest passende strømbehandlingsbiblioteket med bedriftsapplikasjoner og mikrotjenester.

Denne instruktørledede, direkteopplæringen i Norge (online eller på stedet) er rettet mot dataingeniører, dataforskere og programmerere som ønsker å bruke Apache Kafka-funksjoner i datastrømming med Python.

Ved slutten av denne opplæringen vil deltakerne kunne bruke Apache Kafka til å overvåke og administrere forhold i kontinuerlige datastrømmer ved å bruke Python programmering.

Kafka Streams er et bibliotek på klientsiden for å bygge applikasjoner og mikroservices hvis data sendes til og fra et Kafka-meldingssystem. Tradisjonelt har Apache Kafka vært avhengig av Apache Spark eller Apache Storm å behandle data mellom meldingsprodusenter og forbrukere. Ved å kalle Kafka Streams API fra en applikasjon, kan data behandles direkte i Kafka, og omgå behovet for å sende dataene til en egen klynge for behandling.

I denne instruktørledede, liveopplæringen, vil deltakerne lære å integrere Kafka Streams i et sett med Java applikasjoner som sender data til og fra Apache Kafka for strømbehandling.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Forstå Kafka Streams funksjoner og fordeler over andre strømbehandlingsrammeverk
• Behandle strømdata direkte innenfor en Kafka-kluster
• Skrive en Java eller Scala applikasjon eller mikrotjeneste som integreres med Kafka og Kafka Streams
• Skrive kortfattet kode som omformer innkommende Kafka-emner til utgående Kafka-emner
• Bygge, pakke og deploye applikasjonen

Publikum

• Utviklere

Kursformat

• Delvis forelesning, delvis diskusjon, øvelser og mye praktisk øvelse

Merknader

• For å be om en tilpasset opplæring for dette kurset, ta kontakt med oss for å avtale

Denne instruktørledede, direkteopplæringen i Norge (online eller på stedet) er rettet mot utviklere som ønsker å implementere Apache Kafka strømbehandling uten å skrive kode.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer Confluent KSQL.
• Sett opp en strømbehandlingspipeline ved å bruke bare SQL kommandoer (ingen Java eller Python koding).
• Utfør datafiltrering, transformasjoner, aggregeringer, sammenføyninger, vinduer og økter i SQL.
• Design og distribuer interaktive, kontinuerlige spørringer for streaming av ETL og sanntidsanalyse.

Denne instruktørledede, liveopplæringen i Norge (online eller på stedet) er rettet mot tekniske personer som ønsker å lære hvordan man implementerer en maskinlæringsstrategi samtidig som man maksimerer bruken av big data.

Ved slutten av denne opplæringen vil deltakerne:

• Forstå utviklingen og trendene for maskinlæring.
• Vet hvordan maskinlæring brukes på tvers av ulike bransjer.
• Bli kjent med verktøyene, ferdighetene og tjenestene som er tilgjengelige for å implementere maskinlæring i en organisasjon.
• Forstå hvordan maskinlæring kan brukes til å forbedre datautvinning og analyse.
• Finn ut hva en datamellomstøtte er, og hvordan den brukes av bedrifter.
• Forstå rollen som big data og intelligente applikasjoner spiller på tvers av bransjer.

I denne instruktørledede, live-opplæringen i Norge (på stedet eller eksternt), vil deltakerne lære hvordan de distribuerer og administrerer Apache NiFi i et levende laboratoriemiljø.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer Apachi NiFi.
• Kilde, transformer og administrer data fra forskjellige, distribuerte datakilder, inkludert databaser og store datainnsjøer.
• Automatiser dataflyter.
• Aktiver strømmeanalyse.
• Bruk ulike tilnærminger for datainntak.
• Forvandle Big Data og til forretningsinnsikt.

I denne instruktørledede, live-opplæringen i Norge vil deltakerne lære det grunnleggende om flytbasert programmering når de utvikler en rekke demo-utvidelser, komponenter og prosessorer ved hjelp av Apache NiFi.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Forstå NiFis arkitektur og dataflytkonsepter.
• Utvikle utvidelser ved å bruke NiFi og tredjeparts APIer.
• Tilpasset utvikle sin egen Apache Nifi-prosessor.
• Ta inn og behandle sanntidsdata fra forskjellige og uvanlige filformater og datakilder.

Denne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot dataingeniører, dataforskere og programmerere som ønsker å bruke Spark Streaming-funksjoner til å behandle og analysere sanntidsdata.

Ved slutten av denne opplæringen vil deltakerne kunne bruke Spark Streaming til å behandle live datastrømmer for bruk i databaser, filsystemer og live dashboards.

MLlib er Sparks maskinlæringsbibliotek. Målet er å gjøre praktisk maskinlæring skalerbar og enkel. Den består av vanlige læringsalgoritmer og verktøy, inkludert klassifisering, regresjon, klynger, samarbeidende filtrering, dimensjonalitetsreduksjon, samt primitiver på lavere nivå og optimaliseringsgrensesnitt på rørledningen.

Den deler seg i to pakker:

• spark.mllib inneholder den originale API-en som er bygget på toppen av RDD-er.

• spark.ml gir API på høyere nivå bygget oppå DataFrames for konstruksjon av ML-rørledninger.

Publikum

Dette kurset er rettet mot ingeniører og utviklere som søker å bruke et innebygd maskinbibliotek for Apache Spark

Denne instruktørledede, direkteopplæringen i Norge (online eller på stedet) er rettet mot tekniske personer som ønsker å distribuere Talend Open Studio for Big Data for å forenkle prosessen med å lese og knaske gjennom Big Data.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer Talend Open Studio for Big Data.
• Koble til Big Data-systemer som Cloudera, HortonWorks, MapR, Amazon EMR og Apache.
• Forstå og konfigurer Open Studios store datakomponenter og koblinger.
• Konfigurer parametere for automatisk å generere MapReduce-kode.
• Bruk Open Studios dra-og-slipp-grensesnitt for å kjøre Hadoop-jobber.
• Prototype big data pipelines.
• Automatiser stordata-integrasjonsprosjekter.

Denne instruktørledede, live-opplæringen introduserer konseptene bak interaktiv dataanalyse og leder deltakerne gjennom utrullingen og bruken av Zeppelin i et enkeltbruker- eller flerbrukermiljø.

Ved slutten av denne opplæringen vil deltakerne kunne:

• Installer og konfigurer Zeppelin
• Utvikle, organiser, utfør og del data i et nettleserbasert grensesnitt
• Visualiser resultater uten å referere til kommandolinjen eller klyngedetaljer
• Utfør og samarbeid om lange arbeidsflyter
• Arbeid med en rekke plug-in-språk/databehandling-backends, for eksempel Scala (med Apache Spark), Python (med Apache Spark), Spark SQL, JDBC, Markdown og Shell .
• Integrer Zeppelin med Spark, Flink og Map Reduce
• Sikre flerbrukerforekomster av Zeppelin med Apache Shiro