Big Data Business Intelligence for Telecom and Communication Service Providers Treningskurs

Oppdeling av emner på daglig basis: (Hver økt er på 2 timer)

Dag-1: Økt-1: Forretningsoversikt over Hvorfor Big Data Business Intelligence i Telco.

• Tilfeller fra T-Mobile, Verizon osv.
• Adopsjonsrate for Big Data i nordamerikanske telekommunikasjonsbedrifter og hvordan de tilpasser fremtidige forretningsmodeller og driftsoperasjoner rundt Big Data BI
• Bred applikasjonsområde
• Nettverks- og tjenestemanagement
• Kundeforlatsmanagement
• Dataintegrasjon og dashboard-visualisering
• Bedrageri management
• Generering av forretningsregler
• Kundprofilering
• Lokalisert reklamepushing

Dag-1: Økt-2: Introduksjon til Big Data-1

• Hovedkarakteristikker ved Big Data: volum, variasjon, hastighet og verifiserbarhet. MPP-arkitektur for volum.
• Datawarehouses – statisk skjema, sakte utviklende datasett
• MPP-databaser som Greenplum, Exadata, Teradata, Netezza, Vertica osv.
• Hadoop-baserte løsninger – ingen betingelser for struktur på datasettet.
• Typisk mønster: HDFS, MapReduce (knekke), hente fra HDFS
• Batch – egnet for analytisk/ikke-interaktivt
• Volum: CEP strømmedata
• Typiske valg – CEP-produkter (f.eks. Infostreams, Apama, MarkLogic osv)
• Mindre produksjonsklare – Storm/S4
• NoSQL-databaser – (kolonnebasert og nøkkel-verdi): Best egnet som analytisk tillegg til datawarehouse/databaser

Dag-1: Økt-3: Introduksjon til Big Data-2

NoSQL-løsninger

• KV-lager - Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
• KV-lager - Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB
• KV-lager (hierarkisk) - GT.m, Cache
• KV-lager (sortert) - TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
• KV-lager - Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua
• Tuple-lager - Gigaspaces, Coord, Apache River
• Objektdatabaser - ZopeDB, DB40, Shoal
• Dokumentlager - CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, XML-databaser, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
• Brede kolonnebaserte lagre - BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI

Varieties of Data: Introduksjon til rensing av data i Big Data

• RDBMS – statisk struktur/skjema, ikke egnet for agil, utforskende miljø.
• NoSQL – semistrukturert, tilstrekkelig struktur for å lagre data uten eksakt skjema før lagring av data
• Rensing av data

Dag-1: Økt-4: Introduksjon til Big Data-3: Hadoop

• Når du skal velge Hadoop?
• STRUKTURERT - Forretningsdatawarehouses/databaser kan lagre enorme datamengder (mot kostnad), men pålegger struktur (ikke bra for aktiv utforskning)
• SEMISTRUKTURERT data – vanskelig med tradisjonelle løsninger (DW/DB)
• Datawarehousing = KJEPT innsats og statisk selv etter implementering
• For variasjon og volum av data, knyttet til billig maskinvare – HADOOP
• Maskinvare til bruk for å opprette et Hadoop-kluster

Introduksjon til Map Reduce/HDFS

• MapReduce – distribuerer beregninger over flere servere
• HDFS – gjør data tilgjengelig lokalt for beregningsprosessen (med redundans)
• Data – kan være ustrukturert/skjemaløs (i motsetning til RDBMS)
• Ansvar for utviklere å gi mening til data
• Programmering av MapReduce = arbeide med Java (for- og nermed), manuelt laste inn data i HDFS

Dag-2: Økt-1.1: Spark: Innminnefordelt databaser

• Hva er “innminne”-behandling?
• Spark SQL
• Spark SDK
• Spark API
• RDD
• Spark Lib
• Hanna
• Hvordan migrere et eksisterende Hadoop-system til Spark

Dag-2: Økt-1.2: Storm - Realtidsbehandling i Big Data

• Strømmer
• Spire
• Bolter
• Topologier

Dag-2: Økt-2: Big Data Management System

• Flyttelegg, beregningsnoder starter/feiler: ZooKeeper - For konfigurering, koordinering og navneservice
• Kompleks pipeline/arbeidsflyt: Oozie – styre arbeidsflyt, avhengigheter, daisy chain
• Distribuer, konfigurere, klusterstyring, oppgraderinger osv (sysadmin): Ambari
• I Skyen: Whirr
• Utviklende Big Data-plattformverktøy for sporing
• Problemer med ETL-laget

Dag-2: Økt-3: Prediktiv analyse i Business Intelligence-1: Grunnleggende teknikker og maskinlæring basert BI:

• Introduksjon til maskinlæring
• Lære klassifiseringsteknikker
• Bayesiansk prediksjon - forberede treningsfil
• Markov tilfeldig felt
• Overvåket og uovervåket lærings
• Ekstrahering av egenskaper
• Support Vector Machine
• Neuronnett
• Forsterket lærings
• Big Data-problem med mange variabler - Random Forest (RF)
• Representasjonslæring
• Dyp lærings
• Automatisering av Big Data-problem – Multi-model ensemble RF
• Automatisering gjennom Soft10-M
• LDA og tema-modellering
• Agil lærings
• Agentbasert lærings - Eksempel fra Telco-operasjoner
• Fordelt lærings – Eksempel fra Telco-operasjoner
• Introduksjon til åpne verktøy for prediktiv analyse: R, Rapidminer, Mahut
• Mer skalerbar analyse - Apache Hama, Spark og CMU Graph lab

Dag-2: Økt-4: Prediktiv analyse økosystem-2: Vanlige prediktive analyseproblemer i telekommunikasjon

• Innsiktanalyse
• Visualiseringsanalyse
• Strukturert prediktiv analyse
• Ustrukturert prediktiv analyse
• Kundprofilering
• Anbefalingsmaskiner
• Mønsterdeteksjon
• Oppdagelse av regler/scenarier – feil, bedrageri, optimering
• Oppdagelse av årsak
• Sentimentanalyse
• CRM-analyse
• Nettverksanalyse
• Tekstanalyse
• Teknologiassistert gjennomgang
• Bedragerianalyse
• Realtidsanalyse

Dag-3: Økt-1: Nettverksoperasjonsanalyse: Rotårsakanalyse av nettverksfeil, tjenestestans fra metadata, IPDR og CRM:

• CPU-bruk
• Minnebruk
• QoS-købruk
• Enhetsvarme
• Grensesnittfeil
• IoS-versjoner
• Rutehendelser
• Variasjoner i forsinkelse
• Syslog-analyse
• Pakketap
• Belastningssimulering
• Topologiinferens
• Ytelsestærskel
• Enhetsfeller
• Samling og behandling av IPDR-data (IP-detaljert oppføring)
• Bruk av IPDR-data for abonnentens båndbreddebruk, nettverksgrensesnittutnyttelse, modemstatus og diagnostikk
• HFC-informasjon

Dag-3: Økt-2: Verktøy for analyse av nettverkstjenestefeil:

• Nettverksoversiktsdashboard: Overvåk generelle nettverkstjenester og spør etter organisasjonens viktigste ytelsesindikatorer
• Peak Period Analysis Dashboard: Forstå applikasjons- og abonnenttrender som driver topputnyttelse, med stedsspesifikk detaljering
• Routing Efficiency Dashboard: Kontroller nettverkskostnader og bygg forretningssaker for kapitalprosjekter med full forståelse av tilknytning og transitrelasjoner
• Real-Time Entertainment Dashboard: Tilgang til metrikker som teller, inkludert visninger av video, varighet og videoopplevelse (QoE)
• IPv6 Transition Dashboard: Undersøk den pågående adopsjonen av IPv6 på nettverket ditt og få innsikt i applikasjoner og enheter som driver trendene
• Tilfelle-1: Alcatel-Lucent Big Network Analytics (BNA) Data Miner
• Multi-dimensional mobil intelligens (m.IQ6)

Dag-3: Økt 3: Big Data BI for markedsføring/salg – Forstå salgs/markedsføring fra salgsdata: (Alt dette vil bli vist med en live prediktiv analyse demo)

• For å identifisere klienter med høyest hastighet
• For å identifisere klienter for gitte produkter
• For å identifisere riktig sett av produkter for en klient (Anbefalingsmaskin)
• Markedssegmenteringsteknikker
• Korssalgs- og oppsalgsteknikker
• Klientsegmenteringsteknikker
• Salgsinntektsfremskrivningsteknikker

Dag-3: Økt 4: BI nødvendig for Telco CFO-kontoret:

• Oversikt over arbeidet med forretningsanalyse som er nødvendig i et CFO-kontor
• Risikoanalyse for nye investeringer
• Inntekts- og fortjenestefremskrivning
• Fremskrivning av nye klienter
• Tapfremskrivning
• Bedragerianalyse på finanser (detaljer i neste økt)

Dag-4: Økt-1: Bedrageri forebygging BI fra Big Data i Telco - Bedrageri analyse:

• Båndbreddeslipp / Bandbreddebedrageri
• Bedrageri fra leverandør/overtakking for prosjekter
• Kunde refundering/klage bedrageri
• Reiseinnbetalingsbedrageri

Dag-4: Økt-2: Fra forutsigelse av kundeforsvinning til forebygging av kundeforsvinning:

• 3 typer kundeforsvinning: Aktiv/med vilje, Rotasjonstilfeldig, Passiv ufridvillig
• 3 klassifiseringer av kunder som forsvinner: Total, skjult, delvis
• Forstå CRM-variabler for kundeforsvinning
• Samling av kundeadferdsdata
• Samling av kundepersepsjonsdata
• Samling av kundedemografidata
• Rensing av CRM-data
• Ustrukturert CRM-data (kundekall, billetter, e-poster) og deres omdannelse til strukturert data for analysen av kundeforsvinning
• Social media CRM – ny måte å hente kundetilfredshet på
• Tilfelle-1: T-Mobile USA: Redusering av kundeforsvinning med 50%

Dag-4: Økt-3: Hvordan bruke prediktiv analyse til rotårsakanalyse av kundemisnøye:

• Tilfelle-1: Koble misnøye til problemer – regnskapsfeil, ingeniørfeil som tjenestestans, dårlig båndbreddetjeneste
• Tilfelle-2: Big Data QA-dashboard for å spore kundetilfredshetsindeks fra ulike parametere som kalleskalering, kritiskhet av problemer, værende tjenestestanshendelser osv.

Dag-4: Økt-4: Big Data Dashboard for rask tilgang til ulike data og visning:

• Integrering av eksisterende applikasjonsplattform med Big Data Dashboard
• Big Data-tilstand
• Tilfelle av Big Data Dashboard: Tableau og Pentaho
• Bruke Big Data-applikasjoner for å push plassbasert reklame
• Sporingssystem og styring

Dag-5: Økt-1: Hvordan rettferdiggjøre implementering av Big Data BI innen en organisasjon:

• Definere ROI for implementering av Big Data
• Tilfeller for å spare analytikertid for samling og forberedelse av data – økning i produktivitet
• Tilfeller av inntektstap fra kundeforsvinning
• Inntektstap fra plassbasert og annen målrettet reklame
• En integrert regnearksmetode for å beregne omtrentlige utgifter i forhold til inntektstap/forsparinger fra implementering av Big Data.

Dag-5: Økt-2: Steg-for-steg-prosedyre for å erstatte gamle datasystemer med Big Data-system:

• Forstå den praktiske Big Data-migreringsplanen
• Hvilke viktige opplysninger trenger du før du arkitekturer en Big Data-implementering
• Hvilke forskjellige måter er det å beregne volum, hastighet, variasjon og verifiserbarhet av data
• Hvordan estimere datavekst
• Tilfeller i 2 telekommunikasjonsbedrifter

Dag-5: Økt 3 & 4: Gjennomgang av Big Data-leverandører og gjennomgang av produktene deres. Spørsmål/svar-sesjon:

• Accenture
• Alcatel-Lucent
• Amazon –A9
• APTEAN (Tidligere CDC Software)
• Cisco Systems
• Cloudera
• Dell
• EMC
• GoodData Corporation
• Guavus
• Hitachi Data Systems
• Hortonworks
• Huawei
• HP
• IBM
• Informatica
• Intel
• Jaspersoft
• Microsoft
• MongoDB (Tidligere 10Gen)
• MU Sigma
• Netapp
• Opera Solutions
• Oracle
• Pentaho
• Platfora
• Qliktech
• Quantum
• Rackspace
• Revolution Analytics
• Salesforce
• SAP
• SAS Institute
• Sisense
• Software AG/Terracotta
• Soft10 Automation
• Splunk
• Sqrrl
• Supermicro
• Tableau Software
• Teradata
• Think Big Analytics
• Tidemark Systems
• VMware (Delen av EMC)