Big Data Business Intelligence for Telecom and Communication Service Providers Treningskurs

Oppdeling av emner på daglig basis: (hver økt er 2 timer)

Dag-1: Økt -1: Business Overview of Why Big Data Business Intelligence i Telco.

Kasusstudier fra T-Mobile, Verizon etc. Big Data-tilpasningsrate i nordamerikanske teletjenester og hvordan de tilpasser sin fremtidige forretningsmodell og drift rundt Big Data BI Broad Scale Application Area Nettverk og serviceadministrasjon Kunde Churn Management Dataintegrasjon & Dashboardvisualisering Svindelhåndtering Generering av forretningsregler Kundeprofilering Lokalisert Ad-pushing

Dag-1: Sesjon-2: Introduksjon av Big Data-1

Hovedkarakteristika for Big Data-volum, variasjon, hastighet og sannhet. MPP-arkitektur for volum. Datavarehus – statisk skjema, langsomt utviklende datasett MPP-databaser som Greenplum, Exadata, Teradata, Netezza, Vertica etc. Hadoop-baserte løsninger – ingen betingelser for strukturen til datasettet. Typisk mønster : HDFS, MapReduce (crunch), hente fra HDFS Batch- egnet for analytisk/ikke-interaktiv Volum : CEP streaming data Typiske valg – CEP-produkter (f.eks. Infostreams, Apama, MarkLogic etc) Mindre produksjonsklare – Storm/S4 NoSQL-databaser – (kolonne og nøkkelverdi): Passer best som analytisk tillegg til datavarehus/database

Dag-1 : Økt -3 : Introduksjon til Big Data-2

IngenSQL løsninger

KV Store - Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB) KV Store - Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB KV Store (hierarkisk) - GT.m, Cache KV Store (bestilt) - TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord KV Cache - Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua Tuple Store - Gigaspaces, Coord, Apache River Object Database - ZopeDB, DB40, Document Store - CouchDBal , Couchbase, MongoDB, Jackrabbit, XML-Databaser, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris Wide Columnar Store - BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI

Varieties of Data: Introduksjon til Data Cleaning problemstilling i Big Data

RDBMS – statisk struktur/skjema, fremmer ikke smidig, utforskende miljø. NeiSQL – semistrukturert, nok struktur til å lagre data uten eksakt skjema før lagring av data Problemer med datarensing

Dag-1: Økt-4: Big Data-introduksjon-3: Hadoop

Når skal du velge Hadoop? STRUKTURERT - Enterprise datavarehus/databaser kan lagre massive data (til en kostnad), men påtvinge struktur (ikke bra for aktiv utforskning) SEMI STRUKTURERT data – vanskelig å gjøre med tradisjonelle løsninger (DW/DB) Lagerdata = ENORM innsats og statisk selv etter implementering For variasjon og volum av data, knust på råvaremaskinvare – HADOOP Commodity H/W trengte for å lage en Hadoop klynge

Introduksjon til Map Reduce /HDFS

MapReduce – distribuer databehandling over flere servere HDFS – gjør data tilgjengelig lokalt for databehandlingsprosessen (med redundans) Data – kan være ustrukturerte/skjemaløse (i motsetning til RDBMS) Utvikleransvar for å forstå data Programming MapReduce = arbeider med Java ( fordeler/ulemper), laster data manuelt inn i HDFS

Dag-2: Økt-1.1: Spark: I minne distribuert database

Hva er "In memory"-behandling? Spark SQL Spark SDK Spark API RDD Spark Lib Hanna Hvordan migrere et eksisterende Hadoop-system til Spark

Dag-2 økt -1.2: Storm -Sanntidsbehandling i Big Data

Strømmer Spirer Bolter Topologier

Dag-2: Økt-2: Big Data Management System

Bevegelige deler, beregningsnoder starter/feiler :ZooKeeper - For konfigurasjons-/koordinerings-/navngivningstjenester Kompleks pipeline/arbeidsflyt: Oozie – administrer arbeidsflyt, avhengigheter, seriekjede Implementer, konfigurer, klyngeadministrasjon, oppgradering osv. (sys admin) :Ambari In Cloud : Whirr Evolving Big Data plattformverktøy for sporing av ETL-lagapplikasjonsproblemer

Dag-2: Økt-3: Prediktiv analyse i Business Intelligence -1: Fundamental Techniques & Machine learning based BI:

Introduksjon til maskinlæring Lære klassifiseringsteknikker Bayesiansk prediksjonsforberedende treningsfil Markov tilfeldig felt Overvåket og uovervåket læring Funksjonsekstraksjon Støtte Vector Machine Neural Network Forsterkende læring Big Data stort variabelproblem -Random skog (RF) Representasjonslæring Dyplæring Big Data Automatiseringsproblem – Multi-modell ensemble RF-automatisering gjennom Soft10-M LDA og emnemodellering Agile learning Agentbasert læring- Eksempel fra Telco-drift Distribuert læring –Eksempel fra Telco-drift Introduksjon til åpen kildekode-verktøy for prediktiv analyse: R, Rapidminer, Mahut Mer skalerbar analytisk- Apache Hama, Spark og CMU Graph lab

Dag-2: Økt-4 Predictive analytics økosystem-2: Vanlige prediktive analytiske problemer i Telecom

Innsiktsanalytisk Visualiseringsanalytisk Strukturert prediktiv analytisk Ustrukturert prediktiv analytisk Kundeprofilering Anbefaling Motormønsterdeteksjon Regel/scenario-oppdagelse – feil, svindel, optimalisering Oppdagelse av rotårsak Sentimentanalyse CRM-analytisk Nettverksanalytisk Tekstanalyse Teknologiassistert gjennomgang Svindelanalyse Sanntidsanalyse

Dag-3: Sesjon-1: Nettverksoperasjonsanalytisk - rotårsaksanalyse av nettverksfeil, tjenesteavbrudd fra metadata, IPDR og CRM:

CPU-bruk Minnebruk QoS-købruk Enhetstemperaturgrensesnittfeil IoS-versjoner Rutinghendelser Latensvariasjoner Syslog-analyse Pakketap Lastsimulering Topologislutning Ytelsesterskel Enhetsfeller IPDR (IP detailed record) innsamling og prosessering Bruk av IPDR-data for abonnentbåndbreddeforbruk, nettverksgrensesnittbruk , modemstatus og diagnostisk HFC-informasjon

Dag-3: Økt-2: Verktøy for analyse av nettverkstjenestefeil:

Nettverkssammendrag Dashboard: overvåk overordnede nettverksdistribusjoner og spor organisasjonens nøkkelytelsesindikatorer Peak Period Analysis Dashboard: forstå applikasjons- og abonnent-trender som driver topputnyttelse, med stedsspesifikk granularitet Ruting Efficiency Dashboard: kontroller nettverkskostnader og bygg forretningscases for kapitalprosjekter med en fullstendig forståelse av samtrafikk- og transittforhold. Sanntidsunderholdningsdashbord: tilgang til beregninger som betyr noe, inkludert videovisninger, varighet og videokvalitet for opplevelse (QoE) IPv6 Transition Dashboard: undersøk den pågående bruken av IPv6 på nettverket ditt og få innsikt i applikasjonene og enhetene som driver trender Case-Study-1: Alcatel-Lucent Big Network Analytics (BNA) Data Miner Multidimensjonal mobil intelligens (m.IQ6)

Dag-3 : Økt 3: Big Data BI for Marketing/Salg – Forstå salg/markedsføring fra salgsdata: (Alle vil bli vist med en live prediktiv analytisk demo )

For å identifisere kunder med høyest hastighet For å identifisere kunder for et gitt produkt For å identifisere riktig sett med produkter for en kunde (Recommendation Engine) Markedssegmenteringsteknikk Kryss- og oppsalgsteknikk Klientsegmenteringsteknikk Salgsinntektsprognoseteknikk

Dag-3: Økt 4: BI nødvendig for Telco CFO-kontor:

Oversikt over Business Analytics-arbeid som trengs på et CFO-kontor Risikoanalyse på nyinvestering Inntekter, resultatprognoser Prognoser for anskaffelse av nye kunder Tapsprognoser Svindelanalyse om økonomi (detaljer neste økt)

Dag-4: Økt-1: Fraud prevention BI fra Big Data i Telco-Fraud analytic:

Båndbreddelekkasje / båndbreddesvindel Leverandørsvindel/overbelastning for prosjekter Kunderefusjon/kravsvindel Reiserefusjonssvindel

Dag-4: Økt-2: Fra churning-prediksjon til churn-forebygging:

3 typer Churn: Aktiv/Bevisst, Roterende/Tilfeldig, Passiv Ufrivillig 3 klassifisering av churnte kunder: Total, Skjult, Delvis Forstå CRM-variabler for churn Kundeatferd datainnsamling Kundeoppfatning datainnsamling Kundedemografi datainnsamling Rengjøring av CRM-data Ustrukturerte CRM-data ( kundeanrop, billetter, e-poster) og deres konvertering til strukturerte data for Churn-analyse Social Media CRM-ny måte å trekke ut kundetilfredshetsindeks Case Study-1 : T-Mobile USA: Churn Reduction med 50 %

Dag-4: Økt-3: Hvordan bruke prediktiv analyse for rotårsaksanalyse av misnøye hos kunder:

Kasusstudie -1: Knytte misnøye til problemer – Regnskap, tekniske feil som tjenesteavbrudd, dårlig båndbredde-tjeneste Case Study-2: Big Data QA-dashbord for å spore kundetilfredshetsindeksen fra ulike parametere som samtaleeskaleringer, kritiske problemer, ventende service avbruddshendelser etc.

Dag-4: Økt-4: Big Data Dashboard for rask tilgang til ulike data og visning:

Integrasjon av eksisterende applikasjonsplattform med Big Data Dashboard Big Data Management Case Study of Big Data Dashboard: Tableau og Pentaho Bruk Big Data-appen til å pushe stedsbasert annonsesporingssystem og administrasjon

Dag-5: Sesjon-1: Hvordan rettferdiggjøre Big Data BI-implementering i en organisasjon:

Definere ROI for Big Data implementering Kasusstudier for å spare Analytiker Tid for innsamling og klargjøring av Data –økning i produktivitetsgevinst Kasusstudier av inntektsgevinst fra kundefragang Inntektsgevinst fra stedsbasert og annen målrettet annonse En integrert regnearktilnærming for å beregne ca. kostnad vs. inntektsgevinst/besparelse fra Big Data implementering.

Dag-5: Sesjon-2: Trinn-for-trinn prosedyre for å erstatte eldre datasystem til Big Data System:

Forstå praktisk Big Data Migrasjonsveikart Hva er den viktige informasjonen som trengs før en Big Data implementering.

Dag-5: Økt 3 og 4: Gjennomgang av Big Data Leverandører og gjennomgang av deres produkter. Q/A økt:

AccentureAlcatel-Lucent Amazon –A9 APTEAN (tidligere CDC-programvare) Cisco Systems Cloudera Dell EMC GoodData Corporation Guavus Hitachi Data Systems Hortonworks Huawei HP IBM Informatica Intel Jaspersoft Microsoft MongoDB (tidligere 10Gen) MU Sigma Netapp Opera Solutions Oracle Pentaho Platfora Qlikspace Revolution Quantum SAP SAS Institute Sisense Software AG/Terracotta Soft10 Automation Splunk Sqrrl Supermicro Tableau Software Teradata Think Big Analytics Tidemark Systems VMware (Del av EMC)