Kursplan
Introduksjon
Forståelse Big Data
Oversikt over Spark
Oversikt over Python
Oversikt over PySpark
- Distribuere data ved hjelp av Resilient Distributed Dataset Framework
- Distribuere beregninger ved hjelp av Spark API-operatører
Oppsett Python med Spark
Oppsett PySpark
Bruker Amazon Web Services (AWS) EC2-forekomster for Spark
Oppsett Databricks
Sette opp AWS EMR-klyngen
Lær det grunnleggende om Python Programming
- Komme i gang med Python
- Bruke Jupyter Notebook
- Bruke variabler og enkle datatyper
- Arbeid med lister
- Bruke if-utsagn
- Bruke brukerinnganger
- Arbeider med while-løkker
- Implementeringsfunksjoner
- Arbeid med klasser
- Arbeide med filer og unntak
- Arbeide med prosjekter, data og APIer
Lær det grunnleggende om Spark DataFrame
- Komme i gang med Spark DataFrames
- Implementering av grunnleggende operasjoner med Spark
- Bruke Groupby og Aggregate Operations
- Arbeid med tidsstempler og datoer
Arbeider med en Spark DataFrame-prosjektøvelse
Forståelse Machine Learning med MLlib
Arbeide med MLlib, Spark og Python for Machine Learning
Forstå regresjoner
- Lære lineær regresjonsteori
- Implementering av en regresjonsevalueringskode
- Arbeid med en prøve på lineær regresjonsøvelse
- Lære logistisk regresjonsteori
- Implementering av en logistisk regresjonskode
- Arbeid med en prøve på logistisk regresjonsøvelse
Forståelse Random Forester og beslutningstrær
- Learning Tree Methods Theory
- Implementeringsbeslutningstrær og Random Forest koder
- Arbeide med en prøve Random Forest Klassifiseringsøvelse
Arbeid med K-betyr Clustering
- Forstå K-betyr Clustering Theory
- Implementering av en K-betyr klyngekode
- Arbeid med en prøveklyngeøvelse
Arbeid med Recommender Systems
Implementering av naturlig språkbehandling
- Forståelse Natural Language Processing (NLP)
- Oversikt over NLP-verktøy
- Arbeid med en prøve på NLP-øvelse
Streaming med Spark på Python
- Oversikt Streaming med Spark
- Eksempel Spark Streaming Øvelse
Avsluttende bemerkninger
Krav
- Generelle programmeringskunnskaper
Publikum
- Utviklere
- IT-fagfolk
- Dataforskere
Referanser (6)
Jeg likte at det var praktisk. Elsket å anvende den teoretiske kunnskapen med praktiske eksempler.
Aurelia-Adriana - Allianz Services Romania
Kurs - Python and Spark for Big Data (PySpark)
Maskinoversatt
Kursen handlet om en rekke med meget komplekse og sammenhengende emner, og Pablo har dyp innsikt i hvert av dem. Av og til gikk nyanser tapt i kommunikasjonen og/eller på grunn av tidspress, noe som muligens førte til at forventningene ikke helt ble møtt. Det oppstod også noen UHG/Azure Databricks oppsetningsproblemer, men Pablo og UHG løste disse raskt når de ble oppdaget - dette viste ifølge meg en høy grad av forståelse og profesjonalitet mellom UHG og Pablo,
Michael Monks - Tech NorthWest Skillnet
Kurs - Python and Spark for Big Data (PySpark)
Maskinoversatt
Individuell oppmerksomhet.
ARCHANA ANILKUMAR - PPL
Kurs - Python and Spark for Big Data (PySpark)
Maskinoversatt
Praktisk trening..
Abraham Thomas - PPL
Kurs - Python and Spark for Big Data (PySpark)
Maskinoversatt
Leksjonene ble holdt i et Jupyter-ark. Emnene var strukturert med en logisk sekvens og bidro naturlig til å utvikle sesjonen fra de enkleste delene til de mer komplekse. Jeg er allerede en avansert bruker av Python med bakgrunn i maskinlæring, så jeg fant kurset lettere å følge enn kanskje noen av mine medstudenter som tok opplæringskurset. Jeg setter pris på at noen av de mest elementære konseptene ble hoppet over og at han fokuserte på de mest sentrale emnene.
Angela DeLaMora - ADT, LLC
Kurs - Python and Spark for Big Data (PySpark)
Maskinoversatt
øvelseoppgaver
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
Kurs - Python and Spark for Big Data (PySpark)
Maskinoversatt