Web Scraping with Python Treningskurs
Web Scraping er en teknikk for å trekke ut data fra et nettsted og deretter lagre det i lokal fil eller database.
Denne instruktørledede, liveopplæringen (stedet eller fjernkontrollen) er rettet mot utviklere som ønsker å bruke Python til å automatisere prosessen med å gjennomsøke mange nettsteder for å hente ut data for behandling og analyse.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Installere og konfigurere Python og alle relevante pakker.
- Hente og parse data som er lagret på mange nettsteder.
- Forstå hvordan nettsteder fungerer og hvordan deres HTML er strukturert.
- Konstruere edderkopper for å krype på nettet i stor skala.
- Bruke Selenium til å krype AJAX-drevne websider.
Kursets format
- Interaktiv forelesning og diskusjon.
- Mange øvelser og praksis.
- Praktisk implementering i et live-lab-miljø.
Alternativer for tilpasning av kurset
- Dette kurset forutsetter kunnskap om programmering.
- For å be om en tilpasset opplæring for dette kurset, vennligst kontakt oss for å avtale.
Kursplan
Introduksjon
Sette opp utviklingsmiljøet
Python Primer: Datastrukturer, betingelser, filhåndtering, etc.
Python Pakker for nettskraping: Scrapy og BeautifulSoup
Hvordan en nettside fungerer
Hvordan HTML er strukturert
Lage en nettforespørsel
Skrape en HTML side
Arbeid med XPath og CSS
Filtrering av data ved bruk av vanlige Expressioner
Opprette en webcrawler
Gjennomgang av AJAX- og JavaScript-sider med Selenium.
Beste praksis for nettskraping
Feilsøking
Oppsummering og konklusjon
Krav
- Programming erfaring, helst i Python. Dersom deltakerne har programmeringserfaring i et annet språk enn Python, kan opplæringen utvides til å inkludere mer innledende øvelser i Python.
Publikum
- Utviklere
Open Training Courses require 5+ participants.
Web Scraping with Python Treningskurs - Booking
Web Scraping with Python Treningskurs - Enquiry
Web Scraping with Python - Consultancy Enquiry
Consultancy Enquiry
Testimonials (1)
Many different examples and topics has been covered, from basic investigation to login management and dynamic page management.
Daniele Tagliaferro - Creditsafe Italia Srl
Kurs - Web Scraping with Python
Upcoming Courses
Relaterte kurs
BDD with Python and Behave
7 timerThis instructor-led, live training begins with a discussion of BDD and how the Behave framework can be used to carry out BDD testing for web applications. Participants are given ample opportunity to interact with the instructor and peers while implementing the concepts and tactics learned in this hands-on, practice-based lab environment.
Ved slutten av denne opplæringen vil deltakerne ha en solid forståelse av BDD og Behave, samt nødvendig praksis for å implementere disse teknikkene og verktøyene i virkelige testscenarier.
Scaling Data Analysis with Python and Dask
14 timerDenne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot dataforskere og programvareingeniører som ønsker å bruke Dask med Python-økosystemet for å bygge, skalere og analysere store datasett.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Sett opp miljøet for å begynne å bygge stordatabehandling med Dask og Python.
- Utforsk funksjonene, bibliotekene, verktøyene og APIene som er tilgjengelige i Dask.
- Forstå hvordan Dask akselererer parallell databehandling i Python.
- Lær hvordan du skalerer Python-økosystemet (Numpy, SciPy og Pandas) ved hjelp av Dask.
- Optimaliser Dask-miljøet for å opprettholde høy ytelse ved håndtering av store datasett.
Data Analysis with Python, Pandas and Numpy
14 timerDenne instruktørledede, live opplæringskurset i Norge (online eller på sted) er rettet mot mellomnivåutviklere av Python og dataanalytikere som ønsker å forbedre ferdighetene sine i dataanalyse og datamanipulering ved bruk av Pandas og NumPy.
Ved avslutningen av denne opplæringen vil deltakerne kunne:
- Opprette en utviklingsmiljø som inkluderer Python, Pandas og NumPy.
- Lage en dataanalyseapplikasjon ved bruk av Pandas og NumPy.
- Utføre avansert datamanipulering, sortering og filtreringsoperasjoner.
- Utføre aggregatoperasjoner og analysere tidsrekker.
- Visualisere data ved bruk av Matplotlib og andre visualiseringsbiblioteker.
- Feilsøke og optimalisere dataanalysekoden sin.
FARM (FastAPI, React, and MongoDB) Full Stack Development
14 timerDenne instruktørledede, live-opplæringen i (online eller på stedet) er rettet mot utviklere som ønsker å bruke FARM (FastAPI, React og MongoDB)-stakken for å bygge dynamiske, høyytelses- og skalerbare nettapplikasjoner.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Sett opp det nødvendige utviklingsmiljøet som integrerer FastAPI, React og MongoDB. Forstå nøkkelkonseptene, funksjonene og fordelene med FARM-stakken. Lær hvordan du bygger REST APIer med FastAPI. Lær hvordan du designer interaktive applikasjoner med React. Utvikle, test og distribuer applikasjoner (front-end og back-end) ved å bruke FARM-stakken.
Developing APIs with Python and FastAPI
14 timerDenne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot utviklere som ønsker å bruke FastAPI med Python for å bygge, teste og distribuere RESTful APIer enklere og raskere.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Sette opp det nødvendige utviklingsmiljøet for å utvikle API-er med Python og FastAPI.
- Opprette API-er raskere og enklere ved hjelp av FastAPI-biblioteket.
- Lære hvordan man oppretter datamodeller og skjemaer basert på Pydantic og OpenAPI.
- Koble API-er til en database ved hjelp av SQLAlchemy.
- Implementere sikkerhet og autentisering i API-er ved hjelp av FastAPI-verktøyene.
- Bygge container-images og distribuere web-API-er til en sky-server.
Machine Learning with Python – 2 Days
14 timerMålet med dette kurset er å gi en grunnleggende kompetanse i å anvende Machine Learning metoder i praksis. Gjennom bruken av Python programmeringsspråket og dets ulike biblioteker, og basert på en rekke praktiske eksempler, lærer dette kurset hvordan du bruker de viktigste byggblokkene Machine Learning, hvordan du gjør datamodelleringsbeslutninger, tolker utgangene til algoritmene og validerer resultatene.
Vårt mål er å gi deg ferdighetene til å forstå og bruke de mest grunnleggende verktøyene fra verktøyboksen med tillit og unngå de vanlige tapene av Data Sciences applikasjoner.
Machine Learning with Python – 4 Days
28 timerMålet med dette kurset er å gi generell kompetanse i å anvende maskinlæringsmetoder i praksis. Gjennom bruk av programmeringsspråket Python og dets ulike biblioteker, og basert på en rekke praktiske eksempler, lærer dette kurset hvordan man bruker de viktigste byggesteinene i maskinlæring, hvordan man tar beslutninger om datamodellering, tolker utdataene fra algoritmer og validere resultatene.
Målet vårt er å gi deg ferdighetene til å forstå og bruke de mest grunnleggende verktøyene fra Machine Learning verktøykassen på en trygg måte og unngå de vanlige fallgruvene i Data Sciences-applikasjoner.
Accelerating Python Pandas Workflows with Modin
14 timerDenne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot dataforskere og utviklere som ønsker å bruke Modin til å bygge og implementere parallelle beregninger med Pandas for raskere dataanalyse.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Sett opp det nødvendige miljøet for å begynne å utvikle Pandas arbeidsflyter i skala med Modin.
- Forstå funksjonene, arkitekturen og fordelene ved Modin.
- Kjenn forskjellene mellom Modin, Dask og Ray.
- Utfør Pandas operasjoner raskere med Modin.
- Implementer hele Pandas API og funksjoner.
Python for Natural Language Generation (NLG)
21 timerI denne instruktørlede, live-treningen i Norge, vil deltakerne lære å bruke Python for å produsere høy kvalitet på naturlig språk tekst ved å bygge sitt eget NLG-system fra bunnen av. Tilfeller vil også bli undersøkt og de relevante konseptene vil bli brukt i live-laboratorieprosjekter for å generere innhold.
Ved avslutning av denne treningen vil deltakerne kunne:
- Bruke NLG for å automatisk generere innhold for forskjellige brancher, fra journalistikk, til eiendom, til vær- og idrettsrapportering.
- Velge og organisere kildemateriale, planlegge setninger, og forberede et system for automatisk generering av originalt innhold.
- Forstå NLG-pipeline og anvende riktige tekniker i hver fase.
- Forstå arkitekturen til et Natural Language Generation (NLG) system.
- Implementere de mest egnet algoritmer og modeller for analyse og ordning.
- Trekk data fra offentlig tilgjengelige datasider samt kuraterte databaser for å bruke som materiale for generert tekst.
- Erstatte manuelle og arbeidskrevende skriveprosesser med datamaskin-generert, automatisert innholdsproduksjon.
Unit Testing with Python
21 timerI denne instruktørledede, liveopplæringen i Norge vil deltakerne lære hvordan de bruker PyTest til å skrive korte, vedlikeholdbare tester som er elegante, uttrykksfulle og lesbare.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Skriv lesbare og vedlikeholdbare tester uten behov for boilerplate-kode.
- Bruk fixturmodellen til å skrive små tester.
- Skaler tester opp til kompleks funksjonstesting for applikasjoner, pakker og biblioteker.
- Forstå og bruk PyTest-funksjoner som kroker, påstå omskriving og plug-ins.
- Reduser testtiden ved å kjøre tester parallelt og på tvers av flere prosessorer.
- Kjør tester i et kontinuerlig integrasjonsmiljø, sammen med andre verktøy som tox, mock, coverage, unittest, doctest og Selenium.
- Bruk Python til å teste ikke-Python-applikasjoner.
Advanced Machine Learning with Python
21 timerI denne instruktørledede, live-opplæringen i Norge vil deltakerne lære de mest relevante og banebrytende maskinlæringsteknikkene i Python mens de bygger en serie demoapplikasjoner som involverer bilde, musikk, tekst og økonomiske data.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Implementer maskinlæringsalgoritmer og teknikker for å løse komplekse problemer.
- Bruk dyp læring og semi-veiledet læring på applikasjoner som involverer bilder, musikk, tekst og økonomiske data.
- Skyv Python algoritmer til deres maksimale potensial.
- Bruk biblioteker og pakker som NumPy og Theano.
Python: Automate the Boring Stuff
14 timerDenne instruktørledede, direkteopplæringen i Norge er basert på den populære boken, "Automatiser de kjedelige tingene med Python", av Al Sweigart. Den er rettet mot nybegynnere og dekker essensielle Python programmeringskonsepter gjennom praktiske, praktiske øvelser og diskusjoner. Fokuset er på å lære å skrive kode for å dramatisk øke kontorproduktiviteten.
Ved slutten av denne opplæringen vil deltakerne vite hvordan de skal programmere i Python og bruke denne nye ferdigheten for:
- Automatisere oppgaver ved å skrive enkle Python-programmer.
- Skrive programmer som kan gjenkjenne tekstmønstre ved hjelp av "regulære uttrykk".
- Programmatisk generere og oppdatere Excel-regneark.
- Parse PDF-er og Word-dokumenter.
- Krype nettsider og hente informasjon fra onlinekilder.
- Skrive programmer som sender e-postvarsler.
- Bruke Pythons feilsøkingsverktøy for raskt å løse feil.
- Programmatisk styre mus og tastatur for å klikke og skrive for deg.
Advanced Python - 4 Days
28 timerI denne instruktørledede, live-opplæringen i Norge vil deltakerne lære avanserte Python programmeringsteknikker, inkludert hvordan man bruker dette allsidige språket for å løse problemer innen områder som distribuerte applikasjoner, dataanalyse og visualisering, UI-programmering og vedlikeholdsskripting .
Python Programming - 4 days
28 timerDette kurset er designet for de som ønsker å lære seg programmeringsspråket Python . Vektleggingen ligger på Python språket, kjernebibliotekene, samt på utvelgelsen av de beste og mest nyttige bibliotekene utviklet av Python samfunnet. Python driver virksomheter og brukes av forskere over hele verden - det er et av de mest populære programmeringsspråk.
Kurset kan leveres ved hjelp av den nyeste Python versjon 3.x med praktiske øvelser som utnytter den fulle kraften. Dette kurset kan leveres på ethvert operativsystem (alle varianter av UNIX, inkludert Linux og Mac OS X, samt Microsoft Windows).
De praktiske øvelsene utgjør omtrent 70% av kurstiden, og rundt 30% er demonstrasjoner og presentasjoner. Diskusjoner og spørsmål kan stilles gjennom hele kurset.
Merk: Opplæringen kan tilpasses spesifikke behov etter forespørsel før den foreslåtte kursdatoen.
Test Automation with Selenium and Python
14 timerI denne instruktørledede, live-treningen i Norge-deltakere kombinerer kraften til Python med Selenium for å automatisere testingen av et eksempel på nettapplikasjonen. Ved å kombinere teori med praksis i et live lab-miljø, vil deltakerne få kunnskapen og praksisen som trengs for å automatisere sine egne netttestingsprosjekter ved hjelp av Python og Selenium.