Web scraping med Python Treningskurs
Web scraping er en teknikk for å hente data fra et nettsted og lagre det i en lokal fil eller database.
Dette instruktørledede, live-treningen (online eller på stedet) er rettet mot utviklere som ønsker å bruke Python til å automatisere prosessen med å krybe gjennom mange nettsteder for å hente data for behandling og analyse.
Ved treningens slutt vil deltakerne kunne:
- Installere og konfigurere Python og alle relevante pakker.
- Hente og tolke data lagret på mange ulike nettsteder.
- Føre forståelse for hvordan nettsteder fungerer og hvordan deres HTML er strukturert.
- Lage kryper som kan krybe gjennom nettet i stor skala.
- Bruke Selenium til å krype gjennom AJAX-drevne nettsider.
Kursformat
- Interaktiv forelesning og diskusjon.
- Masse øvelser og praksis.
- Håndig implementering i et live-lab-miljø.
Tilpassingsmuligheter for kurset
- Dette kurset antar kunnskap om programmering.
- For å be om en tilpasset trening for dette kurset, vennligst kontakt oss for å organisere det.
Kursplan
Innledning
Oppsett av utviklingsmiljø
Python-grunnleggende: Datastrukturer, betingelser, filhåndtering, etc.
Python-pakker for web scraping: Scrapy og BeautifulSoup
Hvordan et nettsted fungerer
Hvordan HTML er strukturert
Gjøre en nettforespørsel
Krype gjennom en HTML-side
Arbeid med XPath og CSS
Filtrere data ved hjelp av regulære uttrykk
Lage en webkryper
Krype gjennom AJAX-og JavaScript-nettsider med Selenium.
Beste praksis for web scraping
Felsøking
Sammendrag og konklusjon
Krav
- Kunnskap om programmering, foretrukket i Python. Hvis deltakerne har programmerings erfaring med et annet språk enn Python, kan treningen utvides til å inkludere flere innføringsover øvelser i Python.
Målgruppe
- Utviklere
Åpne kurs krever 5+ deltakere.
Web scraping med Python Treningskurs - Bestilling
Web scraping med Python Treningskurs - Forespørsel
Web scraping med Python - Konsulentforespørsel
Konsulentforespørsel
Referanser (1)
Many different examples and topics has been covered, from basic investigation to login management and dynamic page management.
Daniele Tagliaferro - Creditsafe Italia Srl
Kurs - Web Scraping with Python
Kommende kurs
Relaterte kurs
Skalering av Dataanalyse med Python og Dask
14 timerDenne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot dataforskere og programvareingeniører som ønsker å bruke Dask med Python-økosystemet for å bygge, skalere og analysere store datasett.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Sett opp miljøet for å begynne å bygge stordatabehandling med Dask og Python.
- Utforsk funksjonene, bibliotekene, verktøyene og APIene som er tilgjengelige i Dask.
- Forstå hvordan Dask akselererer parallell databehandling i Python.
- Lær hvordan du skalerer Python-økosystemet (Numpy, SciPy og Pandas) ved hjelp av Dask.
- Optimaliser Dask-miljøet for å opprettholde høy ytelse ved håndtering av store datasett.
Data Analysis with Python, Pandas and Numpy
14 timerDenne instruktørledede, live opplæringskurset i Norge (online eller på sted) er rettet mot mellomnivåutviklere av Python og dataanalytikere som ønsker å forbedre ferdighetene sine i dataanalyse og datamanipulering ved bruk av Pandas og NumPy.
Ved avslutningen av denne opplæringen vil deltakerne kunne:
- Opprette en utviklingsmiljø som inkluderer Python, Pandas og NumPy.
- Lage en dataanalyseapplikasjon ved bruk av Pandas og NumPy.
- Utføre avansert datamanipulering, sortering og filtreringsoperasjoner.
- Utføre aggregatoperasjoner og analysere tidsrekker.
- Visualisere data ved bruk av Matplotlib og andre visualiseringsbiblioteker.
- Feilsøke og optimalisere dataanalysekoden sin.
FARM (FastAPI, React, and MongoDB) Full Stack Utvikling
14 timerDenne instruktørledede, live opplæringen (online eller på stedet) er rettet mot utviklere som ønsker å bruke FARM-stakken (FastAPI, React, og MongoDB) til å bygge dynamiske, høyytelsesfulle og skalerbare webapplikasjoner.
Ved avslutningen av denne opplæringen vil deltakerne kunne:
- Sette opp den nødvendige utviklingsmiljøet som integrerer FastAPI, React, og MongoDB.
- Forstå de viktige konsepter, egenskapene og fordelene ved FARM-stakken.
- Lære å bygge REST-APIer med FastAPI.
- Lære å designe interaktive applikasjoner med React.
- Utvikle, teste og distribuere applikasjoner (front-end og back-end) ved hjelp av FARM-stakken.
Utvikling av API-er med Python og FastAPI
14 timerDenne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot utviklere som ønsker å bruke FastAPI med Python for å bygge, teste og distribuere RESTful APIer enklere og raskere.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Sette opp det nødvendige utviklingsmiljøet for å utvikle API-er med Python og FastAPI.
- Opprette API-er raskere og enklere ved hjelp av FastAPI-biblioteket.
- Lære hvordan man oppretter datamodeller og skjemaer basert på Pydantic og OpenAPI.
- Koble API-er til en database ved hjelp av SQLAlchemy.
- Implementere sikkerhet og autentisering i API-er ved hjelp av FastAPI-verktøyene.
- Bygge container-images og distribuere web-API-er til en sky-server.
Maskinlæring med Python – 2 Dager
14 timerMålet med dette kurset er å gi en grunnleggende kompetanse i å anvende Machine Learning metoder i praksis. Gjennom bruken av Python programmeringsspråket og dets ulike biblioteker, og basert på en rekke praktiske eksempler, lærer dette kurset hvordan du bruker de viktigste byggblokkene Machine Learning, hvordan du gjør datamodelleringsbeslutninger, tolker utgangene til algoritmene og validerer resultatene.
Vårt mål er å gi deg ferdighetene til å forstå og bruke de mest grunnleggende verktøyene fra verktøyboksen med tillit og unngå de vanlige tapene av Data Sciences applikasjoner.
Maskinlæring med Python – 4 Dager
28 timerMålet med dette kurset er å gi generell kompetanse i å anvende maskinlæringsmetoder i praksis. Gjennom bruk av programmeringsspråket Python og dets ulike biblioteker, og basert på en rekke praktiske eksempler, lærer dette kurset hvordan man bruker de viktigste byggesteinene i maskinlæring, hvordan man tar beslutninger om datamodellering, tolker utdataene fra algoritmer og validere resultatene.
Målet vårt er å gi deg ferdighetene til å forstå og bruke de mest grunnleggende verktøyene fra Machine Learning verktøykassen på en trygg måte og unngå de vanlige fallgruvene i Data Sciences-applikasjoner.
Accelerating Python Pandas Workflows with Modin
14 timerDenne instruktørledede, live-opplæringen i Norge (online eller på stedet) er rettet mot dataforskere og utviklere som ønsker å bruke Modin til å bygge og implementere parallelle beregninger med Pandas for raskere dataanalyse.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Sett opp det nødvendige miljøet for å begynne å utvikle Pandas arbeidsflyter i skala med Modin.
- Forstå funksjonene, arkitekturen og fordelene ved Modin.
- Kjenn forskjellene mellom Modin, Dask og Ray.
- Utfør Pandas operasjoner raskere med Modin.
- Implementer hele Pandas API og funksjoner.
Python for Natural Language Generation (NLG)
21 timerI denne instruktørlede, live-treningen i Norge, vil deltakerne lære å bruke Python for å produsere høy kvalitet på naturlig språk tekst ved å bygge sitt eget NLG-system fra bunnen av. Tilfeller vil også bli undersøkt og de relevante konseptene vil bli brukt i live-laboratorieprosjekter for å generere innhold.
Ved avslutning av denne treningen vil deltakerne kunne:
- Bruke NLG for å automatisk generere innhold for forskjellige brancher, fra journalistikk, til eiendom, til vær- og idrettsrapportering.
- Velge og organisere kildemateriale, planlegge setninger, og forberede et system for automatisk generering av originalt innhold.
- Forstå NLG-pipeline og anvende riktige tekniker i hver fase.
- Forstå arkitekturen til et Natural Language Generation (NLG) system.
- Implementere de mest egnet algoritmer og modeller for analyse og ordning.
- Trekk data fra offentlig tilgjengelige datasider samt kuraterte databaser for å bruke som materiale for generert tekst.
- Erstatte manuelle og arbeidskrevende skriveprosesser med datamaskin-generert, automatisert innholdsproduksjon.
Avansert maskinlæring med Python
21 timerI denne instruktørflytede, live-treningen i Norge, vil deltakerne lære de mest relevante og moderne maskinlæringsmetoder i Python mens de bygger en rekke demoprogrammer som involverer bilder, musikk, tekst og finansiell data.
Etter denne treningen vil deltakerne kunne:
- Implementere maskinlæringsalgoritmer og teknikker for å løse komplekse problemer.
- Bruke dyp læring og semi-supervised læring på program som involverer bilder, musikk, tekst og finansiell data.
- Puste liv i Python-algoritmene deres til det ytterste.
- Bruk biblioteker og pakker som NumPy og Theano.
Python: Automatiser det kjedelige
14 timerDenne instruktørledede, direkteopplæringen i Norge er basert på den populære boken, "Automatiser de kjedelige tingene med Python", av Al Sweigart. Den er rettet mot nybegynnere og dekker essensielle Python programmeringskonsepter gjennom praktiske, praktiske øvelser og diskusjoner. Fokuset er på å lære å skrive kode for å dramatisk øke kontorproduktiviteten.
Ved slutten av denne opplæringen vil deltakerne vite hvordan de skal programmere i Python og bruke denne nye ferdigheten for:
- Automatisere oppgaver ved å skrive enkle Python-programmer.
- Skrive programmer som kan gjenkjenne tekstmønstre ved hjelp av "regulære uttrykk".
- Programmatisk generere og oppdatere Excel-regneark.
- Parse PDF-er og Word-dokumenter.
- Krype nettsider og hente informasjon fra onlinekilder.
- Skrive programmer som sender e-postvarsler.
- Bruke Pythons feilsøkingsverktøy for raskt å løse feil.
- Programmatisk styre mus og tastatur for å klikke og skrive for deg.
Python-programmering for finans
35 timerPython er et programmeringsspråk som har vunnet stor popularitet i finansielle bransjen. Anvendt av de største investeringsbankene og hedgefondene, blir det brukt til å bygge en rekke finansielle applikasjoner, fra kjernehandelsprogrammer til risikostyringssystemer.
I dette instruktørførte, live-treningen vil deltakerne lære hvordan man bruker Python til å utvikle praktiske applikasjoner for å løse en rekke spesifikke finansielle problemer.
Etter denne treningen vil deltakerne kunne:
- Føre vell med grunnleggende prinsipper i Python-programmeringsspråket
- Last ned, installere og vedlikeholde beste utviklingsverktøy for å skape finansielle applikasjoner i Python
- Velge og bruke de mest egnete Python-pakker og programmeringsteknikker til å organisere, visualisere og analysere finansiell data fra ulike kilder (CSV, Excel, databaser, nettet osv.)
- Bygge applikasjoner som løser problemer relatert til eierskapsfordeling, risikanalyse, investeringsprestasjon og mer
- Felsøke, integrere, distribuere og optimalisere en Python-applikasjon
Målgruppe
- Utviklere
- Analytikere
- Kvantitativ analytikkere (Quants)
Kursformat
- Del forelesning, del diskusjon, øvelser og mye praktisk arbeid
Merk
- Dette treningen har til hensikt å gi løsninger for noen av de viktigste problemene finansprofesjonelle møter. Hvis du har et bestemt emne, verktøy eller teknikk som du ønsker å legge til eller utdype mer på, vennligst kontakt oss for å arrange.
Avansert Python - 4 Dager
28 timerI denne instruktørledede, live-opplæringen i Norge vil deltakerne lære avanserte Python programmeringsteknikker, inkludert hvordan man bruker dette allsidige språket for å løse problemer innen områder som distribuerte applikasjoner, dataanalyse og visualisering, UI-programmering og vedlikeholdsskripting .
Python-programmering - 4 dager
28 timerDenne kursen er ment for de som ønsker å lære Python-programmeringsspråket. Fokuset er på Python-språket, kjernebibliotekene, samt valget av de beste og mest nyttige bibliotekene utviklet av Python-communityet. Python driver bedrifter og brukes av vitenskapsfolk over hele verden – det er et av de mest populære programmeringsspråkene.
Kurset kan leveres med den nyeste Python-versjonen 3.x med praktiske øvelser som utnytter full makt. Denne kurset kan leveres på ethvert operativsystem (alle smaker av UNIX, inkludert Linux og Mac OS X, samt Microsoft Windows).
De praktiske øvelsene utgjør omtrent 70% av kursetiden, og rundt 30% er demonstrasjoner og presentasjoner. Diskusjoner og spørsmål kan stilles gjennom hele kurset.
Merknad: opplæringen kan tilpasses spesielle behov på forhånd etter forespørsel før kursdatoen.
Test Automation med Selenium og Python
14 timerSelenium er en åpen kildekode rammeverk for å automatisere testing av nettapplikasjoner over ulike nettlesere. Med Selenium 4 er forbedrede WebDriver APIs, native relative locators og forbedret grid-støtte tilgjengelig. Python tilbyr enkelhet og sterk integrasjon med testrammeverk som Pytest, noe som gjør det til et kraftig valg for å utvikle skalerbare og vedlikeholdbare testautomatiseringsløsninger.
Denne instruktørledede, live-trainingen (online eller på sted) er rettet mot testere og utviklere på begynnernivå til mellomnivå som ønsker å bruke Selenium med Python for å automatisere testing av nettapplikasjoner i virkelige miljøer.
Ved kursets slutt vil deltakerne kunne:
- Installere og konfigurere Selenium med Python i en testmiljø.
- Bygge robuste testautomatiseringsskripter ved hjelp av Selenium WebDriver og Pytest.
- Bruke Page Object Model (POM) for vedlikeholdbare testrammeverk.
- Kjøre tester over flere nettlesere med Selenium Grid.
- Integrere automatiserte tester med CI/CD-rør.
- Feilsøke vanlige problemer og bruke beste praksis for automatiseringsstabilitet.
Kursformat
- Interaktiv forelesning og diskusjon.
- Mange øvelser og praktisk trening.
- Hånd på implementering i en live-lab-miljø.
Kurskustomiseringsalternativer
- For å be om en tilpasset opplæring for dette kurset, vennligst kontakt oss for å avtale.
Tekstsammanfattning med Python
14 timerI Python Machine Learning er funksjonen for tekstoppsummering i stand til å lese inndatatekst og produsere et tekstsammendrag. Denne funksjonen er tilgjengelig fra kommandolinjen eller som et Python API/bibliotek. En spennende anvendelse er rask opprettelse av sammendrag for ledelsen; dette er spesielt nyttig for organisasjoner som trenger å gjennomgå store mengder tekstdata før de genererer rapporter og presentasjoner.
I denne instruktørledede, live-opplæringen vil deltakerne lære å bruke Python til å lage en enkel applikasjon som automatisk genererer et sammendrag av inndatatekst.
Ved slutten av denne opplæringen vil deltakerne kunne:
- Bruke et kommandolinjeverktøy som oppsummerer tekst.
- Designe og lage tekstoppsummeringskode ved hjelp av Python-biblioteker.
- Evaluere tre Python-oppsummeringsbiblioteker: sumy 0.7.0, pysummarization 1.0.4, readless 1.0.17
Publikum
- Utviklere
- Dataforskere
Format på kurset
- Del forelesning, del diskusjon, øvelser og tung praktisk praksis