Flaptekst

Handig om te weten: van dit boek is een webversie beschikbaar. Als u zich registreert, krijgt u gratis toegang, plus relevante extra's.

Programmeren is magie, maar webscrapen is een vorm van tovenarij. Met een eenvoudig geautomatiseerd programma kunt u webservers bevragen, gegevens ophalen en analyseren om daar de benodigde informatie uit te halen. De uitgebreide editie van dit praktische boek laat u niet alleen kennismaken met webscrapen, maar is tevens een gids voor het scrapen van bijna alle soorten gegevens van het moderne web.

In deel I concentreren we ons op de techniek van het webscrapen met behulp van Python om informatie van een webserver op te vragen. We gaan hier dieper in op de afhandeling van de serverrespons en een geautomatiseerde manier om met sites te communiceren. In deel II onderzoeken we een aantal specifiekere tools en toepassingen die geschikt zijn voor elk webscrapescenario waar u waarschijnlijk mee te maken krijgt.


Ontleden van gecompliceerde HTML-pagina's
Ontwikkelen van crawlers met het Scrapy-framework
Opslagmethoden voor gescrapete gegevens
Documenten lezen en daar gegevens aan onttrekken
Opschonen en normaliseren van slecht geformatteerde gegevens
Natuurlijke talen lezen en schrijven
Door formulieren en log-ins crawlen
JavaScript scrapen en door APl's crawlen
Afbeelding-naar-tekstsoftware schrijven en gebruiken
Scrapevalkuilen en botblokkers vermijden
Uw website testen met scrapers


Dankzij de tools en voorbeelden in dit boek kon ik meerdere zich herhalende taken gemakkelijker automatiseren zodat ik meer tijd over had voor interessantere problemen. Het is een resultaatgericht, goed leesbaar boek dat diep geworteld is in echte problemen en oplossingen.


Eric VanWyk, Electrical Computer Engineer, Olin College of Engineering


Trefwoorden: webscraping webscrapen python programmeren crawlers html javascript scrapen back-end development handleiding