Pyppeteer爬取实战

在 7.3 节,我们了解了 Pyppeteer 的基本用法,和 Selenium 相比,它确实有很多方便之处。

本节我们就使用 Pyppeteer 改写 7.5 节的爬取实现,来体会 Pyppeteer 和 Selenium 之间的不同,同时加强对 Pyppeteer 的理解和掌握。

爬取目标

本节工作

准备工作

爬取列表页

爬取详情页

数据存储

问题排查

无头模式

总结

本节我们通过实例讲解了使用 Pyppeteer 爬取一个完整网站的过程,相信大家会进一步掌握 Pyppeteer 的使用。