第 6 章 异步爬虫

我们知道爬虫是 IO 密集型任务，例如使用 requests 库来爬取某个站点，当发出一个请求后，程序必须等待网站返回响应，才能接着运行，而在等待响应的过程中，整个爬虫程序是一直在等待的，实际上没有做任何事情。对于这种情况，我们有没有优化方案呢?

当然有，本章我们就来了解一下异步爬虫的基本概念和实现。