关键要点
本章最重要的要点是，如果你想运行分布式爬虫，则应当使用合适的批次大小。
根据源网站的响应速度，你可能有数百、数千甚至数万个 URL。你会希望它们足够大，达到几分钟的级别，以便能够分摊启动成本。而另一方面，你又不希望它们过大，因为这将会使机器故障成为主要风险。在容错分布式系统中，你可以重试失败的批次，但你不会希望这将给你带来几个小时的工作量。
本章最重要的要点是，如果你想运行分布式爬虫，则应当使用合适的批次大小。
根据源网站的响应速度，你可能有数百、数千甚至数万个 URL。你会希望它们足够大，达到几分钟的级别，以便能够分摊启动成本。而另一方面，你又不希望它们过大，因为这将会使机器故障成为主要风险。在容错分布式系统中，你可以重试失败的批次，但你不会希望这将给你带来几个小时的工作量。