将不同IP地址绑定到Scrapy爬虫

Question

我该怎么把不同的公网IP地址绑定到scrapy爬虫上呢？而且，是否可以为每个源IP设置请求速率限制（比如说，CONCURRENT_REQUESTS_PER_SOURCE_IP）？

根据scrapy的文档，CONCURRENT_REQUESTS_PER_DOMAIN和CONCURRENT_REQUESTS_PER_IP似乎都是针对目标域名和目标IP的。

Answer 1

这是可能的，但你需要稍微修改一下Scrapy的核心部分。之前有人提出过一个修改建议，但看起来这个建议并没有被采纳。

根据这个修改建议中的信息，你应该能在几分钟内自己动手修补一下。

虽然这个修改建议已经有超过1年半的时间了，但目前相关文件的源代码还是和当初差不多。