Scrapy - 为一个主机使用多个IP地址

Question

我在文档和StackOverflow上找不到跟我问题相关的内容。简单来说，我正在爬取一个有大约8个子域名的网站。它们都在使用Akamai/CDN。我的问题是，如果我能找到几个不同Akamai数据中心的IP地址，我是否可以明确指定某个子域名使用这个IP作为主机名等等？也就是说，能否覆盖自动的DNS解析……这样做可以提高效率，我想也不容易被限制，因为我会分散爬取的负担。

谢谢

Answer 1

你可以手动在你的 hosts 文件中设置 DNS 名称。在 Windows 系统中，这个文件的位置是 C:\Windows\System32\Drivers\etc\hosts，而在 Linux 系统中，它的位置是 /etc/hosts。