Python中文
首页
教程
问答
标签
搜索
登录
注册
Scrapy fram的代理IP
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我正在使用Python和Scrapy框架开发一个web爬行项目。它从电子商务购物网站上抓取大约10万个网页。整个项目运行良好,但在将代码从测试服务器移动到生产服务器之前,我希望选择一个更好的代理ip提供程序服务,这样我就不必担心我的<strong>ip阻塞</strong>或拒绝网站访问我的蜘蛛。</p> <p>到目前为止,我在Scrapy中使用中间件从各种网站的免费代理ip列表中手动旋转ip <a href="http://hidemyass.com/proxy-list/">like this</a></p> <p>现在我对我应该选择的选项感到困惑</p> <ol> <li><p>从<a href="http://www.ninjasproxy.com/">http://www.ninjasproxy.com/</a>或<a href="http://hidemyass.com/">http://hidemyass.com/</a>购买高级代理列表</strong></li> <li><p>使用<strong><a href="http://www.torproject.org.in/">TOR</a></strong></p></li> <li><p>使用VPN服务</strong>就像<a href="http://www.hotspotshield.com/">http://www.hotspotshield.com/</a></p></li> <li><p>任何比以上三个选项更好的选项</p></li> </ol>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p><a href="http://scrapinghub.com/crawlera/" rel="noreferrer">Crawlera</a>是专门为web爬网项目构建的。例如,它实现了智能算法,以避免被禁止,并用于抓取非常大和知名度很高的网站。</p> <p>免责声明:我为母公司工作,也是Scrapy的核心开发人员。</em></p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
如果给定字符串与字典中的键值匹配,如何返回键
5 回答
如果给定字符串与字典中的键匹配,如何返回键的值
10 回答
如果给定字符串与某些格式不匹配,将引发哪个异常?
6 回答
如果给定存储库和修订号#/revision ID,我可以使用什么Bzr函数返回分支位置?
9 回答
如果给定开始和结束版本号,是否有bzrlib函数将返回所有虚线版本号?
8 回答
如果给定日期差(天)中不存在值,Python将删除ID行
3 回答
如果给定时间来源,如何将日期时间从十进制转换为“%y%m%d%H:%m:%S”?
10 回答
如果给定条件,如何计算欧氏距离?
6 回答
如果给定极限,如何在极限处停止循环。如何返回带有附加值的新列表?
3 回答
如果给定查询的lis没有找到记录,Django将返回none对象
5 回答
如果给定点和每个点之间的距离(测向纬度, 液化天然气)小于或等于0.1km
1 回答
如果给定的字符串与字典中的keys值匹配,如何返回字符串中的多个键
8 回答
如果给定的数字是列表中存在的两个不同数字的总和(仅在一次过程中),如何返回“True”?
6 回答
如果给定的数据在R或Python的范围(1到1)内,如何规范化格式(3、2、1、0、1、2、3)的数据?
6 回答
如果给定的日期是本月的最后一天,如何增加月数?
9 回答
如果给定的是像素值而不是坐标值,如何将灰度像素值更改为彩色值
6 回答
如果给定的条件为真,如何打开窗口?
4 回答
如果给定的键和值与字典列表中的匹配,则获取所有字典
10 回答
如果给定相同的名称,python类中的属性值会改变吗?
10 回答
如果给定空列表,则返回“0”
10 回答