代理你的蜘蛛在银河系爬行。
ProxyYourSpider的Python项目详细描述
简介
被网站禁止真的很烦人。考虑到Interent上可用的免费代理IP通常很难使用。这个项目的目的是提供一个库,蜘蛛程序员可以很容易地伪造他们蜘蛛的IP。
功能
从X{A4}起的PROYYULY蜘蛛夹子代理。启动时,参数用户输入将决定代理服务器的数量。所有非匿名或超时超过2秒的代理都将被踢出。
当可用代理小于给定阈值时,P>Run.Py保持生存并更新代理池,从而显著提高代理池的稳定性。要获取代理,只需调用fetchproxy方法并提供代理类型,您将获得一个体面的代理,该代理在发送给您之前已经过验证:)
用法
通常,您只需要调用fetchproxy方法就可以得到您想要的代理。
但是,您应该记住run.py应该首先执行,并在使用proxyyourspider时保持活动状态。
只需执行run.py,如下所示:
$ python run.py 20
这里是您需要代理的数量。
另一件值得一提的事情是run.py在使用proxyyourspide时应该保持活力。它将持续检查代理服务器池中可用代理是否足够。
注意:您还需要保持ReiSe的存在,因为它是我们存储代理的数据库。要求
- python 2.7版
- redis
- 请求
- 美化组
- 适用于Linux、Mac OSX、Windows、BSD
安装
$ git clone https://github.com/Rafael-Cheng/ProxyYourSpider.git
或者直接下载zip。
$ pip install ProxyYourSpider
许可证
此项目的许可证是GPL许可证。