代理你的蜘蛛在银河系爬行。

ProxyYourSpider的Python项目详细描述


https://img.shields.io/aur/license/yaourt.svghttps://img.shields.io/badge/python-2.7-green.svghttps://img.shields.io/maintenance/yes/2017.svg

简介

被网站禁止真的很烦人。考虑到Interent上可用的免费代理IP通常很难使用。这个项目的目的是提供一个库,蜘蛛程序员可以很容易地伪造他们蜘蛛的IP。

功能

从X{A4}起的PROYYULY蜘蛛夹子代理。启动时,参数用户输入将决定代理服务器的数量。所有非匿名或超时超过2秒的代理都将被踢出。

当可用代理小于给定阈值时,P>Run.Py保持生存并更新代理池,从而显著提高代理池的稳定性。

要获取代理,只需调用fetchproxy方法并提供代理类型,您将获得一个体面的代理,该代理在发送给您之前已经过验证:)

用法

通常,您只需要调用fetchproxy方法就可以得到您想要的代理。

https://github.com/Rafael-Cheng/ProxyYourSpider/blob/master/usage.gif

但是,您应该记住run.py应该首先执行,并在使用proxyyourspider时保持活动状态。

只需执行run.py,如下所示:

$ python run.py 20

这里是您需要代理的数量。

https://github.com/Rafael-Cheng/ProxyYourSpider/blob/master/run_launch.png

另一件值得一提的事情是run.py在使用proxyyourspide时应该保持活力。它将持续检查代理服务器池中可用代理是否足够。

https://github.com/Rafael-Cheng/ProxyYourSpider/blob/master/run_update.png 注意:您还需要保持ReiSe的存在,因为它是我们存储代理的数据库。

https://github.com/Rafael-Cheng/ProxyYourSpider/blob/master/redis.png

要求

  • python 2.7版
  • redis
  • 请求
  • 美化组
  • 适用于Linux、Mac OSX、Windows、BSD

安装

$ git clone https://github.com/Rafael-Cheng/ProxyYourSpider.git

或者直接下载zip。

$ pip install ProxyYourSpider

许可证

此项目的许可证是GPL许可证。

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java通过Spring MVC web应用程序向客户端发送文本文件   java是否可以在运行时动态实例化DAO类?   调用VB。来自Java的net函数   java在Android中通过单击打开特定文件夹   java如何使用maven pom。xml标识非标准项目结构中的testng测试用例?   java为什么FOP在大文件上崩溃?   Architecture python+flask和spring boot+java   java Kafka工具根本没有启动Ubuntu 19.10   如何使用Eclipse运行Java USB API for Windows   java如何在Eclipse中查看J2EE预览服务器/容器的日志/控制台?   网页抓取是否可以使用Java crawler crawler4j暂停和恢复抓取?   java当我第二次按下按钮时,应用程序停止工作   带有偏移量和限制的java SQLite分页问题   java如何在OSX mavericks中将端口80转发到8080   java从泛型方法调用非泛型方法   java My代码未按预期工作。十进制输出不是它应该的样子   节点。java中的js加密(jasypt)和nodejs中的解密   java乘法表不工作数组索引超出范围   java将JDBC与Firebirdsql连接起来