对每个请求使用假用户代理提供的随机用户代理

scrapy-fake-useragent-fix的Python项目详细描述


scrapy fake user agent fix
==
==

基于
`fake useragent<;https://pypi.python.org/pypi/fake useragent>;``的随机用户代理中间件。它从“真实世界数据库”http://useragentstring.com/>;中提取基于“用法”的“用户代理”字符串。`_.

安装
----

代码::python

downloader\u middlewares={
“scrapy.downloadermiddlewares.useragent.useragent middleware”:无,
“scrapy\u fake\u useragent.middleware.randomuseragentmiddleware”:400,
}



代码::python

downloader\u middleware={
'scrapy.contrib.downloadermiddleware.useragent.useragentmiddleware':无,
'scrapy\u fake\u useragent.middleware.randomuseragentmiddleware':400,
}


``支持random``,``chrome`,``firefox`,``safari`,``internetexplorer`。如果您想从特定的设备类型中选择,您可以在浏览类型之前使用设备前缀,例如“桌面、Chrome”、“Mobile Chrome”、仅支持“桌面”、“移动”、“PAND”等。
BR/>使用“垃圾代理”
--------------BR/> BR/>与“随机代理”等“随机代理”一起使用。http://GITHUB.COM/AIVARSK/FLASY代理>,您需要:
BR/> 1。将“random-uau-per-proxy”设置为true,以允许每个代理切换


2。设置“ReaveServer代理中间件”的优先级大于“Frasy代理”,以便代理在句柄UA
BR/> BR/>之前设置。| github版本image::https://badge.fury.io/gh/alecxe%2fscrapy fake useragent.svg
:目标:http://badge.fury.io/gh/alecxe%2fscrapy fake useragent
。|需求状态图像::https://requires.io/github/alecxe/scrapy-fake-useragent/requirements.svg?branch=master
:目标:https://requires.io/github/alecxe/scrapy-fake-useragent/requirements/?branch=master

您可以将其设置为字符串值,例如“mozilla”或“您最喜爱的浏览器”,此配置可以完全禁用任何恼人的异常。




欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
Android深度链接的java模式匹配   jstl在JSP中添加外部资源(CSS/JavaScript/images等)   Java开关环路中断故障   java Appengine通道API开发服务器vs生产   java断言等于Junit中的两个列表   java用“真实数据”建立测试系统   Java中使用番石榴BiMap的词典   java试图在圆周上绘制位图,在实现中找到一些偏移   json Java curl响应   java使用hibernate或JPA获取过程输出的列名   java从Android移动应用程序获取电话号码   java访问嵌套的JsonNode元素,并用逗号分隔   未使用注释的java未经检查或不安全操作   控制台中的java输出为空   java使用Android应用程序的自定义适配器将项目动态添加到列表视图   java如何解决对接口中静态方法的需求?   尝试从其他活动调用数组字符串时发生java错误   仅设备上的java Android NDK致命信号11(SIGSEGV)