对每个请求使用假用户代理提供的随机用户代理

scrapy-fake-useragent-fix的Python项目详细描述


scrapy fake user agent fix
==
==

基于
`fake useragent<;https://pypi.python.org/pypi/fake useragent>;``的随机用户代理中间件。它从“真实世界数据库”http://useragentstring.com/>;中提取基于“用法”的“用户代理”字符串。`_.

安装
----

代码::python

downloader\u middlewares={
“scrapy.downloadermiddlewares.useragent.useragent middleware”:无,
“scrapy\u fake\u useragent.middleware.randomuseragentmiddleware”:400,
}



代码::python

downloader\u middleware={
'scrapy.contrib.downloadermiddleware.useragent.useragentmiddleware':无,
'scrapy\u fake\u useragent.middleware.randomuseragentmiddleware':400,
}


``支持random``,``chrome`,``firefox`,``safari`,``internetexplorer`。如果您想从特定的设备类型中选择,您可以在浏览类型之前使用设备前缀,例如“桌面、Chrome”、“Mobile Chrome”、仅支持“桌面”、“移动”、“PAND”等。
BR/>使用“垃圾代理”
--------------BR/> BR/>与“随机代理”等“随机代理”一起使用。http://GITHUB.COM/AIVARSK/FLASY代理>,您需要:
BR/> 1。将“random-uau-per-proxy”设置为true,以允许每个代理切换


2。设置“ReaveServer代理中间件”的优先级大于“Frasy代理”,以便代理在句柄UA
BR/> BR/>之前设置。| github版本image::https://badge.fury.io/gh/alecxe%2fscrapy fake useragent.svg
:目标:http://badge.fury.io/gh/alecxe%2fscrapy fake useragent
。|需求状态图像::https://requires.io/github/alecxe/scrapy-fake-useragent/requirements.svg?branch=master
:目标:https://requires.io/github/alecxe/scrapy-fake-useragent/requirements/?branch=master

您可以将其设置为字符串值,例如“mozilla”或“您最喜爱的浏览器”,此配置可以完全禁用任何恼人的异常。




欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java Android使用两个后台服务错误   解压缩HTTPInputStream时,java GZIPInputStream过早关闭   javax和javax的区别是什么。网ssl。密钥库和服务器。ssl。为SpringBoot应用程序指定密钥库时的密钥库属性   java生成两个JPanel,而我只需要一个   java深度链接从play store安装应用程序时获取数据   java 安卓应用程序在退出时未正确释放蓝牙   java正确使用setCellValueFactory   java开放JdbcTemplate连接处于只读模式?   使用Spring MVC创建服务时发生java错误   JavaFX获取安装在计算机中的特定应用程序的版本   SecureRandom的安全问题:PRNG在java 1.5中不一致   windows我可以创建一个独立的。带Inno设置的Java应用程序的exe安装程序?   如何使用JavaServlet下载csv文件?   java从生成的缓冲图像中添加图像作为jasper中的数据记录?   java日期和时间解析