ruia_ua-用于ruia的简单用户代理中间件。
ruia-ua的Python项目详细描述
ruia ua
用于Ruia
的简单用户代理中间件安装
pip install -U ruia-ua
使用量
ruia-ua将自动为您的请求的headers随机User-Agent
fromruiaimportAttrField,TextField,Item,Spiderfromruia_uaimportmiddlewareclassHackerNewsItem(Item):target_item=TextField(css_select='tr.athing')title=TextField(css_select='a.storylink')url=AttrField(css_select='a.storylink',attr='href')classHackerNewsSpider(Spider):start_urls=['https://news.ycombinator.com/news?p=1','https://news.ycombinator.com/news?p=2']asyncdefparse(self,response):# Do something...print(response.html)if__name__=='__main__':HackerNewsSpider.start(middleware=middleware)
享受吧：）
欢迎加入QQ群-->： 979659372
