In [2]: requests.get("http://www.azlyrics.com/u/urban.html")
...
ConnectionError: ('Connection aborted.', BadStatusLine("''",))
In [3]: requests.get("http://www.azlyrics.com/u/urban.html", headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.75 Safari/537.36'})
Out[3]: <Response [200]>
可以有differentreasonsfor this kind of error,但在这种特殊情况下,这看起来像是一个简单的web抓取检测-它可以通过提供一个假装为真正的浏览器的用户代理头来解决:
相关问题 更多 >
编程相关推荐