我如何刮一个https页面？

Question

我正在使用一个带有'lxml'和'requests'的python脚本来抓取网页。我的目标是从一个页面中获取一个元素并下载它，但是内容在一个HTTPS页面上，当我试图访问页面中的内容时遇到了一个错误。我肯定有一些证书或认证我必须包括在内，但我正在努力寻找正确的资源。我用的是：

page = requests.get("https://[example-page.com]", auth=('[username]','[password]'))

错误是：

requests.exceptions.SSLError: [Errno 185090050] _ssl.c:340: error:0B084002:x509 certificate routines:X509_load_cert_crl_file:system lib

Answer 1

向GET请求添加verify=False可以解决这个问题。

page = requests.get("https://[example-page.com]", auth=('[username]','[password]'), verify=False)