如何抓取https页面？

2 投票

1 回答

10915 浏览

提问于 2025-04-18 05:02

我正在用一个Python脚本，配合'lxml'和'requests'库来抓取网页。我的目标是从网页上获取一个元素并下载它，但这个内容在一个HTTPS页面上，当我尝试访问页面里的东西时出现了错误。我知道可能需要一些证书或认证信息，但我一直找不到合适的资料。我使用的是：

page = requests.get("https://[example-page.com]", auth=('[username]','[password]'))

而出现的错误是：

requests.exceptions.SSLError: [Errno 185090050] _ssl.c:340: error:0B084002:x509 certificate routines:X509_load_cert_crl_file:system lib

lxml https 网页抓取 requests 证书认证

1 个回答

在GET请求中加上 verify=False 就能解决这个问题。

page = requests.get("https://[example-page.com]", auth=('[username]','[password]'), verify=False)

回答于 2025-04-18 由 Python大师

分享举报