尝试下载时拒绝访问焦油.gz文件使用请求

2024-04-23 16:40:21 发布

您现在位置:Python中文网/ 问答频道 /正文

我有一个非常多的网址,每个指向一个可下载的焦油.gz包含.csv文件的文件。你知道吗

如果我手动将其中任何一个地址放入Firefox,弹出窗口会立即显示,询问我是否要保存或直接打开该文件-两者都可以。你知道吗

如果我将请求简单地用作:

r = requests.get(url)
print(r.content)

将打印以下及更多内容:

b'<?xml version="1.0" encoding="UTF-8"?>\n<Error><Code>AccessDenied</Code><Message>Access Denied</Message><RequestId>5F59....

有没有可能用Python自动下载所有这些文件,因为它可以在没有任何授权的情况下手动完成?你知道吗

编辑:

headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:58.0) Gecko/20100101 Firefox/58.0'}
r = requests.get(url, headers=headers)
print(r)

输出:

<Response [403]>

编辑2:

我也可以从终端下载带有wget的文件,但是

urllib.error.HTTPError: HTTP Error 403: Forbidden

使用Python's wget时。你知道吗


Tags: 文件url编辑messagegetcodeerror手动