用beauthoulsoup在一个网站上下载所有的文档抛出IOE

Question

嗨，我想通过Python、Julia或任何语言脚本下载以下网站（https://www.nationalgrid.com/uk/electricity/market-and-operational-data/data-explorer）上发布的所有文件。它曾经是一个http的网站，BeautifulSoup运行良好；现在我的代码上的https网站已经不工作了。在

我想要下载的所有文件都在一个'a'标记中，并且属于“download”类。因此，代码中不起作用的行如下：

fileDownloader.retrieve(document_url, "forecasted-demand-files/"+document_name)

这将引发以下错误：

^{pr2}$

在网上做了一些研究之后，我没有找到任何关于如何在https网站上删除文档的信息，有人能给我个建议吗？在

提前感谢您的回答！在

朱利安
在

import requests
import urllib
import re

from bs4 import BeautifulSoup

page = requests.get("https://www.nationalgrid.com/uk/electricity/market-and-
operational-data/data-explorer")
soup = BeautifulSoup(page.content, 'html.parser')

fileDownloader = urllib.URLopener()
mainLocation = "https://www.nationalgrid.com"

for document in soup.find_all('a', class_='download'):
  document_name = document["title"]
  document_url = mainLocation+document["href"]
  fileDownloader.retrieve(document_url, "files/"+document_name)

Answer 1

这不是一个https问题，只是你试图抓取的页面有一些文件访问限制。当您期望异常时，最好处理它们。在这种情况下，所有的文件链接都可能断开或无法访问。在

尝试按如下方式处理异常：

import requests
import urllib
import re

from bs4 import BeautifulSoup

page = requests.get("https://www.nationalgrid.com/uk/electricity/market-and-operational-data/data-explorer")
soup = BeautifulSoup(page.content, 'html.parser')

fileDownloader = urllib.URLopener()
mainLocation = "https://www.nationalgrid.com"

for document in soup.find_all('a', class_='download'):

    document_name = document["title"]
    document_url = mainLocation+document["href"]
    try:
        fileDownloader.retrieve(document_url, "forecasted-demand-files/"+document_name)
    except IOError as e:
        print('failed to download: {}'.format(document_url))