Python3 从一个网址下载多个文件

Question

我想从一个网址下载所有的 .mp4 文件。我见过用 urllib 下载文件的例子，但那些例子看起来像这样：

urllib.request.urlretrieve('http://example.com/big.zip', 'file/on/disk.zip')

在这些例子中，他们指定了要下载的具体文件，比如 big.zip，但我不知道网站上每个文件的名字，我只知道文件的后缀。

我希望能像这样输入网址：

urllib.request.urlretrieve('http://example.com/videos/', 'file/on/disk')

然后下载所有的 .mp4 文件。我觉得可以用 .endswith 来筛选特定的文件后缀。

我对使用 urllib 还是很陌生，也从来没有用过 BeautifulSoup，但我在几个例子中见过它，所以我甚至不知道这是否可行。

从多个网站下载文件。

Python 3.3 的 urllib.request 下载文件不工作

如何使用 Python 通过 HTTP 下载文件？

Answer 1

如果你能看到目录里的内容（这是由Apache列出来的），那么你应该把这些内容解析一下，列出文件清单，然后在一个循环里逐个下载这些文件。

如果你看不到这些内容，那就没办法了，通常应用程序会把文件结构隐藏起来，是有原因的。