使用多处理并行下载文件

Question

我有一个多处理功能，可以下载一堆文件。但是，大约每20个错误中就有1个出现以下错误：

ContentTooShortError: retrieval incomplete

我用来下载文件的功能是：

^{pr2}$

为什么会出现此错误，我如何修复它？在

Answer 1

正如the documentation所述，当服务器（优雅地）关闭连接而不向您发送整个HTTP正文时，就会发生这种情况，这是一个服务器错误。在

你可以试着通过稍后重试来“修复它”。在

因为你一次抓取了很多视频，所以服务器上可能有某种机制来检测和限制这种行为。尝试对请求进行分级限制，看看问题是否仍然存在