带Python请求库的Cap下载大小

2024-03-28 22:15:45 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在使用Python的请求库来爬行一堆网页,但偶尔爬虫程序会偶然发现一个绝对庞大的页面,无论是PDF、视频还是其他庞大的文件。有没有一个好的方法来限制它将下载的文件的最大大小?在


Tags: 文件方法程序网页视频pdf页面爬虫
1条回答
网友
1楼 · 发布于 2024-03-28 22:15:45

urlopen对象有一个info()方法,它提供各种有用的头信息,包括内容长度

有时这是不正确的设置,但应该在大多数情况下,并将有帮助

相关问题 更多 >