用Python下载大文件的最佳方法

Question

哪个库或模块在下载超过500MB的大文件时，速度、内存和CPU使用方面表现最好？我也在考虑使用pycurl。

Answer 1

当文件大小超过500MB时，我们就需要考虑数据的完整性问题，而HTTP协议在设计时并没有考虑到这一点。

我更倾向于使用Python的rsync库（如果有的话），或者甚至是bittorrent，因为bittorrent最初就是用Python实现的。这两个工具都能很好地解决数据完整性的问题。