更快下载一个文件

2024-04-25 13:16:40 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在使用requests模块在internet上下载一个XML文件,并将其分块写入该文件。上面的代码如下

r = requests.get(xml_url+version, stream=True)
with open('test.xml', 'wb') as f:
    for chunk in r.iter_content(chunk_size=1024): 
        if chunk:
            f.write(chunk)

文件大小可以从几KBs到大约150mbs不等。请注意,文件需要严格按顺序排列,因此,使用多线程进行异步写入不是一个选项。你知道吗

有谁能帮我提高写入文件的速度吗?因为当文件大小达到100mbs时,下载文件会花费很多时间,而且会变得非常昂贵。你知道吗


Tags: 模块文件代码trueurlstreamgetversion