http头请求导致脚本变慢（python requests）

Question

我正在写一个Python脚本，这个脚本会遍历一个包含.mp3文件的网址列表；我的目标是通过一个叫做“head请求”的方式，从每个网址提取内容长度，使用的是requests这个库。

不过，我发现这些head请求让脚本变得很慢；我单独测试了相关的代码，发现执行时间达到了1.5分钟（处理200个网址/请求）：

import requests
import time

print("start\n\n")

t1 = time.time()

for n in range(200):
    response = requests.head("url.mp3")
    print(response,"\n")

t2 = time.time()

print("\n\nend\n\n")
print("time: ",t2-t1,"s")

Answer 1

一个不错的解决方案是 grequests

import grequests

requests = (grequests.get('http://127.0.0.1/%i.mp3' % i) for u in range(200))

for code grequests.map(rs):
    print 'Status code %i' % code.status_code