这里的任何人都有使用分块数据编码的请求和HTTP流的经验。在
我想知道请求本身是否知道服务器提供的块大小,并将其用于requests.iter_行()作为块大小。我发现,如果我减少默认块大小,它的处理速度会更快,但与服务器发送回的内容是否有关联,我不应该在设置它上瞎折腾。请注意,我正在实时地从datalift获取社会数据,并最终将其转换为标准。在
代码是:
#!/usr/bin/env python
import requests
import json
headers={'Auth': 'username:api_key'}
r = requests.get('http://stream.datasift.com/988098098sd09fsd89fsd0f7',headers=headers, stream=True)
for line in r.iter_lines(chunk_size=128):
if line:
print line
查看源代码(模型.py行531和31),预配置的值512只是一个“正常的默认值”。在
编程相关推荐