Python请求库分块数据和iter_行

2022-05-21 07:00:19 发布

您现在位置:Python中文网/ 问答频道 /正文

这里的任何人都有使用分块数据编码的请求和HTTP流的经验。在

我想知道请求本身是否知道服务器提供的块大小,并将其用于requests.iter_行()作为块大小。我发现,如果我减少默认块大小,它的处理速度会更快,但与服务器发送回的内容是否有关联,我不应该在设置它上瞎折腾。请注意,我正在实时地从datalift获取社会数据,并最终将其转换为标准。在

代码是:

#!/usr/bin/env python

import requests
import json


headers={'Auth': 'username:api_key'}
r = requests.get('http://stream.datasift.com/988098098sd09fsd89fsd0f7',headers=headers, stream=True)

for line in r.iter_lines(chunk_size=128):
    if line: 
        print line

Tags: import服务器http内容streamline经验requests分块headers服务器发送iter数据编码处理速度datalift