加快python中url响应的读取速度

2024-04-26 00:28:31 发布

您现在位置:Python中文网/ 问答频道 /正文

我有一段代码查询返回一个大json对象的服务器(elasticsearch,顺便说一句), 阅读结果要花很多时间。解析json对象非常快。你知道吗

tic = time.time()
req_resp = urllib2.urlopen(req, timeout = 60)
toc=time.time()
a = toc-tic

tic = time.time()
json_str = req_resp.read()
toc=time.time()
b = toc-tic

tic = time.time()
resp = json.loads(json_str)
toc=time.time()
c = toc-tic

print 'Fetch %.1f Process %.1f, load Json %.1f' %(a,b,c)

输出:

Fetch 0.5 Process 3.5, load Json 0.0

奇怪的是,这需要这么多时间,而加载json的速度很快。我做错什么了?有什么办法能快点吗?你知道吗

仅供参考这是在elasticsearch中对1000个文档的查询,返回几个字符串字段,这些字段有几个单词长。你知道吗

我使用的是python2.7


Tags: 对象代码jsontime时间loadfetchtic
1条回答
网友
1楼 · 发布于 2024-04-26 00:28:31
<> > ^ {CD1>}模块依赖于用C++编写的^ {CD2>}(我想?)。假定在C++和Python之间有一个开销很大的数据传输。我也得到了一个奇怪的大开销与.read()我没有尝试过它与巨大的数据集,所以它不大于提取时间。我不确定除了换一种不同的语言你还能做什么。我会做更多的测试,如果我发现其他的东西会给你回复。你知道吗

相关问题 更多 >