Python中文
首页
教程
问答
标签
搜索
登录
注册
从S3 bu下载300万个对象的最快方式
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我试过使用Python+boto+multiprocessing、S3cmd和J3tset,但都很难做到。</p> <p>有什么建议,也许是你用过的现成剧本,或者是我不知道的其他方式?</p> <p><strong>编辑:</strong></p> <p>eventlet+boto是一个有价值的解决方案,如下所述。在这里找到了一篇好的eventlet参考文章<a href="http://web.archive.org/web/20110520140439/http://teddziuba.com/2010/02/eventlet-asynchronous-io-for-g.html" rel="noreferrer">http://web.archive.org/web/20110520140439/http://teddziuba.com/2010/02/eventlet-asynchronous-io-for-g.html</a></p> <p>我已经添加了下面正在使用的python脚本。</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>使用eventlet来提供I/O并行性,编写一个简单的函数来使用urllib下载一个对象,然后使用一个GreenPile将其映射到一个输入url列表——一个50到100个greenlet的pile应该可以。。。</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
Kerasterflow预训练模型中的纯训练偏差
7 回答
KerasTF Conv2D模型运行时无响应型号.fi
1 回答
Kerastuner Randomsearch:TypeError:(“关键字参数未理解:”,“激活”)
3 回答
Kerastuner ValueError:形状(320,)和(1,)不兼容
7 回答
Kerastuner:“ValueError:不是法律参数”问题,当我使用LSTM网络时,但密集层工作正常
7 回答
KerasTuner:是否可以在目标/度量函数中使用测试/验证集?
8 回答
KerasTuner自定义目标函数
2 回答
kerastuner调整层数会创建与报告的层数不同的层数
8 回答
KerasTuner运行时错误:构建模型的失败尝试太多
10 回答
kerasv1.2.2与kerasv2+的奇怪行为(精确度上的巨大差异)
4 回答
kerasvis中visualize_-cam/visualize_显著性的热图输出形状
8 回答
Kerasvis和tfkerasvis的激活最大化不适用于MobileNetV2模型
2 回答
Kerasvis对于显著性图表,我们应该使用softmax还是线性激活
9 回答
Kerasvis给出以下错误:AttributeError:多个入站节点
7 回答
kerasyolov3模型中预期输入和目标的格式和形状
1 回答
Keras一个GPU可以同时训练两个不相关的模型吗?
1 回答
Keras一类CNN两个输入,每一步一个
8 回答
keras三维张量上的Softmax层
5 回答
Keras三维目标预测
5 回答
keras上的flatten与python中的Image的区别
6 回答