我试过使用Python+boto+multiprocessing、S3cmd和J3tset,但都很难做到。
有什么建议,也许是你用过的现成剧本,或者是我不知道的其他方式?
编辑:
eventlet+boto是一个有价值的解决方案,如下所述。在这里找到了一篇好的eventlet参考文章http://web.archive.org/web/20110520140439/http://teddziuba.com/2010/02/eventlet-asynchronous-io-for-g.html
我已经添加了下面正在使用的python脚本。
好吧,我根据@Matt Billenstien的提示想出了一个解决方案。它使用eventlet库。第一步是最重要的(标准IO库的猴子补丁)。
用nohup在后台运行这个脚本,就可以了。
使用eventlet来提供I/O并行性,编写一个简单的函数来使用urllib下载一个对象,然后使用一个GreenPile将其映射到一个输入url列表——一个50到100个greenlet的pile应该可以。。。
相关问题 更多 >
编程相关推荐