用于大型s3文件迭代的luigi monkey补丁

luigi-monkey-patch的Python项目详细描述


luigi是一个python(2.7、3.3、3.4、3.5)包,可以帮助您构建复杂的 批处理作业的管道。它处理依赖关系解析、工作流管理, 可视化、处理故障、命令行集成等等。

当前的luigi在生产中的s3文件迭代中存在一些问题。当文件 如果太大,amazon s3会倾向于先断开连接。任何申请都应该 支持基于当前状态的重试,获取整个部分。此项目添加 这部分为luigi s3文件迭代特性。

开始

运行pip install luigi_monkey_patchPypi安装最新的稳定版本。文档和任何问题都由here托管。

修改函数

  • luigi.s3.ReadableS3File.close
  • luigi.s3.ReadableS3File.__iter__

作者

路易吉是在Spotify建造的。 此修补程序由Zenix Huang完成。

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java如果在使用JDBC时不包含db驱动程序会发生什么?   发生错误时使用JAXWS跟踪XML请求/响应   java servlet版本getServletContext()。getEffectiveMajorVersion()在我使用3时给了我2.5   jakarta mail在Java中使用Javamail获取消息contenttype时出错   java正在获取WebSphere app Server的实例名称   java在javafx中向TreeItem添加了一个addEventHandler   java我们可以在运行时从泛型类型实例化一个对象吗?   带倒计时的java循环[自动重新启动]   java将画布转换为位图   java在tomcat7上运行shell脚本   使用列表更新java hibernate实体   java如何替换� 字符串中带有“,”的字符?   使用SwingGUI的java简单ClientServer程序   java使用smtp在javamail中以附件形式发送超链接   selenium中的java用户登录身份验证?