用于大型s3文件迭代的luigi monkey补丁
luigi-monkey-patch的Python项目详细描述
luigi是一个python(2.7、3.3、3.4、3.5)包,可以帮助您构建复杂的 批处理作业的管道。它处理依赖关系解析、工作流管理, 可视化、处理故障、命令行集成等等。
当前的luigi在生产中的s3文件迭代中存在一些问题。当文件 如果太大,amazon s3会倾向于先断开连接。任何申请都应该 支持基于当前状态的重试,获取整个部分。此项目添加 这部分为luigi s3文件迭代特性。
修改函数
- luigi.s3.ReadableS3File.close
- luigi.s3.ReadableS3File.__iter__