一个通用的python etl/pipeline实用程序库,尤其用于配置单元流。
transformp的Python项目详细描述
transformpy
是一个python 2/3模块,用于对数据的“流”进行转换。
转换可以应用于任何python可iterable对象,因此可以使用
对于连续的实时流或静态流(例如从文件)。它
设计时使用的内存非常少(除非有必要
通过集群和/或聚合例程)。它最初的设计目的是
允许对存储在配置单元中的数据进行python转换(映射和缩减)。
使用hadoop流模式。
注意:transformpy是not保证在版本1.0之前是api稳定的; 但对当前版本的任何更改都应该很小。