简单的数据处理工具。
datapiper的Python项目详细描述
DATAPIPER为构建和运行提供了一个灵活易用的库 简单的数据批处理管道。
向datapiper提供数据处理可调用的列表,它将构造 为您运行数据管道。
如果使用(iterable)数据源实例化管道,将得到一个生成器 从源读取并为您输出处理过的数据:
>>> operations = [lambda context, data: data+1] >>> datasource = [1,2,3] >>> p = Piper(operations, source=datasource) >>> print p pipe: source > <lambda> >>> [r for r in p] [2,3,4]
如果用(可调用的)数据接收器来实例化它,则会得到一个协程 从生产商接收数据并将处理后的数据传送到接收器:
>>> operations = [lambda context, data: data+1] >>> results = [] >>> def datasink(data): ... results.append(data) >>> p = Piper(operations, sink=datasink) >>> print p pipe: <lambda> > sink >>> for v in (1,2,3): ... p.send(v) ... >>> results [2,3,4]
传递给数据操作callables的上下文参数用于 他们之间共享状态。它可以通过传递 它作为(可选的)关键字参数传递给piper类。上下文参数可以 随便什么都行;推荐一本字典。
请参阅测试以获取更多示例。
历史记录
0.1.0(2017-10-31)
- pypi上的第一个版本。