流和管道处理服务
pypelined的Python项目详细描述
用于创建和运行数据流、事件和块的处理管道的服务和框架。 pypelined的管道由使用chainlet库的单个元素组成。 它们构建在python配置文件中,来自自定义对象或预定义插件。
importchainletfrompypelined.confimportpipelines@chainlet.funcletdefadd_time(chunk):chunk['tme']=time.time()returnchunkprocess_chain=Socket(10331)>>decode_json()>>stop_if(lambdavalue:value.get('rcode')==0)>> \ add_time()>>Telegraf(address=('localhost',10332),name='chunky')pipelines.append(process_chain)
一旦运行,pypelined以事件驱动的方式驱动其所有处理管道。