为数据分析而设计的流水线框架,但对于其他应用程序是有用的

pyPipelineStream的Python项目详细描述


python的流水线框架。开发人员可以创建节点并将它们链接在一起以创建管道。

扩展```node``的类必须实现``run``方法,只要有新数据可用,就会调用该方法。

一个简单的例子

``python
来自pypipelining导入节点,pipeline


class generate(节点):
def setup(self):
self.pos=0

如果self.pos<;self.size:
self.emit(self.pos)
self.pos=self.pos+1
否则:
self.close()

class square(node):
def run(self,data):
self.emit(data**2)



pipeline=pipeline(generate(“gen”,size=10)square(“square”))
print(pipeline)
pipeline.run()
`````

nodes还可以指定一个批大小,该批大小指示应向节点推送多少数据。
例如,在前面的示例的基础上。在这种情况下,在nodes`` setup``方法中指定了``批处理大小``'。或者,也可以在创建节点时设置(例如`` printer(“print”,batch-size=5)```)

`` python
类打印机(节点):
def setup(self):
self.batch-size=node.batch-size=all

def run(self,data):
print(data)

pipeline=pipeline(generate(“gen”,大小=10)正方形(“正方形”)打印机(“打印”))
打印(管道)
管道.run()
```

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java与Groovy正则表达式匹配混淆   java控制台未定义为JSNI   主目录中的java指针异常   java如何获取hashmap中的arrayList的大小   ApachePOI用于文本,Java代码中的word doc(.docx)中没有进行追加   Ruby对象到Java对象   JavaSpringJPA哈希集只返回一个值   Java在执行由配置了精确类路径参数的mavenjarpluin生成的可执行jar时无法找到依赖项   java我试图在画布上写一个文本,但什么也没发生   java HTTP 404源服务器找不到目标资源的当前表示形式,或者不愿意透露存在该表示形式。不起作用   java提取小数点后的最后一个数字   oop Java:无法访问对象的元素   PHP URL中RecyclerView中的java句柄空异常   不调用OnCreateViewHolder的java Update RecyclerView适配器项