Apache梁的平行度

2024-06-09 18:34:49 发布

您现在位置:Python中文网/ 问答频道 /正文

使用python库在apachebeam中进行parDo转换时,有没有办法设置并行数?你知道吗

代码:

xmls = contracts | 'Get XML' >> beam.ParDo(get_xml())

Tags: 代码getxmlbeamcontracts办法xmlsapachebeam
1条回答
网友
1楼 · 发布于 2024-06-09 18:34:49

波束模型对数据进行分片,但不依赖于预先确定的分片数,因此没有接口允许在ParDo上指定。例如,Beam-runner中的一个Cloud-Dataflow就可以利用这个模型进行液体切分和自动缩放。你知道吗

相关问题 更多 >