2024-06-09 18:34:49 发布
网友
使用python库在apachebeam中进行parDo转换时,有没有办法设置并行数?你知道吗
代码:
xmls = contracts | 'Get XML' >> beam.ParDo(get_xml())
波束模型对数据进行分片,但不依赖于预先确定的分片数,因此没有接口允许在ParDo上指定。例如,Beam-runner中的一个Cloud-Dataflow就可以利用这个模型进行液体切分和自动缩放。你知道吗
波束模型对数据进行分片,但不依赖于预先确定的分片数,因此没有接口允许在ParDo上指定。例如,Beam-runner中的一个Cloud-Dataflow就可以利用这个模型进行液体切分和自动缩放。你知道吗
相关问题 更多 >
编程相关推荐