Apache Beam Python SDK中是否存在与withFormatFunction等效的功能?

2024-06-16 16:56:29 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在把一本词典的PCollection传给WriteToBigQuery班。但是,字典中的某些字段并不打算写入BigQuery表。确定元素的表名(在流模式下)很重要。这是通过在table参数中传递callable来完成的。在Beam Python中可以这样做吗?这可以通过BigQueryIO的withFormatFunction在JavaSDK中实现。干杯


Tags: 元素参数字典table模式bigquery词典beam
1条回答
网友
1楼 · 发布于 2024-06-16 16:56:29

在Beam Python中,目前还没有与withFormatFunction等效的函数。 如果您有一组固定的输出表,那么可以对每个表进行单独的WriteToBigQuery转换,并在管道的前面进行分支。 您还可能创建一个类似于dict(包含有效负载)类型的对象的PCollection,但其上还有表名callable可以读取的字段

相关问题 更多 >