2024-03-29 14:31:17 发布
网友
我正在尝试使用python API设置一个Beam管道来读取Kafka。我能够设置消费者配置和主题。如何更新管道以使用汇合模式注册表并定义Avro消息值反序列化器
您可以使用Python API提供键、值反序列化器,但此接口可以返回的类型有限(当前仅为字节和整数值)。返回Java类型的反序列化程序(例如GenericRecord)对于Python来说没有多大意义。是否可以使用字节反序列化器(默认)并使用Beam Python转换处理返回的字节?此外,Beam Kafka转换不提供连接到汇合模式注册表的内置支持,但您可以通过BeamParDo转换(使用Kafka客户端库)进行连接
GenericRecord
ParDo
您可以使用Python API提供键、值反序列化器,但此接口可以返回的类型有限(当前仅为字节和整数值)。返回Java类型的反序列化程序(例如
GenericRecord
)对于Python来说没有多大意义。是否可以使用字节反序列化器(默认)并使用Beam Python转换处理返回的字节?此外,Beam Kafka转换不提供连接到汇合模式注册表的内置支持,但您可以通过BeamParDo
转换(使用Kafka客户端库)进行连接相关问题 更多 >
编程相关推荐