融合模式注册表和avro消息的Beam支持

2024-03-29 14:31:17 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在尝试使用python API设置一个Beam管道来读取Kafka。我能够设置消费者配置和主题。如何更新管道以使用汇合模式注册表并定义Avro消息值反序列化器


Tags: kafkaapi消息主题序列化管道定义注册表
1条回答
网友
1楼 · 发布于 2024-03-29 14:31:17

您可以使用Python API提供键、值反序列化器,但此接口可以返回的类型有限(当前仅为字节和整数值)。返回Java类型的反序列化程序(例如GenericRecord)对于Python来说没有多大意义。是否可以使用字节反序列化器(默认)并使用Beam Python转换处理返回的字节?此外,Beam Kafka转换不提供连接到汇合模式注册表的内置支持,但您可以通过BeamParDo转换(使用Kafka客户端库)进行连接

相关问题 更多 >