python中kafka-avro消息的spark流avro解码器

2024-04-24 13:55:28 发布

您现在位置:Python中文网/ 问答频道 /正文

使用avf8解码程序来解决avf8异常。有人能帮忙解决这个问题吗。我尝试安装合流模式注册表客户端,但我不太习惯。我想知道有没有其他方法可以读取avro编码的信息。在

这是我使用的代码。在

sc = SparkContext("local[2]","myConsumer")
ssc = StreamingContext(sc, streamingIntervalSecs)

kafkaParams = {"metadata.broker.list":brokers, 'auto.offset.reset' : 'smallest' , "group.id" : consumerGroupID }

directKafkaStream = KafkaUtils.createDirectStream(ssc, [topic], kafkaParams, fromOffsets())

ssc.start()
ssc.awaitTermination()

如果有人能解决这个问题,请告诉我。在

注意:我想知道除了这个(Spark Python Avro Kafka Deserialiser)之外是否还有其他解决方案,如果您觉得这是最好的解决方案,我也在安装schema注册表并尝试使用它。在

谢谢!在


Tags: 方法信息客户端编码注册表模式解决方案avro