卡夫卡和Python我不知道怎么去消费

2024-05-29 07:26:18 发布

您现在位置:Python中文网/ 问答频道 /正文

从文档..[1]:https://github.com/mumrah/kafka-python

# To send messages asynchronously
producer = SimpleProducer(kafka, async=True)
producer.send_messages("my-topic", "async message")

# To consume messages
consumer = SimpleConsumer(kafka, "my-group", "my-topic")
for message in consumer:
    print(message)

“我的团队”是从哪里来的?如何设置“我的组”?在


Tags: producerkafkato文档httpsgithubcomsend
3条回答

如前所述,每个消息只应传递给每个消费者组一次。有关详细信息,请检查http://kafka.apache.org/documentation.html#introduction。在

直到最后一个版本的kafka python(编写本文时为0.9.3)之前,使用SimpleConsumer的消费者组都无法正常工作。在

根据SimpleConsumerdocstringgroup是“此使用者的名称,用于偏移存储,并且必须是唯一的”。在

所以这只是你给消费者起的一个独特的名字。在

kafka使用群组来协调多个消费者阅读同一主题的内容。如果多个消费者使用同一个组名,它会告诉kafka他们希望共享用户负载,并且每条消息将只传递给组成员中的一个。在

如果你还不知道你想要群组,你可能不知道。只要确保名称是唯一的,这样kafka就可以向你的消费者发送关于这个主题的所有可用消息。在

相关问题 更多 >

    热门问题