如何在python中创建多个使用者并从相同主题的相同数量的分区读取数据?

2024-04-25 01:07:31 发布

您现在位置:Python中文网/ 问答频道 /正文

我想创建多个消费者并从多个客户机读取数据分区。如果我想创建多个分区,我可以使用命令行创建,如下所示:

python pykafka/cli/kafka_tools.py --broker_version 0.10.1 create_topic --num_partitions 3

但如何创建多个消费者?这是如下所示还是有其他方法?你知道吗

consumer = KafkaConsumer('my-topic', bootstrap_servers='localhost:9092')
consumer2 = KafkaConsumer('my-topic', bootstrap_servers='localhost:9092')

但这看起来不整洁。如果我有多个分区(相同的数目),那么如何将分区中的所有数据合并到单个记录中。你知道吗

我跟着这个question

但是它对我来说是很难实现的,如果我必须实现它,你能给我一个演示程序吗?你知道吗


Tags: kafka命令行localhost客户机topicclimy消费者