我想创建多个消费者并从多个客户机读取数据分区。如果我想创建多个分区,我可以使用命令行创建,如下所示:
python pykafka/cli/kafka_tools.py --broker_version 0.10.1 create_topic --num_partitions 3
但如何创建多个消费者?这是如下所示还是有其他方法?你知道吗
consumer = KafkaConsumer('my-topic', bootstrap_servers='localhost:9092')
consumer2 = KafkaConsumer('my-topic', bootstrap_servers='localhost:9092')
但这看起来不整洁。如果我有多个分区(相同的数目),那么如何将分区中的所有数据合并到单个记录中。你知道吗
我跟着这个question
但是它对我来说是很难实现的,如果我必须实现它,你能给我一个演示程序吗?你知道吗
目前没有回答
相关问题 更多 >
编程相关推荐