Python中文
首页
教程
问答
标签
搜索
登录
注册
Python生成不同的Kafka分区
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我试图以经典的推特流媒体为例来学习卡夫卡。我正在尝试使用我的制作人将基于2个过滤器的twitter数据流到同一主题的不同分区。例如,将带有track='Google'的twitter数据发送到一个分区,并将track='Apple'发送到另一个分区</p> <pre><code>class Producer(StreamListener): def __init__(self, producer): self.producer = producer def on_data(self, data): self.producer.send(topic_name, value=data) return True def on_error(self, error): print(error) twitter_stream = Stream(auth, Producer(producer)) twitter_stream.filter(track=["Google"]) </code></pre> <p>如何添加另一个曲目并将该数据流到另一个分区</p> <p>同样,如何让我的消费者从特定分区消费</p> <pre><code>consumer = KafkaConsumer( topic_name, bootstrap_servers=['localhost:9092'], auto_offset_reset='latest', enable_auto_commit=True, auto_commit_interval_ms = 5000, max_poll_records = 100, value_deserializer=lambda x: json.loads(x.decode('utf-8'))) </code></pre>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>Kafka在消息的键上对数据进行分区。在给定的代码中,您只将<code>value</code>传递给生产者消息,因此密钥将为null,因此将在所有分区之间进行循环</p> <p>请参阅卡夫卡库的文档,了解如何为每条消息提供密钥</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
如何在Excel中读取公式并将其转换为Python中的计算?
2 回答
如何在excel中读取嵌入的excel,并将嵌入文件中的信息存储在主excel文件中?
3 回答
如何在Excel中返回未知列长度的非空顶行列值?
3 回答
如何在excel中选择数据列?
3 回答
如何在Excel中通过脚本自动为一列中的所有单元格创建公共别名
10 回答
如何在excel中高效格式化范围AttributeError:“tuple”对象没有属性“fill”
7 回答
如何在excel单元格中编写python函数
5 回答
如何在excel单元格中自动执行此python代码?
5 回答
如何在excel工作表中创建具有相应值的新列
6 回答
如何在Excel工作表中复制条件为单元格颜色的python数据框?
4 回答
如何在Excel工作表中循环
9 回答
如何在excel工作表中打印嵌套词典?
8 回答
如何在excel工作表中绘制所有类的继承树?
6 回答
如何在Excel工作表中自动调整列宽?
7 回答
如何在excel工作表中追加并进一步处理
10 回答
如何在excel工作表之间进行更改?
7 回答
如何在excel或csv上获取selenium数据?
1 回答
如何在Excel或Python中将正确的值赋给正确的列
8 回答
如何在excel或python中提取单词周围的文本?
1 回答
如何在excel或python中转换来自Jira的3w 1d 4h的fromat数据?
1 回答