阿帕奇·卡夫卡:我可以手动设置偏移量吗

2024-05-16 15:43:48 发布

您现在位置:Python中文网/ 问答频道 /正文

所以我使用apachekafka作为消息队列,将Twitter流转发给我的消费者。如果我想回去,我想有一个值(偏移量),我可以发送卡夫卡。所以,举例来说,如果有一天我想回去,我不知道补偿是多少。在

因此,我可以手动设置偏移量吗?也许是linux/epoch时间戳?在


Tags: 消息队列linux时间消费者twitter手动偏移量
1条回答
网友
1楼 · 发布于 2024-05-16 15:43:48

不知道这是怎么可能的,但是你可以:

  • 使用Kafka的API获得一个早于给定时间的偏移量(getOffsetBefore)。注意,粒度取决于您的存储文件大小IIRC,因此您可以获得比指定时间早很多的偏移量
  • 在消息本身中保留一个时间戳,并将其与上面的结合使用以跳过消息
  • 保留一个外部时间索引->;补偿自己并使用它

相关问题 更多 >