基于时间戳的kafka主题重播

kafka_replayer的Python项目详细描述


kafka_replayer是一个库,它帮助消费来自kafka主题的消息的时间范围。而 标准的kafka使用者api允许使用 作为重播抽象的偏移量是很麻烦的,而且可能容易出错。这个图书馆 从时间戳到偏移的转换是透明的。

这个库是用python编写的,它利用kafka-python的使用者轮询kafka以获取消息。

安装

$ pip install python-kafka-replayer

使用

importjsonimportkafka_replayerdes_fn=lambdax:json.loads(x)ifxelseNonereplayer=kafka_replayer.KafkaReplayer('my-topic',bootstrap_servers=['localhost:9092'],key_deserializer=des_fn,value_deserializer=des_fn)# Replay all records between the start and end millis timestampsforrecordinreplayer.replay(1469467314341,1469467907549):printrecord

许可证

LICENSE

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java集合属性值   java字符串==运算符是否比较引用?   java是否存在过太多的ListView或适配器?   json获取java中类路径中下载的文件   我可以用java代码解决数据库并发问题吗?   在多个线程中使用forEach()或使用forEach()和lambdas进行java集合迭代   java输出JFrame中的整个循环   java禁用高度详细的日志记录   java在没有特定属性的对象中访问模型的值   java Smack xmpp建立连接   处理过时域对象引起的并发问题的java策略(Grails/GORM/Hibernate)   java从ObservableList中提取元素   使用图像进行java相似图像搜索   java ListView和图像:我快疯了   在Java中,如何从毫秒时间戳中提取一天的周期?   java我需要这样的设计,但我面临两个问题   java如何获取JGoodies FormLayout中的单元格大小   Spring引导生成的java War文件未部署到Weblogic 12c