Grep Kafka message reversely from the end ofset to start ofset
reverse-kafka-logger的Python项目详细描述
卡夫卡记录器
用于反向读取卡夫卡消息的pip库。 最好的部分是主题的每个分区都将并行运行。
背景
需要对来自卡夫卡的消息进行反向grep,因为我们通常希望从最近的偏移量中进行grep。
问题
所有可用的kafka调试工具都没有引入一个特性,可以轻松地将消息从最新的偏移量grep到 偏移量的开始。因此,我创建了这个开源项目。
用法
pip install rervese-kafka-logger
reverse-kafka-logger --topic='topic' --brokers='localhost:9092,localhost:9093' --regex='search this'
安装
安装包:python setup.py dist
安装程序包:pip install --no-index ./dist/{NEW_PACKAGE_NAME}