向kafka发送实时连续日志数据并使用

2024-03-29 10:49:37 发布

您现在位置:Python中文网/ 问答频道 /正文

我必须分析两个不同应用程序的服务器日志。日志将连续24*7生成。我有生成日志的服务器的凭据。我需要将这些日志数据获取到kafka,并使用python(通过应用regex)从这些日志中提取一些错误信息,并用我提取的数据准备一个实时仪表板。我如何接收不断生成到卡夫卡的日志数据?我需要使用NiFi吗?我是这个场景的新手,所以如果您了解我的上述要求,请就我如何实现这一点提供一些见解。多谢各位


Tags: kafka数据服务器应用程序场景仪表板regex新手
1条回答
网友
1楼 · 发布于 2024-03-29 10:49:37

要将日志文件中的数据摄取到Kafka,可以使用Kafka Connect。Kafka Connect最基本的功能是将数据从外部系统复制到Kafka或从Kafka复制到外部系统

Kafka connect是一个java应用程序,因此不需要任何外部集群即可工作(主题所在的Kafka集群除外)。连接器是通过配置文件定义的,因此使用最少的代码非常简单

要将数据从文件传输到Kafka,您可以使用和浏览Kafka Connect的FileStream连接器-https://docs.confluent.io/current/connect/filestream_connector.html

相关问题 更多 >