2024-03-29 10:49:37 发布
网友
我必须分析两个不同应用程序的服务器日志。日志将连续24*7生成。我有生成日志的服务器的凭据。我需要将这些日志数据获取到kafka,并使用python(通过应用regex)从这些日志中提取一些错误信息,并用我提取的数据准备一个实时仪表板。我如何接收不断生成到卡夫卡的日志数据?我需要使用NiFi吗?我是这个场景的新手,所以如果您了解我的上述要求,请就我如何实现这一点提供一些见解。多谢各位
要将日志文件中的数据摄取到Kafka,可以使用Kafka Connect。Kafka Connect最基本的功能是将数据从外部系统复制到Kafka或从Kafka复制到外部系统
Kafka connect是一个java应用程序,因此不需要任何外部集群即可工作(主题所在的Kafka集群除外)。连接器是通过配置文件定义的,因此使用最少的代码非常简单
要将数据从文件传输到Kafka,您可以使用和浏览Kafka Connect的FileStream连接器-https://docs.confluent.io/current/connect/filestream_connector.html
要将日志文件中的数据摄取到Kafka,可以使用Kafka Connect。Kafka Connect最基本的功能是将数据从外部系统复制到Kafka或从Kafka复制到外部系统
Kafka connect是一个java应用程序,因此不需要任何外部集群即可工作(主题所在的Kafka集群除外)。连接器是通过配置文件定义的,因此使用最少的代码非常简单
要将数据从文件传输到Kafka,您可以使用和浏览Kafka Connect的FileStream连接器-https://docs.confluent.io/current/connect/filestream_connector.html
相关问题 更多 >
编程相关推荐