一种python脚本,用于读取pmacct守护进程的输出,对其进行处理并将其存储到elasticsearch中。
pmacct-to-elasticsearch的Python项目详细描述
pmacct到elasticsearch
pmacct to elasticsearch是一个python脚本,用于读取pmacct守护进程的输出,对其进行处理并将其存储到elasticsearch中。它可以与memory和print插件一起工作,还可以选择对数据执行manipulation(例如根据其他值添加字段)。
- pmacct守护进程收集IP记帐数据并使用其插件进行处理;
- 数据存储在内存表(内存插件)、json或csv文件(print插件);
- crontab作业(memory插件)或trigger脚本(print插件)被调用来执行pmacct to elasticsearch;
- pmacct的输出记录最终由pmacct处理到elasticsearch,elasticsearch从stdin(memoryplugins)或直接从文件读取。
可选地,可以配置一些^ {STR 1 } $数据转换< /强>,以允许PMACT弹性搜索^ {STR 1 } $添加或删除发送到弹性搜索索引的输出文档的字段>。这些附加字段可能有助于增强图形和报表的可读性,或添加更高级别的聚合或筛选。
安装
使用pip安装程序:
pip install pmacct-to-elasticsearch
然后克隆存储库并运行./install脚本来设置系统:
cd /usr/local/src/ git clone https://github.com/pierky/pmacct-to-elasticsearch.git cd pmacct-to-elasticsearch/ ./install
配置
请参考CONFIGURATION.md文件。TRANSFORMATIONS.md文件包含有关数据转换配置的详细信息。
关于pmacct与elasticsearch/kibana的集成的简单教程,可以在http://blog.pierky.com/integration-of-pmacct-with-elasticsearch-and-kibana找到。
未来工作
- 添加对更多pmacct输出格式(apache avro,…)的支持。
更改日志
0.3.1
修正:ES 6.2兼容性。
第9期<;https://github.com/pierky/pmacct to elasticsearch/issues/9>;。
0.3.0
新的:csv输出支持。
插件配置文件中的InputFormat选项可用于指示pmacct到elasticsearch解析pmacct的csv输出。
新的:多线程支持。
插件配置文件中的ReaderThreads选项设置用于处理pmacct输出的线程数。
新增:更多命令行参数。
configuration options组下的命令行参数可用于覆盖在插件配置文件上完成的设置。
解决在ElasticSearch 5.x上创建索引的问题。
感谢克里斯托弗·奥尔森和丹尼尔·林德伯格的报道和他们的广泛支持。
改进了索引创建模板。
解决转换问题。
0.2.0
- 新特性:对es api的http认证支持。
0.1.0
第一次释放。