一种python脚本,用于读取pmacct守护进程的输出,对其进行处理并将其存储到elasticsearch中。

pmacct-to-elasticsearch的Python项目详细描述


pmacct到elasticsearch

pmacct to elasticsearch是一个python脚本,用于读取pmacct守护进程的输出,对其进行处理并将其存储到elasticsearch中。它可以与memoryprint插件一起工作,还可以选择对数据执行manipulation(例如根据其他值添加字段)。

img/data_flow.png
  1. pmacct守护进程收集IP记帐数据并使用其插件进行处理;
  2. 数据存储在内存表内存插件)、json或csv文件print插件);
  3. crontab作业memory插件)或trigger脚本print插件)被调用来执行pmacct to elasticsearch;
  4. pmacct的输出记录最终由pmacct处理到elasticsearch,elasticsearch从stdin(memoryplugins)或直接从文件读取。

可选地,可以配置一些^ {STR 1 } $数据转换< /强>,以允许PMACT弹性搜索^ {STR 1 } $添加或删除发送到弹性搜索索引的输出文档的字段>。这些附加字段可能有助于增强图形和报表的可读性,或添加更高级别的聚合或筛选。

安装

使用pip安装程序:

pip install pmacct-to-elasticsearch

然后克隆存储库并运行./install脚本来设置系统:

cd /usr/local/src/
git clone https://github.com/pierky/pmacct-to-elasticsearch.git
cd pmacct-to-elasticsearch/
./install

配置

请参考CONFIGURATION.md文件。TRANSFORMATIONS.md文件包含有关数据转换配置的详细信息。

关于pmacct与elasticsearch/kibana的集成的简单教程,可以在http://blog.pierky.com/integration-of-pmacct-with-elasticsearch-and-kibana找到。

未来工作

  • 添加对更多pmacct输出格式(apache avro,…)的支持。

作者

卡洛·奇奥迪码头-https://pierky.com/

博客:https://blog.pierky.com/推特:@pierky

更改日志

0.3.1

  • 修正:ES 6.2兼容性。

    第9期<;https://github.com/pierky/pmacct to elasticsearch/issues/9>;

0.3.0

  • 新的:csv输出支持。

    插件配置文件中的InputFormat选项可用于指示pmacct到elasticsearch解析pmacct的csv输出。

  • 新的:多线程支持。

    插件配置文件中的ReaderThreads选项设置用于处理pmacct输出的线程数。

  • 新增:更多命令行参数。

    configuration options组下的命令行参数可用于覆盖在插件配置文件上完成的设置。

  • 解决在ElasticSearch 5.x上创建索引的问题。

    感谢克里斯托弗·奥尔森和丹尼尔·林德伯格的报道和他们的广泛支持。

  • 改进了索引创建模板。

  • 解决转换问题。

0.2.0

  • 新特性:对es api的http认证支持。

0.1.0

第一次释放。

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java如何在表被注释到配置之前获取表的元数据?   java滚动条不会出现在JList上   java JOGL监视器GPU内存   java为什么要使用RecyclerView onDraw延迟   java定制Oppo Reno 2 Z CPH1951(手机型号)的固件(闪存文件)   java自定义线程池执行器   java如何解决发布版本中重复的jar条目[com/安卓/volley/R.class]?   java如何使用Bukkit API触发事件?   java在blazemeter jmeter RTE插件中使用ctrl+w输入   C#/Visual Studio的java JDT等价物   java为什么当maxread值很大而收到的消息数量很小时,卡夫卡消费者会无限期消费?   java游戏2。x:包含模板列表的绑定模型   带压缩的java日志旋转   运行时。exec用java运行程序读取它正在做什么