BRO分析工具
zat的Python项目详细描述
##兄弟分析工具(BAT)[![特拉维斯](https://travis-ci.org/supercowpowers/bat.svg?branch=master)(https://travis-ci.org/supercowpowers/bat)[![覆盖状态](https://coveralls.io/repos/github/supercowpowers/bat/badge.svg?branch=master)(https://coveralls.io/github/supercowpowers/bat?branch=master)[![支持的版本](https://img.shields.io/pypi/pyversions/bat.svg)(https://pypi.python.org/pypi/bat)[![许可证](https://img.shields.io/badge/license apache%202.0-green.svg)(https://choosealicense.com/licenses/apache-2.0)
bat python包支持使用pandas、scikit learn和spark处理和分析bro数据
分析,机器学习,兄弟,还有你!
([视频](https://www.youtube.com/watch?v=pg5lu9clniu))
bro已经有了一种灵活、强大的脚本语言为什么我要使用
bat?
**卸载:**运行复杂的任务,如统计、状态机、
机器学习等。应该从Bro中卸载,以便Bro能够
专注于高效处理大容量网络流量。
**数据分析:**我们有一组大型支持类,帮助
将原始Bro数据桥接到pandas、scikit learn和
spark等包中。我们还提供了一些示例笔记本,演示如何从这里到那里逐步获取
。
er.brologreader('dhcp.log')
对于reader.readrows()中的行:
pprint(row)
`````
**输出:**每一行都是一个很好的python字典,具有时间戳和正确转换的类型。
{{assigned'ip':'192.168.84.10',
'id.orig'h':'192.168.84.10',
'亲历亲亲亲:68,
'id.resp'h':'192.168.84.84.1',
'id.resp'p'p'67,
'lease-time':datetime.timedelta(49710,23000),
'mac':'00:20:18:eb:ca:54',
'trans'trans'id':495764278,
'ts':datetime.datetime(2012,7,20,20,3,14,12,219654,
'uid':'cjsdsdsdsdp'id':67,
'lease-time':datetime.time':datetime(49time.timedelta'datetime.timedelta(49710 G95NCNF1RXUN5型'}
…
数据帧ead
print(bro-df.head())
```
**输出:*所有bro日志数据都在p and as数据帧中,以适当的
类型和时间戳作为索引3-09-15 17:44:27.631940 guyspy.com 192.168.33.10 1030 4.2.2.3
2013-09-15 17:44:27.696869 www.guyspy.com 192.168.33.10 1030 4.2.2.3
2013-09-15 17:44:28.060639 devrubn8mli40.cloudfront.net 192.168.33.10 1030 4.2.2.3
2013-09-15 17:44:28.141795 d31qbv1cthcs.cloudfront.net 192.168.33.10 1030 4.2.2.3
2013-09-15 17:44:28.422704 crl.entrust.net 192.168.33.10 1030 4.2.2.3
````
r/>处理旋转)
-bro logs to pandas dataframes and scikit learn
-动态监视文件.log并进行virustal查询
-动态监视http.log并显示"不常见"用户代理
-对提取的文件运行yara签名
-检查x509 certif指示
-异常检测
-请参见[bat
示例](https://bat tools.readthedocs.io/en/latest/examples.html)
了解更多详细信息。
r/>
-bro到scikit learn:[bro到
scikit](https://nbviewer.jupyter.org/github/supercowpowers/bat/blob/master/notebooks/bro到scikit learn.ipynb)
-bro到matplotlib:[bro到
plot](https://nbviewer.jupyter.org/github/supercowpowers/bat/blob/master/notebooks/bro到@plot)。ipynb)
-bro to parquet to spark:
[bro-&;gt;parquet-&;gt;spark](https://nbviewer.jupyter.org/github/supercowpers/bat/blob/master/notebooks/bro_to_parquet_to_spark.ipynb)
-bro to kafka to spark:
[bro-&;gt;kafka-&;gt;spark](https://nbviewer.jupyter.org/github/supercwpowers/bat/blob/master/notebooks/bro_u kafka_u to_u spark.ipynb)
-聚类:选取k(或不选取):[聚类k
超参数](https://nbviewer.jupyter.org/github/supercwpowers/bat/blob/master/notebooks/clustering_u picking_k.ipynb)
-异常检测探索:[anomaly
检测](https://nbviewer.jupyter.org/github/supercowpers/bat/blob/master/notebooks/anomaly戋detection.ipynb)
-危险域统计和部署:[risk
域](https://nbviewer.jupyter.org/github/supercowpers/bat/blob/master/notebooks/risk戋domains.ipynb)
安装
----
$pip install bat
文档
----
[bat tools.readthedocs.org](https://bat tools.readthedocs.org/)
谢谢
----
-Dummyencoder基于Tom Augsburger的伟大Pydata Chicago
2016[谈话](https://youtu.be/klptebokq0)
[![超级WPowers徽标](https://www.kitware.com/img/small_logo_over.png)(https://www.kitware.com)
bat python包支持使用pandas、scikit learn和spark处理和分析bro数据
分析,机器学习,兄弟,还有你!
([视频](https://www.youtube.com/watch?v=pg5lu9clniu))
bro已经有了一种灵活、强大的脚本语言为什么我要使用
bat?
**卸载:**运行复杂的任务,如统计、状态机、
机器学习等。应该从Bro中卸载,以便Bro能够
专注于高效处理大容量网络流量。
**数据分析:**我们有一组大型支持类,帮助
将原始Bro数据桥接到pandas、scikit learn和
spark等包中。我们还提供了一些示例笔记本,演示如何从这里到那里逐步获取
。
er.brologreader('dhcp.log')
对于reader.readrows()中的行:
pprint(row)
`````
**输出:**每一行都是一个很好的python字典,具有时间戳和正确转换的类型。
{{assigned'ip':'192.168.84.10',
'id.orig'h':'192.168.84.10',
'亲历亲亲亲:68,
'id.resp'h':'192.168.84.84.1',
'id.resp'p'p'67,
'lease-time':datetime.timedelta(49710,23000),
'mac':'00:20:18:eb:ca:54',
'trans'trans'id':495764278,
'ts':datetime.datetime(2012,7,20,20,3,14,12,219654,
'uid':'cjsdsdsdsdp'id':67,
'lease-time':datetime.time':datetime(49time.timedelta'datetime.timedelta(49710 G95NCNF1RXUN5型'}
…
数据帧ead
print(bro-df.head())
```
**输出:*所有bro日志数据都在p and as数据帧中,以适当的
类型和时间戳作为索引3-09-15 17:44:27.631940 guyspy.com 192.168.33.10 1030 4.2.2.3
2013-09-15 17:44:27.696869 www.guyspy.com 192.168.33.10 1030 4.2.2.3
2013-09-15 17:44:28.060639 devrubn8mli40.cloudfront.net 192.168.33.10 1030 4.2.2.3
2013-09-15 17:44:28.141795 d31qbv1cthcs.cloudfront.net 192.168.33.10 1030 4.2.2.3
2013-09-15 17:44:28.422704 crl.entrust.net 192.168.33.10 1030 4.2.2.3
````
r/>处理旋转)
-bro logs to pandas dataframes and scikit learn
-动态监视文件.log并进行virustal查询
-动态监视http.log并显示"不常见"用户代理
-对提取的文件运行yara签名
-检查x509 certif指示
-异常检测
-请参见[bat
示例](https://bat tools.readthedocs.io/en/latest/examples.html)
了解更多详细信息。
r/>
-bro到scikit learn:[bro到
scikit](https://nbviewer.jupyter.org/github/supercowpowers/bat/blob/master/notebooks/bro到scikit learn.ipynb)
-bro到matplotlib:[bro到
plot](https://nbviewer.jupyter.org/github/supercowpowers/bat/blob/master/notebooks/bro到@plot)。ipynb)
-bro to parquet to spark:
[bro-&;gt;parquet-&;gt;spark](https://nbviewer.jupyter.org/github/supercowpers/bat/blob/master/notebooks/bro_to_parquet_to_spark.ipynb)
-bro to kafka to spark:
[bro-&;gt;kafka-&;gt;spark](https://nbviewer.jupyter.org/github/supercwpowers/bat/blob/master/notebooks/bro_u kafka_u to_u spark.ipynb)
-聚类:选取k(或不选取):[聚类k
超参数](https://nbviewer.jupyter.org/github/supercwpowers/bat/blob/master/notebooks/clustering_u picking_k.ipynb)
-异常检测探索:[anomaly
检测](https://nbviewer.jupyter.org/github/supercowpers/bat/blob/master/notebooks/anomaly戋detection.ipynb)
-危险域统计和部署:[risk
域](https://nbviewer.jupyter.org/github/supercowpers/bat/blob/master/notebooks/risk戋domains.ipynb)
安装
----
$pip install bat
文档
----
[bat tools.readthedocs.org](https://bat tools.readthedocs.org/)
谢谢
----
-Dummyencoder基于Tom Augsburger的伟大Pydata Chicago
2016[谈话](https://youtu.be/klptebokq0)
[![超级WPowers徽标](https://www.kitware.com/img/small_logo_over.png)(https://www.kitware.com)