一个用于编写自己的日志铲的基础库,即可以在文件上运行正则表达式并给您提供有意义的信息(如STATS)的东西。添加您自己的正则表达式和即插即用。有关详细信息,请参阅自述文件。
log_scraper的Python项目详细描述
logscraper是一个通用库,用于通过在日志文件上运行regex从日志文件收集统计信息。您可以做的事情是:\*在
并行的任意数量的文件上创建并运行任意数量的regex。\*通过在正则表达式中创建命名的
正则表达式组来聚合统计信息\*获取存档日志(只要您告诉
您的存档所在地)\*从远程框中获取文件\*将统计信息打印到控制台\*将正则表达式匹配到控制台\*在gzip文件上搜索安装是从pypi
存储库中获取包。
::
----
例如:
:
from log撸scraper.base import logscraper
import log撸scraper.consts as lsc
file path='/path/to/file'
file name='filename.ext'
scraper=logscraper(默认的撸filepath={lsc.default撸filepath:filename})
scraper.add撸regex(name='regex1',pattern=r'your廑regex廑here')
scraper.view_regex_matches(scraper.get_regex_matches())
创建您自己的类,该类派生自
logscraper,它预先设置要运行的路径和regex,以便任何人都可以在任何地方使用该类从进程日志中挖掘数据。
development
----
-`paramiko<;http://paramiko-www.readthedocs.org/en/latest/index.html>;`
测试
~~~~~
>若要成功测试,必须在UNIX上设置虚拟环境,在包的根文件夹中,执行以下操作:
``python-m virtualenv。source./bin/activate./bin/python setup.py develop``
现在您可以进行任何更改,然后通过执行以下操作运行单元测试:
:
:
./bin/python setup.py test
并行的任意数量的文件上创建并运行任意数量的regex。\*通过在正则表达式中创建命名的
正则表达式组来聚合统计信息\*获取存档日志(只要您告诉
您的存档所在地)\*从远程框中获取文件\*将统计信息打印到控制台\*将正则表达式匹配到控制台\*在gzip文件上搜索安装是从pypi
存储库中获取包。
::
----
例如:
:
from log撸scraper.base import logscraper
import log撸scraper.consts as lsc
file path='/path/to/file'
file name='filename.ext'
scraper=logscraper(默认的撸filepath={lsc.default撸filepath:filename})
scraper.add撸regex(name='regex1',pattern=r'your廑regex廑here')
scraper.view_regex_matches(scraper.get_regex_matches())
创建您自己的类,该类派生自
logscraper,它预先设置要运行的路径和regex,以便任何人都可以在任何地方使用该类从进程日志中挖掘数据。
development
----
-`paramiko<;http://paramiko-www.readthedocs.org/en/latest/index.html>;`
测试
~~~~~
>若要成功测试,必须在UNIX上设置虚拟环境,在包的根文件夹中,执行以下操作:
``python-m virtualenv。source./bin/activate./bin/python setup.py develop``
现在您可以进行任何更改,然后通过执行以下操作运行单元测试:
:
:
./bin/python setup.py test