使用hpc的python性能监视工具
cihpc的Python项目详细描述
高性能计算机·
一个simple框架,可以监视软件包的性能和可伸缩性。 本文提出的框架结合了连续积分&;高性能计算 以及一组最简单的python脚本。 结果可以以静态Jupyter笔记本或交互式网页的形式可视化。
功能
- 自动运行项目的基准
- 检查项目的性能和可扩展性
- 使用类似travis的语法构建矩阵功能(
YAML
格式)创建复杂配置
如何使用ci-hpc?
首先执行以下命令安装框架:
pip3 install --user ci-hpc
为存储库创建配置(文件
config.yaml
)。 在这个协同配置中,您应该指定几个选项。ci-hpc
需要知道,哪些存储库是项目的一部分。 可以指定一个或多个存储库。每个存储库将 安装时克隆并签出。您还需要告诉
ci-hpc
如何安装项目。
它可以简单到./configure; make; make install
或pip install ./foo/
但它也可能相当复杂,你甚至可以简化 使用安装文件的整个过程:
像这样的东西!sh install.sh
(install.sh
在本例中是一个shell脚本,它包含 您的安装过程)接下来是测试部分。这里,
ci-hpc
需要知道, 您希望在什么配置下运行什么基准测试。 您可以创建复杂的构建矩阵,以便您的配置 可以保持简单和透明。
完成配置后。你应该核实一下, 它正在工作。假设结构如下:
. └── hello-world └── config.yaml
用
执行ci-hpc
cihpc --project hello-world
如果一切正常,则设置MongoDB服务器并添加集合 节(再次输入文件
config.yaml
):ci-hpc
需要知道,要存储什么结果。 它是一个json
分析器还是yaml
结果? 或者计时是以xml
格式保存的吗?在那里ci-hpc
是对json
和yaml
的一些一般支持 格式化,但您可以编写自己的artifact
模块 把它放在正确的文件夹里。大部分繁重的工作已经在家长班完成了 所以添加一个新的收集模块应该比较容易。
现在要显示结果,请设置可视化服务器。
有什么新消息?
- 现在支持单个项目中的多个存储库
- 通过在计算节点上使用多个核心加快测试过程
- 使用
commit-browser
模块在以前的提交上轻松运行ci hpc - 根据先前的结果自动确定要运行的测试
- webhook支持,在新提交时自动启动
ci-chp
接下来是什么?
- 在怀疑性能有重大变化时运行额外的测试
- 从分析数据库中的记录创建Web可视化配置