用于管理、探索和分析基准数据的库。
metricx的Python项目详细描述
MetricX公司
用于管理、探索和分析基准数据的库。给一组任务
以及一组可以对任务进行评估的模型，MetricX提供了一个套件
功能包括：
- 监控和记录建模结果。在
- 导出到CSV、matplotlib、bokeh等等！在
- 智能选择下一个要评估的模型。在
- Jupyter笔记本的交互式可视化。在
- 交互式HTML报告（可通过Github页面部署）。在
快速入门
安装MetricX
您可以安装最新的稳定版本
pip install metricx
或者你可以安装开发头
^{pr2}$定义任务
首先，您需要定义您的任务。每个任务都有一个名称和 一组指标。在
frommetricximportMetric,Tasktask=Task(name="mnist-digits",metrics=[Metric(name="accuracy",is_higher_better=True),Metric(name="fit-time",is_higher_better=False),Metric(name="predict-time",is_higher_better=False),],)
报告结果
然后，您可以通过提供（1）模型的名称来报告结果 和（2）一个结果字典，其中包含每个 前面指定的指标。在
task.report("convnet",{"accuracy":1.0,"fit-time":100.0,"predict-time":3.0,})
task.report("logistic-regression",{"accuracy":0.6,"fit-time":10.0,"predict-time":1.0,})
生成图和排名
Task对象提供了许多生成绘图的功能
对模特进行排名。在
task.to_bokeh()# generate a Bokeh plottask.to_figure()# generate a matplotlib Figuretask.rank()# return a ranking of models
组合多个任务
如果您有多个任务（在基准测试场景中是典型的），那么
可以使用TaskGrid将它们包装在一起并生成组合
可视化等等。在
frommetricximportTaskGridgrid=TaskGrid([task])grid.to_html("benchmark.html")
这将创建一个独立的HTML文件，它允许您以交互方式 探索基准测试结果。在
- 项目
标签：
欢迎加入QQ群-->： 979659372
