基准解释方法。
bim的Python项目详细描述
BIM-基准解释方法
此存储库包含用于基准测试的数据集、模型和度量 文中所述的解释性方法（BIM）
- 标题：“BIM：对可解释性方法的定量评估” 有基本事实“
- 作者：Sherry（Mengjiao）Yang，Be Kim
使用此库时，请引用：
@Article{BIM2019,
title = {{BIM: Towards Quantitative Evaluation of Interpretability Methods with Ground Truth}},
author = {Yang, Mengjiao and Kim, Been},
year = {2019}
}
设置
从这个存储库的主目录运行以下命令来安装python 依赖项，下载bim模型，下载MSCOCO和 MiniPlaces，并构造bim 数据集。
pip install bim
source scripts/download_models.sh
source scripts/download_datasets.sh
python scripts/construct_bim_dataset.py
数据集
data/obj和data/scene中的图像相同，但具有对象和场景
分别标注，如上图所示。val_loc.txt记录
对象的左上角和右下角，val_mask具有二进制
验证集中对象的掩码。附加集合及其用法是
如下表所述。
| Name | Training | Validation | Usage | Description |
|---|---|---|---|---|
| ^{ | 90,000 | 10,000 | Model contrast | Objects and scenes with object labels |
| ^{ | 90,000 | 10,000 | Model contrast & Input dependence | Objects and scenes with scene labels |
| ^{ | 90,000 | 10,000 | Input dependence | Scene-only images with scene labels |
| ^{ | - | 200 | Relative model contrast | Dog in bedroom labeled as bedroom |
| ^{ | - | 100 | Input independence | Scene-only images of bamboo forest |
| ^{ | - | 100 | Input independence | Bamboo forest with functionally insignificant dog patch |
型号
在models/obj、models/scene和models/scene_only中的模型在
^分别为{data/scene和data/scene_only。模型
models/scenei对于i中的{1...10}在添加狗的图像上进行训练
到i场景类，而rest场景类不包含任何添加的
物体。所有模型都在tensorflow中
SavedModel格式。
指标
bim度量比较解释性方法在模型（模型）之间的表现。 对比度），跨同一模型的输入（输入依赖），以及跨 功能等效输入（输入独立）。
模型对比度得分
给定包含对象和场景的图像，模型对比度测量 在对象标签上训练的模型和 在场景标签上训练的模型。
输入依赖率
给定一个在场景标签上训练的模型，输入相关性度量 对象的添加导致区域被属性化的输入 不那么重要。
输入独立率
给定一个仅在场景图像上训练的模型，输入独立性度量 功能不重要的补丁（如狗）的输入百分比 不影响解释。
评价显著性方法
要在随机选择的10幅图像上计算模型对比度得分（MCS），可以 运行
python bim/metrics.py --metrics=MCS --num_imgs=10
要计算输入依赖率（idr），请将--metrics更改为IDR。计算
输入独立率（IIR），首先需要构造一组
运行
python scripts/construct_delta_patch.py
然后通过运行
python bim/metrics.py --metrics=IIR --num_imgs=10
评估TCAV
TCAV是全局概念属性 一种方法，其mcs可通过比较特定 对象模型和场景模型的对象概念。运行以下命令 计算对象模型的dog概念的tcav得分。
python bim/run_tcav.py --model=obj
免责声明
这不是官方支持的谷歌产品。
欢迎加入QQ群-->： 979659372
