我构建了两个不同的模型,我想检查这两个模型是否犯了相同的错误(错误地将相同的示例分类),或者它们是否犯了不同的错误。数据集只有两个标签:正/负
基本上我想要一个类似的混淆矩阵
#num examples两个模型预测正确
num examples模型A预测正确,但模型B预测错误
num examples模型B预测正确,但模型A预测错误
num examples两个模型预测错误
即,假设数据集中的示例#1由模型A正确预测,但由模型B错误预测。两人都错误地预测了示例2,两人都正确地预测了示例2。Byt“正确预测”我的意思是如果标签是阴性,我预测为阴性,如果标签是阳性,我预测为阳性
预期结果:
1|1|0|1
假设模型不是很大,并且可以同时将它们放在内存中,则可以初始化这两个模型(所有层、权重等),在这两个模型上加载训练值,然后设置一种测试方法,对批次执行推断,并检查每个模型的正/负。给定两个与相同测试值对应的正/负向量,可以创建一个复合向量
通过将正视为1,将负视为0,您可以:
这样,您可以在
vectorCompound
中收集值:相关问题 更多 >
编程相关推荐