真阳性和假阳性的总和为零是什么意思？
我正在使用scikit learn进行交叉验证，使用的是StratifiedKFold来计算f1 score，但是它提示我有些标签的真正例和假正例的总和为零。我以为使用StratifiedKFold应该能避免这个问题？为什么我会遇到这个问题呢？
另外，有没有办法从cross_val_score函数中获取混淆矩阵呢？
1 个回答
你的分类器可能把所有的数据点都判断为负类，所以没有正类。你可以通过查看混淆矩阵来确认这一点（这里有文档和示例）。没有关于你的数据和分类器选择的信息，很难判断发生了什么，但常见的原因包括：
代码中有bug。检查你的训练数据中是否包含负类数据点，并确保这些数据点的特征值不是零。
分类器参数不合适。如果使用朴素贝叶斯，检查一下你的类别偏差。如果使用支持向量机（SVM），可以尝试对参数值进行网格搜索。
sklearn的 classification_report 函数可能会对你有帮助（文档）。
关于你的第二个问题：分层抽样确保每一折中包含来自所有类别的大致相同比例的数据点。这并不意味着你的分类器会表现得很好。
更新：
在分类任务中（尤其是当类别不平衡时），你是在精确度和召回率之间做权衡。根据你的应用场景，你可以设置分类器，使其大部分时间表现良好（即高准确率），或者让它能够检测到你关心的少数数据点（即对小类别的高召回率）。例如，如果任务是将支持邮件转发到正确的部门，你会希望有高准确率。偶尔错误分类一年才收到一次的邮件是可以接受的，因为你只会让一个人不高兴。如果你的任务是检测儿童论坛上的性侵害者的帖子，你绝对不希望漏掉任何一个，即使这样可能会导致一些帖子被错误标记。总之：你应该根据你的应用场景进行优化。
你是使用微平均还是宏平均来计算召回率？在前者的情况下，频繁类别会被赋予更多权重（这类似于优化准确率），而在后者中，所有类别的权重是相同的。