使用Python为多分类绘制ROC曲线

Question

接着之前的内容：在Python中将一维数组转换为基于类的二维矩阵

我想为我的46个类别绘制ROC曲线。我有300个测试样本，已经用我的分类器进行了预测。

y_test是实际的类别，而y_pred是我的分类器预测的结果。

这是我的代码：

    from sklearn.metrics import confusion_matrix, roc_curve, auc
    from sklearn.preprocessing import label_binarize
    import numpy as np

    y_test_bi = label_binarize(y_test, classes=[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18, 19,20,21,2,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,3,40,41,42,43,44,45])
    y_pred_bi = label_binarize(y_pred, classes=[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18, 19,20,21,2,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,3,40,41,42,43,44,45])
    # Compute ROC curve and ROC area for each class
    fpr = dict()
    tpr = dict()
    roc_auc = dict()
    for i in range(2):
        fpr[i], tpr[i], _ = roc_curve(y_test_bi, y_pred_bi)
        roc_auc[i] = auc(fpr[i], tpr[i])

但是，现在我遇到了以下错误：

Traceback (most recent call last):
  File "C:\Users\app\Documents\Python Scripts\gbc_classifier_test.py", line 152, in <module>
    fpr[i], tpr[i], _ = roc_curve(y_test_bi, y_pred_bi)
  File "C:\Users\app\Anaconda\lib\site-packages\sklearn\metrics\metrics.py", line 672, in roc_curve
    fps, tps, thresholds = _binary_clf_curve(y_true, y_score, pos_label)
  File "C:\Users\app\Anaconda\lib\site-packages\sklearn\metrics\metrics.py", line 505, in _binary_clf_curve
    y_true = column_or_1d(y_true)
  File "C:\Users\app\Anaconda\lib\site-packages\sklearn\utils\validation.py", line 265, in column_or_1d
    raise ValueError("bad input shape {0}".format(shape))
ValueError: bad input shape (300L, 46L)

Answer 1

使用 label_binarize：

import matplotlib.pyplot as plt
from sklearn import svm, datasets
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import label_binarize
from sklearn.metrics import roc_curve, auc
from sklearn.multiclass import OneVsRestClassifier

iris = datasets.load_iris()
X = iris.data
y = iris.target

# Binarize the output
y = label_binarize(y, classes=[0, 1, 2])
n_classes = y.shape[1]

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.5, random_state=0)
classifier = OneVsRestClassifier(svm.SVC(kernel='linear', probability=True,
                                 random_state=0))
y_score = classifier.fit(X_train, y_train).decision_function(X_test)

fpr = dict()
tpr = dict()
roc_auc = dict()
for i in range(n_classes):
    fpr[i], tpr[i], _ = roc_curve(y_test[:, i], y_score[:, i])
    roc_auc[i] = auc(fpr[i], tpr[i])
colors = cycle(['blue', 'red', 'green'])
for i, color in zip(range(n_classes), colors):
    plt.plot(fpr[i], tpr[i], color=color, lw=lw,
             label='ROC curve of class {0} (area = {1:0.2f})'
             ''.format(i, roc_auc[i]))

plt.plot([0, 1], [0, 1], 'k--', lw=lw)
plt.xlim([-0.05, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver operating characteristic for multi-class data')
plt.legend(loc="lower right")
plt.show()

Answer 2

roc_curve 这个函数需要的输入是一个形状为 [n_samples] 的参数（链接），而你的输入（无论是 y_test_bi 还是 y_pred_bi）的形状是 (300, 46)。注意到这一点。

我觉得问题在于 y_pred_bi 是一个概率数组，它是通过调用 clf.predict_proba(X) 创建的（请确认一下）。因为你的分类器是针对所有 46 个类别进行训练的，所以它会为每个数据点输出一个 46 维的向量，而 label_binarize 在这里是无能为力的。

我知道有两种解决办法：

1. 通过在 clf.fit() 之前调用 label_binarize 来训练 46 个二分类分类器，然后再计算 ROC 曲线。
2. 将 300 行 46 列的输出数组的每一列切片，然后将其作为第二个参数传递给 roc_curve。这是我更喜欢的方法，前提是我假设 y_pred_bi 包含的是概率。