sklearn.neural_networks.mlPrePressor无法计算准确度分数

Question

这是我关于StackOverflow的第一篇文章！我正在使用MLPRegressor为我的问题生成一个二进制类多输出预测。一旦我得到我的预测，我就使用numpy.round()对所有值进行四舍五入，这样我就可以使用accuracy_score（因为准确度评分只适用于分类问题）。在此之后，当出现以下错误时，我尝试使用sklearn.metrics.accuracy_score：

ValueError: Classification metrics can't handle a mix of multilabel-indicator and multiclass-multioutput targets

只有在MLPRegressor中手动设置max_iter关键字参数时，才会发生此错误。如果不手动设置，回归器不会收敛，但不会发生错误

from sklearn.neural_network import MLPRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
import numpy as np
from joblib import dump, load
data = np.loadtxt('tictac_multi.txt')
X = data[:,:9]
y = data[:,9:]
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size = 0.20,random_state=7)
regr = MLPRegressor(random_state=7,hidden_layer_sizes=(9,81,729,81,81,9),activation='tanh',learning_rate='invscaling',solver='adam',max_iter = 400).fit(X_train, y_train)
preds = regr.predict(X_test)
preds = np.round(preds)
print(accuracy_score(y_test,preds))

下面是数据集的链接：http://www.connellybarnes.com/work/class/2016/deep_learning_graphics/proj1/tictac_multi.txt

堆栈跟踪：

Traceback (most recent call last):
  File "mlp.py", line 21, in <module>
    scores.append(accuracy_score(y_test,preds))
  File "C:\Users\animu\AppData\Local\Programs\Python\Python37\lib\site-packages\sklearn\utils\validation.py", line 73, in inner_f
    return f(**kwargs)
  File "C:\Users\animu\AppData\Local\Programs\Python\Python37\lib\site-packages\sklearn\metrics\_classification.py", line 187, in accuracy_score
    y_type, y_true, y_pred = _check_targets(y_true, y_pred)
  File "C:\Users\animu\AppData\Local\Programs\Python\Python37\lib\site-packages\sklearn\metrics\_classification.py", line 91, in _check_targets
    "and {1} targets".format(type_true, type_pred))
ValueError: Classification metrics can't handle a mix of multilabel-indicator and multiclass-multioutput targets

Answer 1

正如错误消息所述，发生这种情况是因为

Classification metrics can't handle a mix of multilabel-indicator and multiclass-multioutput targets

这意味着accuracy_score()可以在多标签的情况下工作，例如您的情况，但如果类标签不是二进制的，则不能

您正在声明，您有一个二进制类多输出预测，但是在您的预测中，preds[89]除了二进制输出0和1之外，还包含一个值2

preds[89]

返回

array([ 0., -0., -0., -0.,  1.,  2., -0., -0., -0.])

除了预测数组中的89之外，其他非二进制值的条目可以在以下位置找到：

• preds[139]
• preds[501]
• preds[503]
• preds[770]
• preds[1039]
• preds[1107]

因此，您现在必须确保这些条目（所有条目都有值2）被转换为二进制标签（0或1），以便accuracy_score()工作

可能的解决方案：

您可以用值1替换目标值2的所有出现：

for outer_index in range(preds.shape[0]):
  for index in range(preds[outer_index].shape[0]):
    if(np.abs(preds[outer_index][index]) != 0 and np.abs(preds[outer_index][index]) != 1):
      preds[outer_index][index]=1

然后可以调用accuracy_score()方法：

print(accuracy_score(y_test,preds))

返回

0.8367658276125095