sklearn的cross_val_score准确率低于手动交叉验证

Question

我正在做一个文本分类的项目，设置大概是这样的（为了简洁，我省略了数据处理的步骤，但最终会生成一个叫做 data 的数据框，里面有 X 和 y 两列）：

import sklearn.model_selection as ms
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.ensemble import RandomForestClassifier

sim = Pipeline([('vec', TfidfVectorizer((analyzer="word", ngram_range=(1, 2))),
                ("rdf", RandomForestClassifier())])

现在我想验证这个模型，我会用数据的三分之二来训练它，然后用剩下的三分之一来评分，像这样：

train, test = ms.train_test_split(data, test_size = 0.33)
sim.fit(train.X, train.y)
sim.score(test.X, test.y)
# 0.533333333333

我想这样做三次，分别用三个不同的测试集，但使用 cross_val_score 的时候，得到的结果要低很多。

ms.cross_val_score(sim, data.X, data.y)
# [ 0.29264069  0.36729223  0.22977941]

据我所知，那个数组里的每个分数应该都是用三分之二的数据训练，然后用剩下的三分之一通过 sim.score 方法来评分的。那么，为什么它们的分数都这么低呢？

相关问题：

• 暂无相关问题

Answer 1

我在写问题的过程中解决了这个问题，所以我来分享一下：

默认情况下，cross_val_score会使用KFold或StratifiedKFold来划分数据的折叠。默认情况下，这两种方法的参数shuffle=False，也就是说，数据的划分不会是随机的：

import numpy as np
import sklearn.model_selection as ms

for i, j in ms.KFold().split(np.arange(9)):
    print("TRAIN:", i, "TEST:", j)
TRAIN: [3 4 5 6 7 8] TEST: [0 1 2]
TRAIN: [0 1 2 6 7 8] TEST: [3 4 5]
TRAIN: [0 1 2 3 4 5] TEST: [6 7 8]

我的原始数据是按标签排列的，所以在这种默认情况下，我试图预测一些在训练数据中没有见过的标签。这种情况在我强制使用KFold时更明显（因为我在做分类，所以默认使用StratifiedKFold）：

ms.cross_val_score(sim, data.text, data.label, cv = ms.KFold())
# array([ 0.05530776,  0.05709188,  0.025     ])
ms.cross_val_score(sim, data.text, data.label, cv = ms.StratifiedKFold(shuffle = False))
# array([ 0.2978355 ,  0.35924933,  0.27205882])
ms.cross_val_score(sim, data.text, data.label, cv = ms.KFold(shuffle = True))
# array([ 0.51561106,  0.50579839,  0.51785714])
ms.cross_val_score(sim, data.text, data.label, cv = ms.StratifiedKFold(shuffle = True))
# array([ 0.52869565,  0.54423592,  0.55626715])

手动操作给我的得分更高，因为train_test_split做的事情和KFold(shuffle = True)是一样的。