使用TextBlob的朴素贝叶斯文本分类：增加样本量后每个实例均预测为负类

Question

我正在使用朴素贝叶斯模型对文档进行分类，把它们标记为正面和负面。对于大约72个文档的小型平衡数据集，这个模型似乎运行得很好。但是，当我添加更多负面标记的文档时，分类器就开始把所有的文档都预测为负面。

我把数据集分成了80%的训练集和20%的测试集。添加更多负面标记的文档确实让数据集变得不平衡。是不是这种不平衡导致分类器把每个测试文档都预测为负面呢？我使用的是TextBlob/nltk实现的朴素贝叶斯模型。

有什么想法吗？

Answer 1

是的，有可能是你的数据集让分类器产生了偏差。如果没有很明显的信号来告诉分类器应该选择哪个类别，那么它可能会选择出现频率最高的类别（在你的情况下是负类）。你有没有尝试过绘制类别分布和准确率的关系图？另一个可以尝试的方法是k折交叉验证，这样就不会偶然地得到一个偏向的80-20训练和测试划分。