Python中的文本分类 - （基于NLTK的句子）
我需要对文本进行分类，正在使用Python的Text blob模块来实现这个目标。我可以选择使用朴素贝叶斯分类器或决策树。我对以下几点有些担心。
1) 我需要将句子分类为“论点”或“非论点”。我正在使用两个分类器，并用合适的数据集来训练模型。我的问题是，我是否只需要用关键词来训练模型？还是可以用所有可能的论点和非论点的示例句子来训练数据集？从文本分类的准确性和检索时间来看，哪种方法更好呢？
2) 由于分类结果只有“论点”或“非论点”，那么哪个分类器能得到最准确的结果？是朴素贝叶斯、决策树，还是正向朴素贝叶斯？
提前谢谢你。
1 个回答
1
理想情况下，人们常说，训练数据越多，结果就会越好，但实际上这还得看你测试后的结果和你准备的真实结果进行比较。
所以，针对你的问题，用关键词训练模型可能会得到一些太宽泛的结果，这些结果可能并不是有效的论点。不过，实际上你需要有个对比，所以我建议你可以尝试用一些句子结构来训练你的模型，这样可以找出论点通常遵循的模式，这样可能会排除掉那些不是论点的内容。再说一次，做完这些后，测试一下，看看你的新模型是否比之前的准确率更高。
至于你下一个问题：在文本分类的准确性和检索时间方面，哪种方法最好？这真的取决于你使用的数据。我无法直接回答这个问题，因为你需要进行交叉验证，看看你的模型是否能达到高准确率。显然，你关注的特征越多，你的学习算法的表现就可能越差。如果你要处理的是几GB的文本，我建议使用Mapreduce来完成这个工作。
你可能还想看看支持向量机（SVM）作为你的学习模型，试着和其他学习模型（比如朴素贝叶斯、正向朴素贝叶斯和决策树）进行对比，看看哪个表现更好。
希望这些对你有帮助。