处理来自不同文档的相同词汇

Question

我正在制作一个Python类，用来计算文档中每个单词的tfidf权重。现在我的数据集中有50个文档。在这些文档中，很多单词是重复的，也就是说同一个单词在不同文档中出现，但它们的tfidf权重不同。那么问题是，我该如何把所有的权重加起来，变成一个单一的权重呢？

Answer 1

首先，我们来搞清楚一些术语。一个“术语”是指在一堆文本中像单词一样的单位。而“标记”则是指在特定文档中特定位置的术语。一个术语可以在文档中出现多次，形成多个标记。例如，在我的回答中，术语“the”出现了很多次，所以有很多标记都是“the”。但“the”这个术语只有一个。

我觉得你有点困惑。TF-IDF这种加权方式是用来计算每个术语的得分，它是根据术语在文档中的出现频率和在整个文本库中的出现频率来决定的。TF-IDF会把文档转换成术语和权重的对应关系。所以，如果一个文档中有多个标记使用同一个术语，那么这个术语的权重就会增加，但每个术语只有一个权重。在文档内部，使用同一个术语的标记不会单独有得分。