pythontfidf预测了一个新的文档相似度

Question

受this答案的启发，我试图找到经过训练的tf-idf矢量器与新文档之间的余弦相似性，并返回相似的文档。在

下面的代码查找第一个向量的余弦相似性，而不是一个新的查询

>>> from sklearn.metrics.pairwise import linear_kernel
>>> cosine_similarities = linear_kernel(tfidf[0:1], tfidf).flatten()
>>> cosine_similarities
array([ 1.        ,  0.04405952,  0.11016969, ...,  0.04433602,
    0.04457106,  0.03293218])

因为我的列车数据量很大，所以在整个经过训练的矢量器中循环似乎是个坏主意。 我如何推断一个新文档的向量，并找到相关文档，与下面的代码相同？在

^{pr2}$

Answer 1

对于巨大的数据集，有一种解决方案叫做按概念的文本聚类。搜索引擎使用这种技术

在第一步，您将您的文档聚类到一些组（例如50个集群），然后每个集群都有一个具有代表性的文档（其中包含一些单词，其中包含有关其集群的一些有用信息）
在第二步，为了计算新文档和您的数据集之间的余弦相似性，您将遍历所有代表（50个数字）并找到顶部附近的代表（例如2个代表性）
在最后一步中，您可以遍历选定代表中的所有文档，并找到最接近的余弦相似度

有了这种技术，你可以减少循环次数，提高性能， 你可以在这本书的某一章里读到更多的技巧：http://nlp.stanford.edu/IR-book/html/htmledition/irbook.html