python中的句意相似

Question

我正在寻找一种计算句子意思相似性的方法。我使用余弦相似性，但它不是我想要的。你知道吗

我想把下面的句子计算得一样。你知道吗

1. 他和他父亲很亲近。你知道吗
2. 他和他父亲有着极好的关系。你知道吗

我不想计算有多少单词是相似的，但想知道两个句子的意思是否相同。 有没有办法做到这一点？你知道吗

Answer 1

一种方法是使用预先训练好的词向量（“嵌入”）来表示每个词。这些向量具有几百个维度，其中具有相似含义的单词（例如，“close”、“bond”）应该具有相似的向量。其核心思想是单词嵌入可以表示两个句子有相似的意思，即使他们使用不同的词。你知道吗

• 这可以在一个包（比如python中的Spacy）中快速完成。见https://spacy.io/usage/vectors-similarity
• 常用的预训练向量包括Google新闻词嵌入（https://github.com/mmihaltz/word2vec-GoogleNews-vectors）和手套嵌入（https://nlp.stanford.edu/projects/glove/）。你知道吗

这里有一个简单的方法：通过预训练的嵌入和句子中的平均单词来表示每个单词。现在使用任何合理的距离度量来比较向量（余弦是标准的）。你知道吗