如何计算两个ngram之间的语义相似度？

Question

我正在尝试计算两个bigram之间的语义相似度，我需要使用fasttext的预先训练的词向量来完成这个任务。在

例如：

b-gram是包含两个元素的python列表： [his, name]和{}

它们是两个元组，我需要用任何必要的方法计算这两个元组之间的相似性。在

我希望有一个分数可以给我一个很好的相似性的近似值。 例如，如果有方法可以告诉我[His, name]与{}比[An, apple]更相似。在

现在我只使用了余弦相似度，它包含了任何语义上的相似性。在

Answer 1

如果你先平均两个词向量在一个双元组中的平均值，余弦相似性可能会有用。所以你要取'his'和'name'的向量，把它们平均成一个向量。然后取“I”和“am”的向量，将它们平均成一个向量。最后，计算两个结果向量的余弦相似度，它应该给你一个粗略的语义相似度。在