如何使用WordNet查找两个网页之间的语义关系？
我想找一种方法来判断两个网页之间是否有语义上的关系。我在网上搜索了一下，发现了一个叫做WordNet的东西（这是一个很大的词汇数据库）。我想知道怎么用Python和WordNet来实现这个目标？
2 个回答
1
我个人没怎么用过，但我听说 NLTK（自然语言工具包） 这个库在做语言分析方面非常有帮助。它们网上有很多不错的文档和教程，还有很多语言数据集，可以帮助你入门。
4
最简单粗暴的方法是：
从每个页面提取出前N个关键词（也就是最重要的词）。这可以很简单，比如根据出现频率选出前N个词，排除掉一些常用的无意义词，比如英语中的“a, the, an”。这样你就能为每个页面得到一组特征。
比较不同页面之间的关键词，看它们有没有重叠。你可以使用Wordnet来比较你提取的词的同义词，比如“sneakers”和“trainers”。如果你发现这些关键词有一定的重合，那说明这些页面在某种程度上是相关的。
补充：
为了更好地为每个页面提取关键词特征，可以提取一些在统计上显著的词。你可以通过获取或编制一个包含1、2、3个词的n-gram列表（比如从维基百科这样的参考文本中）来实现。然后计算你页面上的词或短语的n-gram，并将这些n-gram的出现频率与全球n-gram集合中的频率进行比较。如果你发现你页面上的n-gram出现得比参考文本中预期的频率要高，那么这些词很可能在统计上对这个页面是重要的。
这个过程的难点在于获取或编制参考n-gram（它需要足够大，才能在统计上有效），你需要用它来和你网页上的n-gram进行比较。你可以获取谷歌的n-gram语料库，或者通过查看像维基百科这样可以免费下载的网站来建立自己的n-gram集合。如果你在谷歌上多找找，可能会发现其他人也发布了一些免费的n-gram集合。