如何构建一个概念搜索引擎？
我想建立一个内部搜索引擎，因为我有成千上万的XML文件。这个搜索引擎需要能够把搜索的内容和概念对应起来。比如说，如果我搜索“大型猫”，我希望搜索结果中能优先显示包含“大猫”的文档。同时，我也希望能看到“巨大动物”的相关内容，不过这些结果的相关性评分要低一些。
我现在正在阅读一本关于Python自然语言处理的书，发现WordNet这个工具可能有一些有用的词汇映射，但我不太确定怎么把它整合到搜索引擎里。我可以用Lucene来实现这个功能吗？怎么做呢？
经过进一步的研究，我发现“潜在语义分析”跟我想要的功能相关，但我不太清楚怎么去实现它。
有没有什么建议可以帮助我完成这个项目？
4 个回答
这个问题非常复杂，没办法总是找到完美的解决办法。建议你遵循一些简单的原则，这样结果至少是可以预测的。我认为你需要两个东西：一个基本的形态学引擎和一个同义词词典。
每当有搜索请求进来时，对于每个单词，你可以这样做：
- 先找一下字面上的匹配
- 用形态学引擎“规范化”这个单词，也就是把它变成单数、第一人称等，然后再找匹配的
- 查找这个单词的同义词
然后对输入的所有单词组合重复这个过程，比如“big cats”（大猫）、“big cat”（大猫）、“huge cats”（巨型猫）、“huge cat”（巨型猫）等等。
实际上，你还需要把索引数据存储成规范形式（单数、第一人称等），同时保留字面形式。
至于像“猫也是动物”这样的概念，这就比较棘手了。其实这一直都没能很好地实现，因为如果能做到的话，谷歌早就会返回概念匹配的结果了，但它并没有这样做。
首先，我同意这里大部分关于慢慢来、逐步实现这个宏伟计划的建议。可以先从小的部分开始，设计一个最基本的产品，然后再继续完善。
其次，如果你想在Lucene中使用一些Wordnet的功能，可以看看这个贡献包，它可以帮助你把Lucene的查询和Wordnet连接起来。我不太确定这个功能是否已经移植到pylucene上。祝你好运，外面的小心点。
我不太确定怎么把这个整合到搜索引擎里。我可以用Lucene来做到这一点吗？怎么做呢？
第一步：停下来。
第二步：先让某个东西能工作。
到那时，你会对Python、Lucene以及其他工具有更多的了解，知道怎么把它们结合起来。
不要一开始就想着解决整合的问题。软件总是可以整合的。这就是操作系统的作用，它整合了各种软件。有时候你可能想要更“紧密”的整合，但这绝对不是第一步要解决的问题。
第一步是让你的搜索功能或者其他概念能像一个简单的命令行应用那样工作。或者是通过文件传递或者操作系统管道把两个应用连接起来。
之后，你可以再考虑如何让用户体验更流畅。
但一开始不要纠结于整合的问题，也不要因为整合的问题而停滞不前。先把整合放一边，先让某个东西能工作。