BM25搜索算法在python中的实现

Question

我正在用python设计一个基于okapi bm25的搜索引擎，我应该使用什么来存储页面数据（相关性等）和tf、idf以实现快速访问？python shelf对于可伸缩的设计来说足够好吗？在

谢谢。在

Answer 1

我建议您看看wiredtiger它是一个功能强大的keyvalue存储，它比leveldb或bsddb（shelf模块使用bsddb）更快地构建存储。它们是不同的模式，你可以在stackoverflow中查找有关leveldb或bsddb的问题。在

如果您不熟悉键/值存储，我建议您将leveldb与plyvel一起使用，这是一个很好的开始，但不能像wiredtiger那样伸缩。在