大型数据集的字典接口

Question

我有一组键值对（都是文本），数据量太大，无法一次性加载到内存中。我想通过类似Python字典的方式来操作这些数据。

有没有这样的模块已经存在呢？

读取键值应该高效，并且值在磁盘上要压缩，以节省空间。

编辑：

• 最好是跨平台的，但现在只在Linux上使用
• 需要线程安全

Answer 1

可以试试 bsddb（Python与Berkley数据库的连接工具）

Answer 2

看看这个 shelve 模块。它可以让你使用字典，并且支持多种数据库系统，比如 BerkleyDB 和 dbm。

Answer 3

最后我根据这个现有的模块，创建了我自己的解决方案。