如何在python字典中存储大数据集？

Question

我有几兆字节的数据，我想存储和能够快速查找。当然，我不能简单地使用python字典，因为它的大小受RAM大小的限制。在

我尝试过使用dbm python:https://docs.python.org/3/library/dbm.html，但对我的应用程序来说太慢了。在

Answer 1

看看Neueda在https://github.com/blu-corner/heliumdb所做的工作 此界面提供了几个重要功能： 1它使用本机字典接口，因此您不需要使用新的API，也不必更改代码 2它很快。比在下面使用数据库要快得多 三。您可以将字典放在单独的服务器上，并让多个Python程序共享同一个字典。当然，您仍然需要在应用程序级别处理并发控制，但是字典在所有程序中始终是一致的。对于字符串类型，性能接近本机内存字典。希望有帮助。如果你想的话，我可以给你寄一些代码样本

Answer 2

您可以使用基于磁盘的键值存储。类似于LevelDB的东西可能与{a2}一起工作，同时保持性能