如何有效地在机器之间传递变量？

Question

这是一个一般性的问题，但我想知道在机器之间共享数据的一些不同方法。在

基本上，我有一个进程，它生成大型引用表（通常超过10gig python dict），然后其他机器运行独立的进程，但引用该表。dict一旦创建就不会改变，所有其他机器都只是引用它来完成它们的工作。我倾向于将所有这些存储在数据库中，然后让所有服务器查询服务器以获取数据。我只是怀疑它可能同时有多个10gig+查询可能不是最好的方法。我曾考虑过一个平面文件或使用分发工具传递它。在

有没有其他方法可以在多台机器之间共享这个python dict（一般的方法可以，但是我使用python，所以任何库建议都可以使用）？在

Answer 1

嗯，是的，把它存储在某种共享数据存储中是有意义的。根据您的具体需求，您可能会发现最好将数据存储在某种nosql类型的存储中。例如redis（http://redis.io）非常合理，并且支持各种数据结构，包括哈希表。在