如何在磁盘映射器之间获得共享的全局对象

Question

我的每一个地图绘制者都需要访问非常大的字典。有没有什么方法可以避免每个映射器打开自己的副本的开销，而是让所有映射器都指向一个全局共享对象？你知道吗

任何针对DISCO或mapreduce范例的建议都会很有帮助。你知道吗

Answer 1

使用Redis键值存储

可以在Linux和Windows上快速安装编译版本也可用。你知道吗

python redis package将允许您非常轻松地编写、读取和更新值。你知道吗

使用hash数据类型最适合您，您可以向所谓的字段添加/编辑新值（Python字典术语中的键），它非常快速而且非常简单。你知道吗

此解决方案甚至适用于独立进程。您甚至可以通过网络共享Redis中的数据，所以对于map/reduce场景，这是一个很好的选择。你知道吗

在存储和恢复值时，唯一需要注意的是，值只能是字符串，因此必须对它们进行序列化和反序列化。json.dumps文件以及json.loads文件很适合这个。你知道吗