如何在磁盘映射器之间获得共享的全局对象

2022-09-28 20:58:36 发布

您现在位置:Python中文网/ 问答频道 /正文

我的每一个地图绘制者都需要访问非常大的字典。有没有什么方法可以避免每个映射器打开自己的副本的开销,而是让所有映射器都指向一个全局共享对象?你知道吗

任何针对DISCO或mapreduce范例的建议都会很有帮助。你知道吗


Tags: 对象方法字典地图副本绘制全局建议指向mapreducedisco范例
1条回答
网友
1楼 ·

使用Redis键值存储

可以在Linux和Windows上快速安装编译版本也可用。你知道吗

python redis package将允许您非常轻松地编写、读取和更新值。你知道吗

使用hash数据类型最适合您,您可以向所谓的字段添加/编辑新值(Python字典术语中的键),它非常快速而且非常简单。你知道吗

此解决方案甚至适用于独立进程。您甚至可以通过网络共享Redis中的数据,所以对于map/reduce场景,这是一个很好的选择。你知道吗

在存储和恢复值时,唯一需要注意的是,值只能是字符串,因此必须对它们进行序列化和反序列化。json.dumps文件以及json.loads文件很适合这个。你知道吗

热门问题