保存按键排序的Shelf Dictionarylike对象

Question

我有一本很大的字典 100000个键和大的numpy数组作为值。我想把它保存为文件以便更快地加载。你知道吗

我试着把它当泡菜扔掉，但我的记忆快用完了。然后尝试json.dump文件但不支持Numpy数组作为值。你知道吗

上一次我试着用架子，但不能按顺序保存。你知道吗

我有以下代码：

with closing(shelve.open('file1.shelf', 'c')) as f:
     for id in ids:
         f[id] = np.array().shape(300, 27, 3)

我想保存类似于书架的dictionary对象，以便与id相关。所以我想按id排序，然后保存为文件。 我可以使用OrderedDict on shelf对象，还是应该使用其他方法来解决此特定问题？你知道吗

img_dic = collections.OrderedDict(sorted(f.items()))

谢谢！你知道吗

Answer 1

您是否尝试过从Numpy数组字典创建Numpy数据帧？dict的键可以是索引列。数据帧将有多种方式保存到磁盘中。你知道吗

也许那里的to_pickle方法更有效。https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.to_pickle.html

否则，可以另存为拼花文件或多种其他格式