用于管理scipy.sparse矩阵列表的嵌套列表的实用程序
coo_utils的Python项目详细描述
coo_utils与numpy和scipy.sparse(仅二维)一起工作以存储 压缩了内存和磁盘上的多维数组。这个罐头 大幅减少所需空间。
实际上,存储的是包含稀疏矩阵的列表列表 scipy.sparse.coo_矩阵格式的节点。存储格式可以 要么是正常的,要么是差异的(对于相同的值块数据有帮助)。
代码中使用的一些术语:
coo hd:scipy.sparse.coo_矩阵的列表(或深度嵌套列表)(hd表示更高维度)
nnzs:与coohd中的嵌套列表形状相同的数组(也就是没有2个coo_矩阵维度),它给出树的每个节点上每个coo_矩阵(nnz)的长度
rcd:表示为平行列数据矩阵的稀疏数组。使用nnzs数组可以恢复多维形状数据
< H2>磁盘存储格式使用RCD FMAT以达到最简单:
*rcd.npy-以.npy格式存储的rcd矩阵(int32)
*nnzs.npy-nnzs数组存储为.npy格式(int)
*shape.txt-一个简单的文本文件,数组的完整形状为逗号分隔的纯文本