如何从稀疏矩阵中选择一些行,然后用它们构成一个新的稀疏矩阵

2024-03-28 20:46:33 发布

您现在位置:Python中文网/ 问答频道 /正文

我有一个非常大的稀疏矩阵(100000列和100000行)。我想选择这个稀疏矩阵的一些行,然后用它们来形成一个新的稀疏矩阵。我试图先把它们转换成稠密矩阵,然后再转换成稀疏矩阵。但当我这么做的时候,python会产生一个“内存错误”。然后我尝试了另一种方法,我选择稀疏矩阵的行,然后将它们放入一个数组中,但是当我试图将这个数组转换为稀疏矩阵时,它会说:‘ValueError:一个包含多个元素的数组的真值是不明确的。使用a.any()或a.all()。' 那么如何将这个列表稀疏矩阵转换成一个大的稀疏矩阵呢?在

# X_train is a sparse matrix of size 100000x100000, it is in sparse form
# y_train is a 1 denmentional array with length 100000
# I try to get a new sparse matrix by using some rows of X_train, the 
#selection criteria is sum of the sparse row = 0

#y_train_new = []
#X_train_new = []
for i in range(len(y_train)):
    if np.sum(X_train[i].toarray()[0]) == 0:
        X_train_new.append(X_train[i])
        y_train_new.append(y_train[i])

当我这样做的时候:

^{pr2}$

我收到错误信息:

'ValueError: The truth value of an array with more than one element is 
ambiguous. Use a.any() or a.all().'

Tags: oftheinnewiswithanytrain
1条回答
网友
1楼 · 发布于 2024-03-28 20:46:33

我添加了一些标签,可以帮助我更快地看到你的问题。在

当询问错误时,最好提供部分或全部的回溯,这样我们就可以看到错误发生的位置。有关问题函数调用的输入信息也有帮助。在

幸运的是,我可以相当容易地重现这个问题,而且是一个大小合理的例子。不需要做一个10万x10000矩阵,没有人可以看!在

制作一个中等大小的稀疏矩阵:

In [126]: M = sparse.random(10,10,.1,'csr')                                                              
In [127]: M                                                                                              
Out[127]: 
<10x10 sparse matrix of type '<class 'numpy.float64'>'
    with 10 stored elements in Compressed Sparse Row format>

我可以计算整个矩阵的行和,就像密集数组一样。稀疏代码实际上使用矩阵向量相乘来实现这一点,从而生成一个密集的矩阵。在

^{pr2}$

它足够稀疏,以至于有些行没有零。对于float,特别是在0-1范围内,我不会得到非零值抵消的行。在

或者使用逐行计算:

In [133]: alist = [np.sum(row.toarray()[0]) for row in M]                                                
In [134]: alist                                                                                          
Out[134]: 
[0.5965995802776853,
 0.8039071870427961,
 0.37251644566924424,
 0.0,
 0.8576690924353791,
 0.42267365715276595,
 0.7679473651419432,
 0.0,
 0.8313105376003095,
 0.4625463360625408]

并选择总和为零的行(在本例中为空行):

In [135]: alist = [row for row in M if np.sum(row.toarray()[0])==0]                                      
In [136]: alist                                                                                          
Out[136]: 
[<1x10 sparse matrix of type '<class 'numpy.float64'>'
    with 0 stored elements in Compressed Sparse Row format>,
 <1x10 sparse matrix of type '<class 'numpy.float64'>'
    with 0 stored elements in Compressed Sparse Row format>]

注意这是一个稀疏矩阵列表。你也有这个,对吧?在

如果我试着用它来做矩阵,我会得到你的错误:

In [137]: sparse.csr_matrix(alist)                                                                       
                                     -
ValueError                                Traceback (most recent call last)
<ipython-input-137-5e20e6fc2524> in <module>
  > 1 sparse.csr_matrix(alist)

/usr/local/lib/python3.6/dist-packages/scipy/sparse/compressed.py in __init__(self, arg1, shape, dtype, copy)
     86                                  "".format(self.format))
     87             from .coo import coo_matrix
 -> 88             self._set_self(self.__class__(coo_matrix(arg1, dtype=dtype)))
     89 
     90         # Read matrix dimensions given, if any

/usr/local/lib/python3.6/dist-packages/scipy/sparse/coo.py in __init__(self, arg1, shape, dtype, copy)
    189                                          (shape, self._shape))
    190 
 > 191                 self.row, self.col = M.nonzero()
    192                 self.data = M[self.row, self.col]
    193                 self.has_canonical_format = True

/usr/local/lib/python3.6/dist-packages/scipy/sparse/base.py in __bool__(self)
    285             return self.nnz != 0
    286         else:
 > 287             raise ValueError("The truth value of an array with more than one "
    288                              "element is ambiguous. Use a.any() or a.all().")
    289     __nonzero__ = __bool__

ValueError: The truth value of an array with more than one element is ambiguous. Use a.any() or a.all().

好吧,这个错误并没有告诉我很多信息(至少没有更多的代码阅读),但是很明显输入列表有问题。但请再次阅读csr_matrix文档!它说我们可以给它一个稀疏矩阵的列表吗?在

但是有一个sparse.vstack函数将使用一个矩阵列表(以np.vstack为模型):

In [140]: sparse.vstack(alist)                                                                           
Out[140]: 
<2x10 sparse matrix of type '<class 'numpy.float64'>'
    with 0 stored elements in Compressed Sparse Row format>

如果选择总和不为零的行,则会得到更有趣的结果:

In [141]: alist = [row for row in M if np.sum(row.toarray()[0])!=0]                                      
In [142]: M1=sparse.vstack(alist)                                                                        
In [143]: M1                                                                                             
Out[143]: 
<8x10 sparse matrix of type '<class 'numpy.float64'>'
    with 10 stored elements in Compressed Sparse Row format>

但我之前演示过,我们不需要迭代就可以得到行和。将where应用于Out[128],我得到了(非零行的)行索引:

In [151]: idx=np.where(M.sum(axis=1))                                                                    
In [152]: idx                                                                                            
Out[152]: (array([0, 1, 2, 4, 5, 6, 8, 9]), array([0, 0, 0, 0, 0, 0, 0, 0]))
In [153]: M2=M[idx[0],:]                                                                                 
In [154]: M2                                                                                             
Out[154]: 
<8x10 sparse matrix of type '<class 'numpy.float64'>'
    with 10 stored elements in Compressed Sparse Row format>
In [155]: np.allclose(M1.A, M2.A)                                                                        
Out[155]: True

===

我怀疑生成In[137]是为了查找输入的nonzeronp.where)元素,或者将输入转换为numpy数组:

In [159]: alist = [row for row in M if np.sum(row.toarray()[0])==0]                                      
In [160]: np.array(alist)                                                                                
Out[160]: 
array([<1x10 sparse matrix of type '<class 'numpy.float64'>'
    with 0 stored elements in Compressed Sparse Row format>,
       <1x10 sparse matrix of type '<class 'numpy.float64'>'
    with 0 stored elements in Compressed Sparse Row format>], dtype=object)
In [161]: np.array(alist).nonzero()                                                                      
                                     -
ValueError                                Traceback (most recent call last)
<ipython-input-161-832a25987c15> in <module>
  > 1 np.array(alist).nonzero()

/usr/local/lib/python3.6/dist-packages/scipy/sparse/base.py in __bool__(self)
    285             return self.nnz != 0
    286         else:
 > 287             raise ValueError("The truth value of an array with more than one "
    288                              "element is ambiguous. Use a.any() or a.all().")
    289     __nonzero__ = __bool__

ValueError: The truth value of an array with more than one element is ambiguous. Use a.any() or a.all().

稀疏矩阵列表上的np.array生成这些矩阵的对象数据类型数组。在

相关问题 更多 >