python中稀疏矩阵的相关系数？

Question

有人知道如何从python中的一个非常大的稀疏矩阵计算相关矩阵吗？基本上，我正在寻找类似numpy.corrcoef的东西，它将在一个scipy稀疏矩阵上工作。

Answer 1

不幸的是，Alt's answer没有适合我。给np.sqrt函数的值，其中大部分为负，因此得到的协方差值为nan。

我也不能使用ali_m's answer，因为我的矩阵太大，无法在内存中容纳centering = rowsum.dot(rowsum.T.conjugate()) / n矩阵（矩阵的维数是：3.5*10^6 x 33）

相反，我使用scikit-learn's ^{}来计算标准稀疏矩阵，然后使用乘法来获得相关矩阵。

from sklearn.preprocessing import StandardScaler

def compute_sparse_correlation_matrix(A):
    scaler = StandardScaler(with_mean=False)
    scaled_A = scaler.fit_transform(A)  # Assuming A is a CSR or CSC matrix
    corr_matrix = (1/scaled_A.shape[0]) * (scaled_A.T @ scaled_A)
    return corr_matrix

我相信这种方法比其他提到的方法更快、更健壮。此外，它还保持了输入矩阵的稀疏性。