numpy.ma.cov - 缺失值的成对相关性？

Question

这是一个示例数据集（这些行是从一个更大的矩阵中随机抽取的）

import numpy as np

test = [[np.nan, np.nan, 0.217, 0.562],
        [np.nan, np.nan, 0.217, 0.562],
        [0.269, 0.0, 0.217, 0.562],
        [np.nan, np.nan, 0.217, -0.953],
        [np.nan, np.nan, 0.217, -0.788],
        [0.75, 0.0, 0.217, 0.326],
        [0.207, 0.0, 0.217, 0.814],
        [np.nan, np.nan, 0.217, 0.562],
        [np.nan, np.nan, 0.217, -0.022],
        [np.nan, np.nan, 0.217, 0.562],
        [np.nan, np.nan, 0.217, -0.953],
        [np.nan, np.nan, 0.217, -0.953],
        [0.078, 0.0, 0.217, -0.953],
        [np.nan, np.nan, 0.217, -0.953],
        [0.078, 0.0, 0.217, 0.562]]

maskedarr = np.ma.array(test)

np.ma.cov(maskedarr,rowvar=False,allow_masked=True)

[[-- -- -- --]
 [-- -- -- --]
 [-- -- 0.0 0.0]
 [-- -- 0.0 0.554]]

但是，如果我使用R语言，

import rpy2.robjects as robjects

robjects.globalenv['maskedarr'] = robjects.FloatVector(maskedarr.T.flatten())
robjects.r('''
dim(maskedarr) <- c(%d,%d)
maskedarr[] <- replace(maskedarr,!is.finite(maskedarr),NA)
''' % maskedarr.shape)
robjects.r('''
print(cov(maskedarr,use="pairwise"))
''')

          [,1] [,2] [,3]      [,4]
[1,] 0.0769733    0    0 0.0428294
[2,] 0.0000000    0    0 0.0000000
[3,] 0.0000000    0    0 0.0000000
[4,] 0.0428294    0    0 0.5536484

我得到的矩阵就完全不同了。如果在计算成对相关性时，只去掉这对数据中的nan（也就是缺失值），那么我应该能得到类似R语言的结果。numpy.ma.cov 说设置allow_masked=True可以计算这些成对的相关性，但似乎并不是这样。我是不是漏掉了什么？

Answer 1

你的 maskedarr 里没有任何被遮罩的值。

>>> maskedarr.mask
False

你在初始化数组的时候需要加上 mask 参数。

>>> maskedarr = np.ma.array(test, mask=np.isnan(test))

现在 maskedarr.mask 是这样的。

>>> maskedarr.mask
array([[ True,  True, False, False],
       [ True,  True, False, False],
       [False, False, False, False],
       [ True,  True, False, False],
       [ True,  True, False, False],
       [False, False, False, False],
       [False, False, False, False],
       [ True,  True, False, False],
       [ True,  True, False, False],
       [ True,  True, False, False],
       [ True,  True, False, False],
       [ True,  True, False, False],
       [False, False, False, False],
       [ True,  True, False, False],
       [False, False, False, False]], dtype=bool)

这次在使用 numpy.ma.cov 的时候：

>>> np.ma.cov(maskedarr,rowvar=False,allow_masked=True)
masked_array(data =
 [[0.0769732996251 0.0 0.0 0.0428294015418]
 [0.0 0.0 0.0 0.0]
 [0.0 0.0 0.0 0.0]
 [0.0428294015418 0.0 0.0 0.553648402899]],
             mask =
 [[False False False False]
 [False False False False]
 [False False False False]
 [False False False False]],
       fill_value = 1e+20)