蟒Pandas共生矩阵的构造

Question

我知道怎么在R里做这件事。但是，pandas中是否有任何函数将数据帧转换为nxn共现矩阵，其中包含两个方面共现的计数。

例如矩阵df：

import pandas as pd

df = pd.DataFrame({'TFD' : ['AA', 'SL', 'BB', 'D0', 'Dk', 'FF'],
                    'Snack' : ['1', '0', '1', '1', '0', '0'],
                    'Trans' : ['1', '1', '1', '0', '0', '1'],
                    'Dop' : ['1', '0', '1', '0', '1', '1']}).set_index('TFD')

print df

>>> 
    Dop Snack Trans
TFD                
AA    1     1     1
SL    0     0     1
BB    1     1     1
D0    0     1     0
Dk    1     0     0
FF    1     0     1

[6 rows x 3 columns]

会产生：

    Dop Snack Trans

Dop   0     2     3
Snack 2     0     2
Trans 3     2     0

由于矩阵是在对角线上镜像的，我想有一种方法可以优化代码。

Answer 1

如果你有更大的语料库和词频矩阵，使用稀疏矩阵乘法可能更有效。我使用的矩阵乘法技巧与本页的algo答案相同。

import scipy.sparse as sp
X = sp.csr_matrix(df.astype(int).values) # convert dataframe to sparse matrix
Xc = X.T * X # multiply sparse matrix # 
Xc.setdiag(0) # reset diagonal
print(Xc.todense()) # to print co-occurence matrix in dense format

这里是稀疏csr格式的共现矩阵