如何使用Scikit Learn countvector获取语料库中的单词频率？

Question

我试图使用scikit learn的CountVectorizer计算一个简单的单词频率。

import pandas as pd
import numpy as np
from sklearn.feature_extraction.text import CountVectorizer

texts=["dog cat fish","dog cat cat","fish bird","bird"]
cv = CountVectorizer()
cv_fit=cv.fit_transform(texts)

print cv.vocabulary_
{u'bird': 0, u'cat': 1, u'dog': 2, u'fish': 3}

我以为它会返回{u'bird': 2, u'cat': 3, u'dog': 2, u'fish': 2}。

Answer 1

cv_fit.toarray().sum(axis=0)确实给出了正确的结果，但是对稀疏矩阵执行求和并将其转换为数组要快得多：

np.asarray(cv_fit.sum(axis=0))

Answer 2

我们将使用zip方法从单词列表和计数列表中生成dict

import pandas as pd
import numpy as np    
from sklearn.feature_extraction.text import CountVectorizer

texts=["dog cat fish","dog cat cat","fish bird","bird"]    

cv = CountVectorizer()   
cv_fit=cv.fit_transform(texts)    
word_list = cv.get_feature_names();    
count_list = cv_fit.toarray().sum(axis=0)    

print word_list
['鸟'，'猫'，'狗'，'鱼']
print count_list
[2 3 2 2]
print dict(zip(word_list,count_list))
{'fish'：2，'dog'：2，'bird'：2，'cat'：3}

Answer 3

在这个例子中，cv.vocabulary_是一个dict，其中键是您找到的单词（特性），值是索引，这就是为什么它们是0, 1, 2, 3。这只是运气不好，它看起来像你的计数：）

您需要使用cv_fit对象来获取计数

from sklearn.feature_extraction.text import CountVectorizer

texts=["dog cat fish","dog cat cat","fish bird", 'bird']
cv = CountVectorizer()
cv_fit=cv.fit_transform(texts)

print(cv.get_feature_names())
print(cv_fit.toarray())
#['bird', 'cat', 'dog', 'fish']
#[[0 1 1 1]
# [0 2 1 0]
# [1 0 0 1]
# [1 0 0 0]]

数组中的每一行是原始文档（字符串）之一，每一列是一个特征（word），元素是该特定单词和文档的计数。你可以看到，如果你把每一列相加，你会得到正确的数字

print(cv_fit.toarray().sum(axis=0))
#[2 3 2 2]

不过，老实说，我建议您使用collections.Counter或NLTK中的一些东西，除非您有特定的理由使用scikit learn，因为它会更简单。