我是新手。我希望我的代码基于文本列和一些额外的分类变量,使用k-means聚类对数据进行分组。CountVectorizer将文本转换为一包单词,OneHotEncoder将分类变量转换为一组假人
import pandas as pd
from sklearn.preprocessing import OneHotEncoder
from sklearn.feature_extraction.text import CountVectorizer
from sklearn_pandas import DataFrameMapper
from sklearn.cluster import MiniBatchKMeans
def import_vectorizer():
vectorizer = CountVectorizer(lowercase = True,
ngram_range = (1,1),
min_df = .00005,
max_df = .01)
return vectorizer
sklearn_pandas的DataFrameMapper将单词包与虚拟变量相结合
def get_X(df):
mapper = DataFrameMapper(
[
('text_col', import_vectorizer()),
(['cat_col1', 'cat_col2', 'cat_col3', 'cat_col4'], OneHotEncoder())
]
)
return mapper.fit_transform(df)
预测我参加的团体
df = pd.read_json(mydata.json)
X = get_X(df)
kmeans = MiniBatchKMeans(n_clusters=50)
kmeans.fit(X)
现在我想看看哪些特征在预测组中最重要。沿着这条路线有许多柱子
print("Top terms per cluster:")
order_centroids = kmeans.cluster_centers_.argsort()[:, ::-1]
terms = vectorizer.get_feature_names()
for i in range(50):
print("Cluster %d:" % i),
for ind in order_centroids[i, :10]:
print(' %s' % terms[ind])
但是,这在本例中不起作用,因为
terms = vectorizer.get_feature_names()
只包含单词包中的功能名称,而不包含OneHotEncoder生成的功能名称。任何帮助都将不胜感激
为了记录在案,我在读了这篇post之后解决了这个问题
修改的get_X函数:
最后运行以下代码
相关问题 更多 >
编程相关推荐