scikit-learn中类别缺失值的估算

Question

我有pandas数据和一些文本类型的列。这些文本列中有一些NaN值。我要做的是用sklearn.preprocessing.Imputer（用最频繁的值替换NaN）来估算NaN。问题在执行中。 假设有一个Pandas数据框df，它有30列，其中10列是分类性质的。 一旦我跑了：

from sklearn.preprocessing import Imputer
imp = Imputer(missing_values='NaN', strategy='most_frequent', axis=0)
imp.fit(df) 

Python生成一个error: 'could not convert string to float: 'run1''，其中“run1”是具有分类数据的第一列的普通（不缺少）值。

欢迎任何帮助

Answer 1

可以对分类列使用sklearn_pandas.CategoricalImputer。详细信息：

首先，（从使用Scikit Learn和TensorFlow进行机器学习一书中）您可以有用于数字和字符串/分类特性的子管道，其中每个子管道的第一个转换器是一个选择器，它接受列名称列表（而full_pipeline.fit_transform()接受pandas数据帧）：

class DataFrameSelector(BaseEstimator, TransformerMixin):
    def __init__(self, attribute_names):
        self.attribute_names = attribute_names
    def fit(self, X, y=None):
        return self
    def transform(self, X):
        return X[self.attribute_names].values

然后，可以将这些子管道与sklearn.pipeline.FeatureUnion组合，例如：

full_pipeline = FeatureUnion(transformer_list=[
    ("num_pipeline", num_pipeline),
    ("cat_pipeline", cat_pipeline)
])

现在，在num_pipeline中可以简单地使用sklearn.preprocessing.Imputer()，但在cat_pipline中，可以使用sklearn_pandas包中的CategoricalImputer()。

注意：sklearn-pandas包可以与pip install sklearn-pandas一起安装，但它是作为import sklearn_pandas导入的