如何在scikit数据中组合数字和文本数据

Question

我有一些数据，比如：

name    | cost
-----------------
milk    | 1.20
butter  | 3.50
eggs    |  .99

我希望能够使用SciKit的一个集群模块，如kmeans将这些产品按名称和价格进行分组（例如，“脱脂牛奶”与“全脂牛奶”相关，5件价值2.99美元的商品将被评为相似）。在

我知道我必须把名字变成数字，我用^{}来做，这给了我一个稀疏矩阵。然而，在这一点上，我不确定如何将其与成本列结合起来。我看到的示例获取HashingVectorizer的输出并直接将其输入kmeans.fit。在

有人能给我举一个使用文本数据+至少一个其他列的例子吗？在

Answer 1

您可以使用下面链接中的示例中的“ItemSelector”，为数据中的每一列使用不同的处理方法，然后使用sklearn的FeatureUnion将所有内容组合起来。

我想你的意思是你想把价格当作分类数据来处理？我会说，将数字转换为字符串，然后使用CountVectorizer，并将二进制标志设置为True。

这是一个非常有用的例子： http://scikit-learn.org/stable/auto_examples/hetero_feature_union.html#sphx-glr-auto-examples-hetero-feature-union-py

编辑：另外，count向量器会去掉句点，所以最好不用像这样的标记器来调用它。可能有一个更优雅的解决方案在更少的行，但这也行得通。

def no_tokenizer(t):
    return [t]

CountVectorizer(binary=False, tokenizer=no_tokenizer)

编辑：下面是一个使用ItemSelector的管道示例。我有一个pandas数据帧集，我通过传递一个关键字来传递是否要返回文本、数字数据。

^{pr2}$