我想用kafka主题的数据来训练一个流式kmeans模型。在
我的问题是如何呈现kmeans-streamig模型的数据
sc = SparkContext(appName="PythonStreamingKafka")
ssc = StreamingContext(sc, 30)
zkQuorum, topic = sys.argv[1:]
kvs = KafkaUtils.createStream(ssc, zkQuorum, "spark-streaming-consumer", {topic: 1})
lines = kvs.map(lambda x: x[1])
lines.pprint()
这个输出(这些是我的特性,用“|”分隔):
1.0 | 2.0 | 0.0 | 21.0 | 2.0
1.0 | 2.0 | 0.0 | 21.0 | 2.0
那我就想这么做
^{pr2}$如果我把这两段代码合并起来,就会得到错误:
TypeError: Cannot convert type <type 'unicode'> into Vector
第一个问题是格式化从卡夫卡提取的流。以下是对管道分离数据的处理方法
第二个问题是数据的维度:
setRandomCenters
的第一个参数(它应该与特征的数量相同)相关问题 更多 >
编程相关推荐