我有这个密码:
l = [('Alice', 1),('Jim',2),('Sandra',3)]
df = sqlContext.createDataFrame(l, ['name', 'age'])
df.withColumn('age2', df.age + 2).toPandas()
工作很好,做它需要做的。假设我只想显示前n行,然后调用toPandas()
返回pandas数据帧。我该怎么做?我无法调用take(n)
,因为它不返回数据帧,因此无法将其传递给toPandas()
。
所以换一种说法,我如何从一个数据帧中获取前n行并对结果数据帧调用toPandas()
?我不认为这很难,但我想不出来。
我用的是Spark 1.6.0。
您可以使用
limit(n)
函数:或:
试试看:
用法示例如下:
您可以使用head获取Spark数据帧的第一行,然后创建Pandas数据帧:
相关问题 更多 >
编程相关推荐