2024-06-09 07:02:06 发布
网友
我正在尝试使用一些windows函数(ntile和percentRank)作为数据帧,但我不知道如何使用它们。
ntile
percentRank
有人能帮我做这个吗?在Python API documentation中没有关于它的示例。
具体地说,我试图在我的数据帧中得到数值字段的分位数。
我用的是spark 1.4.0。
要使用窗口功能,必须先创建一个窗口。定义与普通SQL几乎相同,这意味着您可以定义顺序、分区或两者。首先,让我们创建一些虚拟数据:
import numpy as np np.random.seed(1) keys = ["foo"] * 10 + ["bar"] * 10 values = np.hstack([np.random.normal(0, 1, 10), np.random.normal(10, 1, 100)]) df = sqlContext.createDataFrame([ {"k": k, "v": round(float(v), 3)} for k, v in zip(keys, values)])
确保使用HiveContext(仅限Spark<;2.0):
HiveContext
from pyspark.sql import HiveContext assert isinstance(sqlContext, HiveContext)
创建窗口:
from pyspark.sql.window import Window w = Window.partitionBy(df.k).orderBy(df.v)
相当于
(PARTITION BY k ORDER BY v)
在SQL中。
根据经验,窗口定义应该始终包含PARTITION BY子句,否则Spark将把所有数据移动到单个分区。ORDER BY对于某些函数是必需的,而在不同的情况下(通常是聚合)可能是可选的。
PARTITION BY
ORDER BY
还有两个选项可用于定义窗口跨度-ROWS BETWEEN和RANGE BETWEEN。在这种情况下,这些对我们没有用处。
ROWS BETWEEN
RANGE BETWEEN
最后,我们可以使用它进行查询:
from pyspark.sql.functions import percentRank, ntile df.select( "k", "v", percentRank().over(w).alias("percent_rank"), ntile(3).over(w).alias("ntile3") )
注意ntile与分位数没有任何关系。
要使用窗口功能,必须先创建一个窗口。定义与普通SQL几乎相同,这意味着您可以定义顺序、分区或两者。首先,让我们创建一些虚拟数据:
确保使用
HiveContext
(仅限Spark<;2.0):创建窗口:
相当于
在SQL中。
根据经验,窗口定义应该始终包含
PARTITION BY
子句,否则Spark将把所有数据移动到单个分区。ORDER BY
对于某些函数是必需的,而在不同的情况下(通常是聚合)可能是可选的。还有两个选项可用于定义窗口跨度-
ROWS BETWEEN
和RANGE BETWEEN
。在这种情况下,这些对我们没有用处。最后,我们可以使用它进行查询:
注意
ntile
与分位数没有任何关系。相关问题 更多 >
编程相关推荐