Pyspark“repeat”函数错误：列不是callab

Question

我试图在select语句中进行一个简单的计算，如下所示：

for d in dataframes:
    d = d.select(
      'request_timestamp',
      'shard_id',
      'account_id',
      repeat(lit('1'), (13 - length('account_id').cast(IntegerType()))).alias('custom'))
    d.show()

repeat函数返回以下错误：

^{pr2}$

我知道用udf可以很容易地做到这一点，但是我想理解为什么即使我把它转换成Integer，我也不能完成这个任务。在

Answer 1

Spark的repeat只能将普通整数作为第二个参数处理。但是配置单元的repeat可以处理计算，并且可以将其与expr一起使用，如下所示：

df.select(expr('repeat(1, 13 - length(account_id))').alias('custom'))