pysp中数学函数与numpy函数的区别

Question

为什么使用numpy函数而不是数学函数时pyspark的行为会有所不同？ 例如

X = sc.parallelize([[DenseVector([4.9, 3.0, 1.4, 0.2]), DenseVector([4.6, 3.1, 1.5, 0.2])],[DenseVector([5.1, 3.5, 1.4, 0.3]), DenseVector([5.7, 3.8, 1.7, 0.3])]])
X_df = sqlcontext.createDataFrame(X, ["x","y"])
udf_foo = udf(lambda x, y:  m.exp(-x.squared_distance(y)/2.0), DoubleType())
X_sim = X_df.withColumn("sim", udf_foo(X_df.x, X_df.y))

X_sim.show()

输出

^{pr2}$

下面的代码

udf_foonp = udf(lambda x, y:  np.exp(-x.squared_distance(y)/2.0), DoubleType())
X_simnp = X_df.withColumn("sim", udf_foonp(X_df.x, X_df.y))

X_simnp.show()

给出一个错误

expected zero arguments for construction of ClassDict

Answer 1

因为返回类型不同：

type(np.exp(1.0))
## numpy.float64

type(math.exp(1.0))
## float

和NumPy类型不是SQL类型的有效外部表示形式。因此，你必须投下：

^{pr2}$