当我试图在通过spark udf函数处理后显示一个spark数据帧时
from pyspark.sql.functions import udf
...
t_udf = udf(replaceAndwithBut, StringType())
df = dataframe.select("string", t_udf("string").alias("string_changed"))
我面临以下错误:
^{pr2}$从外观上看,我可以看出错误是由Java.io.EOFException. 我的系统规格是:corei5-7th-gen,运行windows-10的12gb内存(我希望它能在windows上运行)
当我在运行macos的朋友系统上运行同样的代码时,它运行得很好。在
我们共享同一个环境,即python3.6.4;pyspark 2.3.0;jdk1.8uupdate131。在
任何关于此问题的原因或调试方法的见解都将非常有用。在
目前没有回答
相关问题 更多 >
编程相关推荐