运行dataframe show时发生Py4JJAVA错误,原因是:java.io.EOFException

2024-04-24 13:24:20 发布

您现在位置:Python中文网/ 问答频道 /正文

当我试图在通过spark udf函数处理后显示一个spark数据帧时

    from pyspark.sql.functions import udf

    ...

    t_udf = udf(replaceAndwithBut, StringType())
    df = dataframe.select("string", t_udf("string").alias("string_changed"))

我面临以下错误:

^{pr2}$

从外观上看,我可以看出错误是由Java.io.EOFException. 我的系统规格是:corei5-7th-gen,运行windows-10的12gb内存(我希望它能在windows上运行)

当我在运行macos的朋友系统上运行同样的代码时,它运行得很好。在

我们共享同一个环境,即python3.6.4;pyspark 2.3.0;jdk1.8uupdate131。在

任何关于此问题的原因或调试方法的见解都将非常有用。在


Tags: 数据函数fromimportsqlstringwindows系统