将RDD保存为文本文件:ExitCodeException

2024-04-16 21:13:15 发布

您现在位置:Python中文网/ 问答频道 /正文

我在Windows上开发PySpark,当我遇到这个错误时我停止了。下面是一个生成错误的小示例:

testing = sc.parallelize([1,2,3])
testing.saveAsTextFile("Desktop\Testing.txt")

下面是我得到的全部错误:

^{pr2}$

我为这个ExitCodeException寻找了很多解决方案,但是我找不到,也不知道如何修复它!然后,我有点放弃了,转而用普通Python的一种非常基本的方法来实现,如下所示:

testt = sc.parallelize([1,2,3])
Test1 = open('Desktop\\Test1.txt','w')
testt.map(lambda line: Test1.write(str(line)))

但我也得到了一个错误:

PicklingError: Cannot pickle files that are not opened for reading

我将感谢任何帮助,使节省RDD发生! 提前谢谢。在


Tags: txt示例windows错误linetestingpysparksc