初始化SparkContext时出错。java.io.IOException异常:devi上没有剩余空间

2024-03-28 16:09:32 发布

您现在位置:Python中文网/ 问答频道 /正文

在执行shell命令以启动pyspark会话之后:pyspark --master yarn-client --num-executors 16 --driver-memory 16g --executor-memory 6g

我得到以下错误:

ERROR SparkContext: Error initializing SparkContext.
java.io.IOException: No space left on device  
at java.io.FileOutputStream.writeBytes(Native Method) 
at java.io.FileOutputStream.write(FileOutputStream.java:345)
at java.util.zip.DeflaterOutputStream.deflate(DeflaterOutputStream.java:253) 
etc ...

从磁盘空间似乎不足。如何清理?在

编辑:在要启动作业的虚拟机上运行df -h时得到的结果:

^{pr2}$

Tags: io命令masterclientjavashellnumat