在执行shell命令以启动pyspark会话之后:pyspark --master yarn-client --num-executors 16 --driver-memory 16g --executor-memory 6g
我得到以下错误:
ERROR SparkContext: Error initializing SparkContext.
java.io.IOException: No space left on device
at java.io.FileOutputStream.writeBytes(Native Method)
at java.io.FileOutputStream.write(FileOutputStream.java:345)
at java.util.zip.DeflaterOutputStream.deflate(DeflaterOutputStream.java:253)
etc ...
从磁盘空间似乎不足。如何清理?在
编辑:在要启动作业的虚拟机上运行df -h
时得到的结果:
目前没有回答
相关问题 更多 >
编程相关推荐