尝试启动PySp时遇到空指针异常

Question

我使用以下命令启动pyspark

./bin/pyspark --master yarn --deploy-mode client --executor-memory 5g

我得到以下错误

^{pr2}$

出于某种原因，我也收到了这个信息

 ERROR cluster.YarnClientSchedulerBackend: Yarn application has already exited with state FINISHED!

以及

WARN remote.ReliableDeliverySupervisor: Association with remote system [akka.tcp://sparkYarnAM@192.168.1.112:48644] has failed, address is now gated for [5000] ms. Reason: [Disassociated]

也许这就是为什么我的SparkContext停止了。在

我使用的是Spark 1.5.1和Hadoop 2.7.1和Yarn 2.7.7。在

有人知道为什么纱线应用程序在任何事情发生之前就退出了吗？在

更多信息，这是我的纱线-站点.xml在

        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>26624</value>
        </property>
        <property>
                <name>yarn.scheduler.minimum-allocation-mb</name>
                <value>1024</value>
        </property>
        <property>
                <name>yarn.scheduler.maximum-allocation-mb</name>
                <value>26624</value>
        </property>
        <property>
                <name>yarn.nodemanager.vmem-pmem-ratio</name>
                <value>2.1</value>
        </property>

这是我的地图-站点.xml在

    <property>
            <name>mapreduce.map.memory.mb</name>
            <value>2048</value>
    </property>
    <property>
            <name>mapreduce.map.java.opts</name>
            <value>-Xmx1640M</value>
            <description>Heap size for map jobs.</description>
    </property>
    <property>
            <name>mapreduce.reduce.memory.mb</name>
            <value>16384</value>
    </property>
    <property>
            <name>mapreduce.reduce.java.opts</name>
            <value>-Xmx13107M</value>
            <description>Heap size for reduce jobs.</description>
    </property>

Answer 1

我可以通过添加

spark.yarn.am.memory 5g

点燃火花-默认.conf文件。在

我认为这是一个与记忆有关的问题。在

此参数的默认值为512m

Answer 2

我遇到了一个类似的问题，当我查看端口8088上的Hadoop GUI并单击PySpark作业的ID列中的application链接时，我看到了以下错误：

Uncaught exception: org.apache…InvalidResourceRequestException Invalid resource request, requested virtual cores < 0, or requested virtual cores > max configured, requestedVirtualCores=8, maxVirtualCores=1

如果我将脚本改为使用 executor-cores 1而不是默认值（ executor-cores 8），那么它就可以工作了。现在我只需要让管理员更改一些纱线设置以允许更多的核心，例如yarn.scheduler.maximum-allocation-vcores，请参见https://stackoverflow.com/a/29789568/215945