为什么我的PySpark程序会在这两者之间徘徊呢

Question

我写了一个PySpark程序，当我运行它时，它会输出很多输出，然后突然在屏幕上挂起以下语句

[Stage 11:===================================>                   (65 + 1) / 100]

从这里根本没有进展。是程序实际上已经结束了还是出了什么问题？在

Answer 1

我也有类似的绞刑问题。 最初，我的spark配置是

`

conf = SparkConf()
conf.setAppName('AppName') \
        .setMaster('local[*]')

`

它产生了绞刑，和你的相似。 [Stage 3:=============================> (1 + 0) / 2]

在我的配置中更改了主机的URI之后，我不再有挂起的体验。 `在

^{pr2}$

`

主控形状的URL通常位于localhost:8080

Answer 2

当你使用Apache Spark可能有几个问题或异常没有显示在终端中，但是为了调试这个，你可以在运行时读取发生了什么，但是依赖于你的Apache Spark当前的安装（这就是我不发布链接的原因），你可以在这个文档中找到更多信息。Monitoring and Logging in Apache Spark

您必须搜索这个WebUI，在描述列中，您可以单击+详细信息（要获得该信息，您需要单击要调试的作业），如果继续，您将发现越来越多的信息。在