在QDS上运行命令时如何更改超时值

Question

我有一个spark submit命令，它调用我的python脚本。代码运行超过36小时，但是由于QDS超时限制为36小时，我的命令在36小时后被终止

有人能帮我把这个参数值改成50小时吗？ 这就是我在QDS中调用脚本的方式

/usr/lib/spark/bin/spark提交s3:///abc.py

Answer 1

我们无法将时间限制配置为超过36小时。但我们可以取消spark命令的此限制。为了从Analyze/Notebook运行spark应用程序，您需要在群集启动之前执行以下操作：

编辑集群配置并更新Hadoop配置中的以下配置

yarn.resourcemanager.app.timeout.minutes=-1

在Spark configuration Over rides中编辑群集配置并更新以下配置

spark.qubole.idle.timeout=-1 

请让我知道这是否有帮助。此外，如果您没有运行流媒体应用程序，并且spark应用程序正在处理/访问的数据量不是很大，那么您也可能希望通过一些性能调整来减少应用程序的运行时间（从而可能将应用程序的运行时间减少到36小时以下）在这种情况下，不需要取消36小时的限制