如何从Spark WebUI获取信息

2024-04-24 03:33:29 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在用Spark在python文件中进行字数计算,我想通过获取诸如所用磁盘、存储内存等信息来评估Spark的效率。但是我有一个问题,我不知道如何在python代码中从sparkwebui获取这些信息

Spark WebUI图片 enter image description here


Tags: 文件内存代码信息图片磁盘spark效率