Spark提交问题 - ps: 找不到命令

Question

我正在尝试从客户端机器通过Python脚本连接到Spark主节点。

在我从客户端运行Spark应用时遇到了一个错误。错误信息是：/usr/local/lib/python3.9/site-packages/pyspark/bin/load-spark-env.sh: line 68: ps: command not found。有人能帮我理解一下这个问题可能是什么原因吗？

/usr/local/lib/python3.9/site-packages/pyspark/bin/load-spark-env.sh: line 68: ps: command not found

这是我运行的Python脚本，命令是python test.py：

spark = SparkSession.builder \
    .appName("PySpark v1") \
    .master("spark://test-spark-master-0.test-spark-headless.test-spark.svc.cluster.local:7077") \
    .getOrCreate()
data = [("John", 25), ("Anna", 30), ("Mike", 35)]
df = spark.createDataFrame(data, ["Name", "Age"])
df.show()
filtered_df = df.filter(df["Age"] > 30)
filtered_df.show()
spark.stop()

Answer 1

我添加了一个包，命令是“apt-get install procps”。