Spark API不返回Post响应

2024-04-25 08:57:29 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在尝试使用SPARK REST API启动pyspark作业。我提出了post请求,但没有得到任何响应。在

我的环境如下:

  • Linux Ubuntu 18.04.01 LTS仿生
  • Java版本1.8.0_-b12 SE运行时环境
  • Spark版本2.4.3
  • Python 3.7.1版
  • Scala版本2.11.12

我的尝试是:

  1. 我启动了主节点和从节点: ./sbin/start-all.shenter image description here

  2. 我在浏览器上看到以下用户界面: enter image description here

  3. 我在终端输入以下命令:

curl -X POST http://192.168.43.88:34481/v1/submissions/create \
     --header "Content-Type:application/json;charset=UTF-8" \
     --data '{"action":"CreateSubmissionRequest",\
              "appArgs":["/home/daniel/Documents/pyfiles/spark_pi.py"],\
              "appResource":"file:/home/daniel/Documents/pyfiles/spark_pi.py",\
              "clientSparkVersion":"2.4.3",\
              "environmentVariables":{"SPARK_ENV_LOADED":"1"},\
              "mainClass":"org.apache.spark.deploy.SparkSubmit",\
              "sparkProperties":{"spark.driver.supervise":"false",\
              "spark.app.name":"Simple App",\
              "spark.eventLog.enabled":"true",\
              "spark.submit.deployMode":"cluster",\
              "spark.master":"spark://daniel-K501UX:7077"}}'

enter image description here

我等了10多分钟也没收到回复。我做错什么了?在


Tags: py版本restapihome节点环境作业