在Livy中以批处理模式提交Python文件(不安装Hadoop)

2024-05-28 20:07:46 发布

您现在位置:Python中文网/ 问答频道 /正文

我做了一个简单的python文件,它想在丽芙。丽芙当前正在local中运行模式。还有我已经提到了李维.conf文件。在

Property name: livy.file.local-dir-whitelist, 
value "/usr/local/livy/scripts"

我的文件保存在以下路径“/usr/local/livy/scripts”

^{pr2}$

我使用curl提交,如下所示:

curl -X POST --data '{"file": "/usr/local/livy/scripts/pi.py"}' -H "Content-Type: application/json" 10.140.178.24:8999/batches

它给出了以下错误:

requirement failed: Local path /usr/local/livy/scripts/pi.py cannot be added to user sessions.

我的Ubuntu系统只有以下几点:

a)Spark
b)Livy
c)Java

我做错什么了?在


Tags: 文件namepyusrlocalconfdir模式
2条回答

curl-X发布数据{“file”:“/usr/local/livy/scripts/圆周率“}'-H”内容类型:application/json“10.140.178.24:8999/batches” {“id”:2,“state”:“开始”,“log”:[]}

对于第一次使用livy孵化模式的人,请检查模板文件是否重命名为使用livy.conf.template中的剥离.template。然后确保其中存在以下配置。在

livy.spark.master = local
livy.file.local-dir-whitelist = /path/to/script/folder/

请确保路径末尾存在forward slash

然后按照以下方式为

Python:

^{pr2}$

注意:它不接受相对路径,需要在其中定义整个绝对路径。在

相关问题 更多 >

    热门问题