在azu上提交用python编写的批处理作业

2024-03-29 14:48:52 发布

您现在位置:Python中文网/ 问答频道 /正文

如何在azure上提交python编写的批处理作业。我正在寻找类似的,但不是java而是python。在

curl -k --user "admin:mypassword1!" -v -H 'Content-Type: application/json' -X POST -d '{ "file":"wasb://mycontainer@mystorageaccount.blob.core.windows.net/data/SparkSimpleTest.jar", "className":"com.microsoft.spark.test.SimpleFile" }' "https://mysparkcluster.azurehdinsight.net/livy/batches"

Tags: jsonnetadminapplicationtype作业javacontent
1条回答
网友
1楼 · 发布于 2024-03-29 14:48:52

Java和Python的MapReduce作业是不同的。在

javamapreduce程序将jar文件打包为直接在Hadoop上运行的作业。在

但是python MapReduce作业被分成两个文件mapper.py和{},它们通过STDIN和{}在Hadoop流媒体上运行。在

请参考文档http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/,并将mapper&reducer python脚本上载到HDInsight,然后编写一个shell脚本作为在Hadoop上运行的作业。在

相关问题 更多 >