如何在azure上提交python编写的批处理作业。我正在寻找类似的,但不是java而是python。在
curl -k --user "admin:mypassword1!" -v -H 'Content-Type: application/json' -X POST -d '{ "file":"wasb://mycontainer@mystorageaccount.blob.core.windows.net/data/SparkSimpleTest.jar", "className":"com.microsoft.spark.test.SimpleFile" }' "https://mysparkcluster.azurehdinsight.net/livy/batches"
Java和Python的MapReduce作业是不同的。在
javamapreduce程序将jar文件打包为直接在Hadoop上运行的作业。在
但是python MapReduce作业被分成两个文件},它们通过}在Hadoop流媒体上运行。在
mapper.py
和{STDIN
和{请参考文档http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/,并将mapper&reducer python脚本上载到HDInsight,然后编写一个shell脚本作为在Hadoop上运行的作业。在
相关问题 更多 >
编程相关推荐