在AWS EMR上运行python脚本

Question

我尝试在EMR集群上运行python和java应用程序。我用下面的代码运行了我的javajar应用程序，它运行得很好。 HadoopJarStepConfig runExampleConfig=新建HadoopJarStepConfig（） .withJar（jar_名称） .withArgs（主参数）

如何运行python脚本而不是java应用程序？在

Answer 1

你试过在电子病历上读过script-runner jar吗？您可以使用下面这样的方法将python脚本作为EMR步骤提交-

HadoopJarStepConfig runExampleConfig = new HadoopJarStepConfig() 
.withJar(s3://<region>.elasticmapreduce/libs/script-runner/script-runner.jar)
.withArgs(s3://bucketname/path-to/script.sh);

根据要启动EMR集群的区域，需要用适当的值（例如：us-east-1）替换。在