如何找到JAR:/home/hadoop/contrib/streaming/hadoop streaming.j

Question

我正在练习一个视频教程从复数视野关于亚马逊电子病历。我陷入困境，因为我无法继续，因为我得到了这个错误

Not a valid JAR: /home/hadoop/contrib/streaming/hadoop-streaming.jar

请注意，教程是旧的，它正在使用一个旧的电子病历版本。我用的是最新版本，有问题吗？

我采取的步骤是在putty中输入凭证之后

1) Hadoop

2) mkdir streamingCode`

3) wget -o ./streamingCode/wordSplitter.py s3://elasticmapreduce/samples/wordcount/wordSplitter.py

4) hadoop jar contrib/streaming/hadoop-streaming.jar -files streamingCode/wordSplitter.py -mapper wordSplitter.py input s3://elasticmapreduce/samples/wordcount/input -output streamingCode/wordCountOut -reducer aggregate`

我无法执行步骤4，因为我得到以下错误

Not a valid JAR: /home/hadoop/contrib/streaming/hadoop-streaming.jar

Answer 1

对于变量HADOOP_STREAMING，根据正在使用的HDP，获取路径要复杂一些。

通过命令搜索它的位置： 查找/-name'hadoop streaming*.jar'

Src:http://thecoatlessprofessor.com/programming/installing-r-studio-server-on-hortonworks-virtual-box-image-and-rmr2-a-k-a-rhadoop-r-package/

Answer 2

Hadoop流式jar在EMR Hadoop的最新版本中仍然可用。从EMR 4.0.0版开始，可以在/usr/lib/hadoop-mapreduce/hadoop-streaming.jar找到它。

在http://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/emr-release-differences.html可以找到另一个很好的不同版本的资源。