如何在OS X上运行Hadoop？

Question

我有一台MacBook Pro。我觉得我成功安装了hadoop-streaming，但我不知道它到底安装在哪里，也不知道hdfs在哪里。我安装的是单节点版本。我用Python写代码，把mapper.py和reducer.py放在了桌面上，还把一个大文本文件也放在桌面上，我打算在这个文件上运行程序。我正在跟着这个教程 http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/，但问题是我不知道在教程中“将本地示例数据复制到HDFS”这一部分该输入什么路径。我已经成功单独运行了Python文件，并且使用的代码和教程里的是一样的。我是通过brew安装的Hadoop。

谢谢

Answer 1

which hadoop

或者

echo $HADOOP_HOME 

这条命令会告诉你安装的Hadoop的路径（前提是你按照所有安装步骤进行了操作）

你应该在存放要传输文件的目录下输入以下命令。或者你也可以直接输入文件的完整路径……

hadoop fs -copyFromLocal /local/path/file.txt /hdfs/path/file.txt

hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir

更多示例可以在这里找到 @ [Hadoop Shell命令]:https://hadoop.apache.org/docs/r0.18.3/hdfs_shell.html#put