我一直在运行hadoopmapreduce作业,方法是通过PuTTy登录SSH,这要求我在PuTTy中输入主机名/IP地址、登录名和密码,以获得SSH命令行窗口。进入SSH控制台窗口后,我将提供适当的MR命令,例如:
hadoop jar/usr/lib/hadoop-0.20-mapreduce/contrib/streaming/hadoop-streaming-2.0.0-mr1-cdh4.0.1.jar-file/nfs_home/appers/user1/映射器.py-文件/nfs_home/appers/user1/减速器.py-mapper'/usr/lib/python_2.7.3/bin/python映射器.py'-reducer'/usr/lib/python_2.7.3/bin/python减速器.py'-输入/ccexp/data/test_xml/0901282-510179094535002-oozie-oozi-W/extract//.xml-output/user/ccexptest/output/user1/MRoutput
我想做的是使用Python来改变这个笨拙的过程,这样我就可以从Python脚本中启动MapReduce作业,避免不得不通过PuTTy登录SSH。在
这能做到吗?如果可以,有人能告诉我怎么做吗?在
我用以下脚本解决了这个问题:
相关问题 更多 >
编程相关推荐