hanythingondemand 3.2.3

目标

hod是一组启动服务的脚本，例如hadoop集群， 来自另一个资源管理系统（即torque/pbs）。作为 因此，它允许hpc系统的传统用户使用 如果没有专门的设置，则使用hadoop或将其用作生产设置 可用。

hadoop并不是唯一受支持的软件。HOD还可以创建HBase 数据库，ipython笔记本，建立一个spark环境。

优点

主要有两个好处：

1. 用户可以在传统的批处理集群上运行作业。这对 使用框架但具有 不需要“大数据”群集。在这一点上的表现 并行文件系统的好处大于“无共享” hdfs风格文件系统的体系结构。
2. 来自不同组的用户可以运行任何版本的hadoop 就像。这样就不需要对运行纱进行痛苦的升级 集群并希望所有用户的作业向后兼容。

历史记录

hadoop曾经发布自己的hod（hadoop on demand），但它不是 维护并且只支持hadoop而不进行优化。霍德密码 与hadoop 1.0.0一起发布的版本至少是个错误。安 试图使其在Ugent HPC基础设施上运行，以及 尽管一个正在工作的hadoop集群已经实现，但是 扩展它的功能。在那一点上（2012年4月），Hanythingondemand 开始变得更易于维护并支持更多的优化和 开箱即用的功能。例如，hbase是 要求。因此，为什么hadoop on demand变成了“hanything”。除了 hadoop on demand的缩写“hod”没有被重用。

有关hadoop on demand的更多历史信息，请参见 this paper on Yarn (PDF)

它是如何工作的？

hanythingondemand通过启动使用保留的 节点作为集群中的集群。然后这些节点有 Hadoop服务已在它们上启动。用户可以在启动时启动作业 （批处理模式）或登录到工作节点（使用hod connect 命令）它们可以与服务交互的地方。

先决条件

• 使用 Torque。
• environment-modules管理 环境

其余的需求可以使用 EasyBuild：

• python和各种库。
• mpi4py
• 例如在软呢帽上yum install -ympi4py-mpich2
• 如果您自己构建，可能需要设置$mpicc 环境变量。
• vsc-base-用于 命令行分析。
• vsc-mympirun- 用于设置MPI作业。
• pbs_python-使用 用于与pbs（aka torque）服务器交互。
• netifaces
• netaddr
• Java
• oracle jdk或openjdk-都可以用easybuild安装
• Hadoop二进制文件
• 例如，Cloudera distribution versions（用于测试 霍德）

示例用例：

# submits a job to start a Hadoop cluster on 16 nodes
$ hod create --dist Hadoop-2.3.0-cdh5.0 -n16 --label my-cluster

### Connect to your new cluster.
$ hod connect my-cluster

### Then, in your session, you can run your hadoop jobs:
$ hadoop jar somejob.jar SomeClass arg1 arg2

# Run a batch job on 1 node:
$ hod batch --dist Hadoop-2.3.0-cdh5.0 --label my-cluster --script=my-script.sh