Hadoop vs. Disco vs. Condor？

Question

我正在寻找一个工具，可以在一个集群中的100台机器上管理一堆任务（提交任务到这些机器上；确保任务能够顺利运行等等）。

请问哪个工具安装和管理起来会更简单呢：

(1) Hadoop?

(2) Disco?

(3) Condor?

理想情况下，我希望找到一个尽可能简单，但又很稳定的解决方案。如果能和Python结合使用，那就更好了。

Answer 1

你有没有考虑过使用太阳网格引擎？可以在这里了解更多信息：http://wikis.sun.com/display/GridEngine/Home。

Answer 2

我对Disco和Condor不太了解，但可以谈谈Hadoop：

Hadoop的优点：

• 非常稳定和可靠，可能比其他任何东西都要好。很多公司（包括我工作的公司）都用它来管理上百个节点的集群。
• 有一个庞大的生态系统，这意味着有很多支持和子项目可以让使用变得更简单（比如Pig和Hive）。
• 可以通过流式处理的MR功能来支持Python，或者也许可以用Jython？

Hadoop的缺点：

• 我觉得它既不简单也不优雅。你需要花时间去学习。