有人能解释一下parallelpython和hadoop在多个服务器上分配python进程的区别吗？
我刚开始接触使用多个CPU来处理任务，想请教一下大家，使用parallelpython（或者其他任何Python模块）和Hadoop流处理相比，有什么优缺点？
我有一个非常耗CPU的处理过程，想把它分散到几台服务器上去运行。
2 个回答
2
主要的区别在于，Hadoop特别擅长处理大数据（从几百兆到几千兆的数据）。它提供了一个简单的逻辑框架，叫做MapReduce，这个框架非常适合用来汇总数据。此外，Hadoop还有一个叫做HDFS的分布式存储系统。
如果你的数据量小于1个千兆（1GB），那么你可能就不需要使用Hadoop了。
2
随着数据量越来越大，移动数据变得越来越困难。在并行计算中，数据的本地化变得非常重要。Hadoop作为一个地图/减少框架，最大化了正在处理的数据的本地化。它还提供了一种有效地在集群（hdfs）中分散数据的方法。简单来说，即使你使用其他并行模块，只要你的数据没有在进行处理的计算机上本地化，或者你总是需要在集群之间移动数据，你就无法从并行计算中获得最大的好处。这是Hadoop的一个关键理念。