python多处理调度tas

Question

我有8个CPU核心和200个任务要做。每个任务都是孤立的。不需要等待或共享结果。我正在寻找一种方法来运行8个任务/进程一次（最多）当其中一个完成。剩余任务将自动启动进程。在

如何知道子进程何时完成并启动新的子进程。首先，我尝试使用进程（多处理），但很难理解。然后我尝试使用pool和face来解决pickle问题，因为我需要使用动态实例化。在

编辑：添加我的池代码

class Collectorparallel():

def fire(self,obj):
    collectorController = Collectorcontroller()
    collectorController.crawlTask(obj)

def start(self):
    log_to_stderr(logging.DEBUG)
    pluginObjectList = []
    for pluginName in self.settingModel.getAllCollectorName():
        name = pluginName.capitalize()
        #Get plugin class and instanitiate object
        module = __import__('plugins.'+pluginName,fromlist=[name])
        pluginClass = getattr(module,name)
        pluginObject = pluginClass()
        pluginObjectList.append(pluginObject)



    pool = Pool(8)
    jobs = pool.map(self.fire,pluginObjectList)
    pool.close()

    print pluginObjectList

pluginObjectList有类似

^{pr2}$

PicklingError:无法pickle:属性查找内置。instancemethod失败

但过程版本运行良好

Answer 1

我不是Python中多处理的专家，但是我尝试了一些方法，通过这个帮助http://www.tutorialspoint.com/python/python_multithreading.htm和这个帮助http://www.devshed.com/c/a/Python/Basic-Threading-in-Python/1/。在

例如，您可以使用这个方法isAlive来回答您的问题。在