Python中使用map(fn,iterable)从不调用函数的多线程处理

2024-03-29 14:27:23 发布

您现在位置:Python中文网/ 问答频道 /正文

我有一个生成器,用于一次收集50个要处理的项目:

batch_generator = retrieve_batch()

然后,我使用了map模块中提供的multiprocessing.dummy函数来为iterable(generator)中的每个项调用函数,但是我可以看到,提供给map的函数从未被调用,尽管generator正在执行,并且我假设,返回一个结果

只是要注意的是,我很高兴生成器在单个线程上工作

有没有人能告诉我这是否是一种可行的方法,因为我对python还相当陌生,而且是第一次处理这些问题

有用代码:

def something():
    batch_generator = retrieve_batch()
    pool.map(_run_process_on_batch, batch_generator)

def _run_process_on_batch(batch):
    print 'I here'

Tags: 模块项目函数runmapondefbatch