把大号的子弹放在多处理.Queu

Question

当尝试将一个大的ndarray放入Process中的Queue时，我遇到了以下问题：

首先，代码如下：

import numpy
import multiprocessing
from ctypes import c_bool
import time


def run(acquisition_running, data_queue):
    while acquisition_running.value:
        length = 65536
        data = numpy.ndarray(length, dtype='float')

        data_queue.put(data)
        time.sleep(0.1)


if __name__ == '__main__':
    acquisition_running = multiprocessing.Value(c_bool)

    data_queue = multiprocessing.Queue()

    process = multiprocessing.Process(
        target=run, args=(acquisition_running, data_queue))

    acquisition_running.value = True
    process.start()
    time.sleep(1)
    acquisition_running.value = False
    process.join()

    print('Finished')

    number_items = 0

    while not data_queue.empty():
        data_item = data_queue.get()
        number_items += 1

    print(number_items)

1. 如果我使用length=10左右，一切正常。我有9件东西通过队列传送。

2. 如果我增加到length=1000，在我的计算机上process.join()块，尽管run()函数已经完成。我可以用process.join()注释这行，然后会看到，队列中只有2个项目，所以很明显，将数据放入队列的速度非常慢。

我的计划是运输4个月，每个长度65536。对于Thread来说，这非常快（<；1ms）。有没有办法提高进程的数据传输速度？在

我在Windows机器上使用了python3.4，但是在Linux上使用python3.4，我得到了相同的行为。在

Answer 1

如果您有非常大的数组，您可能只想传递它们的pickled状态——或者更好的选择是使用multiprocessing.Array或{}来创建一个共享内存数组（对于后者，请参见http://briansimulator.org/sharing-numpy-arrays-between-processes/）。您必须担心冲突，因为您将拥有一个不受GIL约束的数组，并且需要锁。但是，您只需要发送数组索引就可以访问共享数组数据。在