向异步Python多处理传递多个参数

2024-04-25 19:14:37 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在尝试运行一个需要多个数据帧作为参数的函数。我需要这个并行运行给时间来执行。你知道吗

给定容量和大小,我需要确保函数的多重处理传递数据,这样内存就不会爆炸。我试过以下方法,有人能帮我弄清楚如何在循环中正确传递拆分数据和数据帧1-3吗?你知道吗

当前代码只是冻结并引发断言错误。你知道吗

try:
    for batch in split_data(data, size=10000):
            p.apply_async(function_applied, ([batch], data1, 
    data2, data3))

finally:
        p.close()
        p.join()

注意:'split\u data'函数将数据帧分隔为指定的大小。 数据1,数据2。。。etc是数据帧


Tags: 数据方法函数内存代码data参数错误