如何加速python脚本并减少内存消耗？

Question

我有一个python脚本，它使用numpy、sklearn和很多其他东西。这个脚本应该在线分析数千个500kb大小的wav文件。当我以并行模式运行这个脚本时，python几乎消耗了所有的内存。你知道吗

我想知道是否有可能，例如，“编译”python脚本，或者做一些事情来降低并行运行脚本的成本。你知道吗

提前谢谢！你知道吗

Answer 1

python中没有编译这样的东西，尽管编译是隐式进行的，但它与这个问题无关。您可能正在耗尽内存，因为您没有控制应用程序中并行进程/线程的数量。你知道吗

您可以创建一个池，然后使用它对资源消耗进行某种程度的控制。 从多处理导入池

def f(x):
    return x*x

if __name__ == '__main__':
    with Pool(5) as p:
        print(p.map(f, [1, 2, 3]))

您可以查看此链接了解更多详细信息 https://docs.python.org/3.5/library/multiprocessing.html

使池大小与处理器中的内核数相等，以获得最佳性能。你知道吗