提高jupyter noteb中python代码的处理速度

Question

我有一个Python脚本，它可以处理一个300万行的数据集，CPU的使用率只有25%，那么如何通过在CPU中使用多个核或者充分利用CPU来提高处理速度呢？你知道吗

多处理和处理池所需的输入。你知道吗

Answer 1

import multiprocessing
pool = multiprocessing.Pool(multiprocessing.cpu_count())

def some_function_you_want_executed_in_parallel(args):
   pass  # logic goes here

arg_list = []  # put input arguments here

results = pool.map(some_function_you_want_executed_in_parallel, arg_list)