如何在python中使用多个输入文件并进行并行处理？

Question

我有30个csv文件。我想把它作为for循环的输入，用pandas？你知道吗

每个文件都有fileaa、fileab、fileac、filead等名称，。。。。你知道吗

我有多个输入文件，我想收到一个输出。你知道吗

通常我使用read\u csv，但由于内存错误，“read\u csv”不起作用。你知道吗

f = "./file.csv"
df = pd.read_csv(f, sep="/", header=0, dtype=str)

所以我想尝试在python2.7中进行并行处理

Answer 1

你可能想看看dask。你知道吗

Dask docs展示了demo如何读入多个csv文件并输出单个Dask数据帧：

import dask.dataframe as dd
df = dd.read_csv('*.csv')

然后有很多方法可用，例如：

df.head()

阅读更多关于dask dataframe的内容，了解与pandas数据帧的区别，会很有用