读取多个CSV文件，每两个文件一对进行比较。

Question

我有一个文件夹，其中包含多个CSV文件，名称如下 CINinfo\u 2019-08-08\u rev1，CINinfo\u 2019-08-08\u rev2，CINinfo\u 2019-08-08\u rev3，CINinfo\u 2019-08-08\u rev4，我在一个文件夹中有大约70个文件，我的目的是自动化这个过程，这样我可以一对一对地自动读取它们，然后比较每对中的差异，并将结果作为一个组合表。目前，我正在手动阅读并比较差异，代码如下：

import pandas as pd
df1 = pd.read_csv("CINinfo_2019-08-08_rev1.csv")
df2 = pd.read_csv("CINinfo_2019-08-08_rev2.csv")

import numpy as np
rows,cols=np.where(comparison_values==False)

for item in zip(rows,cols):
    df1.iloc[item[0], item[1]] = '{} --> {}'.format(df1.iloc[item[0], item[1]],df2.iloc[item[0], item[1]])

这个过程是如此乏味，因为我有其他文件夹与CSV文件，我需要阅读注意如何命名CSV文件，所有CSV文件都有相同的前缀（CINinfo\u 2019-08-08），但在本例中，后缀名（rev）是从1到70的递增数字。我需要这种方法来成对读取文件，格式是1和2，2和3，3和4。在这种情况下，我比较这样的成对文件，CINinfo\u 2019-08-08\u rev1和CINinfo\u 2019-08-08\u rev2然后CINinfo\u 2019-08-08\u rev2和CINinfo\u 2019-08-08\u rev3这样，我如何自动成对读取这些文件，然后比较每对文件中的差异，并有一个联接表

Answer 1

你可以这样做：

import os, re
import pandas as pd
import numpy as np

# your directory path here
path = r'path'

# get all files 
file_, pat = [], re.compile('.csv')
for root, dirs, files in os.walk(path):
    file_ = [os.path.join(root, f) for f in files if pat.search(f)]

# you may want to filter here, this line is just an example
# filter for all csv files containing 'rev'
file_ = [f for f in file_ if 'rev' in f]

# loop through the files of interest
for (idx, ff) in enumerate(file_[1:]):
    df1 = pd.read_csv(ff)
    df2 = pd.read_csv(file_[idx])

    rows, cols = np.where(comparison_values==False)
    for item in zip(rows,cols):
        # do calculation 

这个答案并非包罗万象，但希望能给你一个可能的方法。您可能需要调整筛选，或者可能需要排序。我没有演示如何将结果添加到最终表中，但最好的方法是创建一个DataFrame temp，并将文件对中的值赋给它，然后使用pd.concat将结果添加到包含所有结果的最终DataFrame中