在Python中合并12个.csv文件后，输出的.csv是50 Gigaby

Question

我有12个csv文件，每个10,24个mbs。我有一个连接/合并这些csv文件的代码，并以.csv格式返回它们。但我不知道它是怎么变成50千兆字节的。我也分手了。换句话说，它实际上会更大。你知道吗

from glob import glob

with open('outputParsed2.csv', 'a') as combinedFile:
    combinedFile.write('Date;Request(in ms)\n') # Headers
    for eachFile in glob('*.csv'):
        if eachFile == 'C:/user/xxx/Desktop/xxx/*.csv':

            pass
        else:
            count = 0
            for line in open(eachFile, 'r'):
                if count != 0:
                    combinedFile.write(line)
                count = 1

有人知道吗？你知道吗

Answer 1

您同时对"outputParsed2.csv"进行读写操作，导致该文件的读写循环不断。从glob('*.csv')的结果中排除该文件，一切都应该正常。你知道吗

而且，您的第一个if似乎什么也没做。你知道吗

Answer 2

只需打印每个文件的路径并检查它是否是预期的文件。您还可以在代码中使用操作系统chdir（“/mydir”）。我注意到您已经在append模式下打开了outputParsed2.csv文件，这将添加到文件中的现有数据中。。您可能希望将此作为新文件打开