为什么pandas.read_csv()在处理for循环中的大量文件时需要更多时间?

2024-04-25 19:35:38 发布

您现在位置:Python中文网/ 问答频道 /正文

我有一个文件夹,每15秒就有一个csv文件,比如说10000个文件: 现在,在python代码中,我通过for循环迭代csv文件,并使用pandas.read_csv()读取该文件。 在下一步中,我将在try-catch块中执行一些操作(绘图、数学计算)。 当我运行我的代码时,我得到了精确和快速的输出,直到700个文件,之后随着文件夹中文件数量的增加,延迟会越来越大。 在5000个文件中,相应的python代码落后于2500个文件。 请帮我解决这个问题。 当我写了一段测试代码,看看对于6000个csv文件,pd.read_csv()是否需要时间, 循环中只有pd.read_csv(),并保持start_time()和end_time()。最初700个文件需要0.3秒,到6000个文件完成时,需要1.7到1.8秒。
如何解决这个问题


Tags: 文件csv代码文件夹绘图pandasforread