我有一个文件夹,每15秒就有一个csv文件,比如说10000个文件:
现在,在python代码中,我通过for循环迭代csv文件,并使用pandas.read_csv()读取该文件。
在下一步中,我将在try-catch块中执行一些操作(绘图、数学计算)。
当我运行我的代码时,我得到了精确和快速的输出,直到700个文件,之后随着文件夹中文件数量的增加,延迟会越来越大。
在5000个文件中,相应的python代码落后于2500个文件。
请帮我解决这个问题。
当我写了一段测试代码,看看对于6000个csv文件,pd.read_csv()是否需要时间,
循环中只有pd.read_csv(),并保持start_time()和end_time()。最初700个文件需要0.3秒,到6000个文件完成时,需要1.7到1.8秒。
如何解决这个问题
目前没有回答
相关问题 更多 >
编程相关推荐