Python垃圾收集非常慢,不能禁用g

2024-03-29 06:12:18 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在开发一个使用pandas数据帧和大型字典的程序。数据帧从大约700MB的CSV读取。你知道吗

我在Windows上使用python3.7.3

我注意到我正在运行的程序非常慢,并且在算法的每个循环之后都会变慢。你知道吗

程序读取数据帧的每一行,检查df每一行的每一项上的一些条件,如果满足这些条件,它将该项及其状态存储在字典中。这本字典可能会很大。你知道吗

我试过用CProfile分析代码,发现garbage-collector函数占用了大约90%的执行时间。你知道吗

我见过类似的问题通过调用gc.disable()来解决,但这对我没有任何帮助。你知道吗

奇怪的是(我不知道这是否正常),但是如果我print(len(gc.get_objects()))作为代码的第一行,我会得到51053,考虑到还没有调用任何函数,这看起来很奇怪。你知道吗

我的CProfile尝试:(在CSV的一小块上,因为在完整CSV上完成尝试需要几个小时)

cProfile.run('get_pfs_errors("Logs/L5/L5_2000.csv")', 'restats.txt')


import pstats
from pstats import SortKey
p = pstats.Stats('restats.txt')
p.sort_stats(SortKey.CUMULATIVE).print_stats(10)
p.sort_stats(SortKey.TIME).print_stats(10)

以下是来自CProfile的统计信息:

Tue Jun 18 15:40:19 2019    restats.txt

         1719320 function calls (1459451 primitive calls) in 7.569 seconds

   Ordered by: cumulative time
   List reduced from 819 to 10 due to restriction <10>

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
        1    0.000    0.000    7.569    7.569 {built-in method builtins.exec}
        1    0.001    0.001    7.569    7.569 <string>:1(<module>)
        1    0.000    0.000    7.568    7.568 C:/Users/BC744818/Documents/OPTISS_L1_5/test_profile.py:6(get_pfs_errors)
        1    0.006    0.006    7.503    7.503 C:\Users\BC744818\Documents\OPTISS_L1_5\utils\compute_pfs_rules.py:416(compute_pfs_rules)
        1    0.197    0.197    7.498    7.498 C:\Users\BC744818\Documents\OPTISS_L1_5\utils\compute_pfs_rules.py:323(test_logs)
      264    0.001    0.000    6.532    0.025 C:\Users\BC744818\Documents\OPTISS_L1_5\venv\lib\site-packages\pandas\core\series.py:982(__setitem__)
      529    0.010    0.000    6.158    0.012 C:\Users\BC744818\Documents\OPTISS_L1_5\venv\lib\site-packages\pandas\core\generic.py:3205(_check_setitem_copy)
      528    6.125    0.012    6.125    0.012 {built-in method gc.collect}
      264    0.004    0.000    3.430    0.013 C:\Users\BC744818\Documents\OPTISS_L1_5\venv\lib\site-packages\pandas\core\series.py:985(setitem)
      264    0.004    0.000    3.413    0.013 C:\Users\BC744818\Documents\OPTISS_L1_5\venv\lib\site-packages\pandas\core\indexing.py:183(__setitem__)


Tue Jun 18 15:40:19 2019    restats.txt

         1719320 function calls (1459451 primitive calls) in 7.569 seconds

   Ordered by: internal time
   List reduced from 819 to 10 due to restriction <10>

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
      528    6.125    0.012    6.125    0.012 {built-in method gc.collect}
      264    0.405    0.002    0.405    0.002 {built-in method gc.get_objects}
        1    0.197    0.197    7.498    7.498 C:\Users\BC744818\Documents\OPTISS_L1_5\utils\compute_pfs_rules.py:323(test_logs)
 71280/33    0.048    0.000    0.091    0.003 C:\Users\BC744818\AppData\Local\Programs\Python\Python37\lib\copy.py:132(deepcopy)
   159671    0.033    0.000    0.056    0.000 {built-in method builtins.isinstance}
      289    0.026    0.000    0.026    0.000 {built-in method nt.stat}
167191/83791    0.024    0.000    0.040    0.000 C:\Users\BC744818\AppData\Local\Programs\Python\Python37\lib\json\encoder.py:333(_iterencode_dict)
  8118/33    0.019    0.000    0.090    0.003 C:\Users\BC744818\AppData\Local\Programs\Python\Python37\lib\copy.py:236(_deepcopy_dict)
167263/83794    0.017    0.000    0.048    0.000 C:\Users\BC744818\AppData\Local\Programs\Python\Python37\lib\json\encoder.py:277(_iterencode_list)
 1067/800    0.017    0.000    0.111    0.000 C:\Users\BC744818\Documents\OPTISS_L1_5\venv\lib\site-packages\pandas\core\indexes\base.py:253(__new__)

Tags: inpyl1pandasvenvlibsiteusers
1条回答
网友
1楼 · 发布于 2024-03-29 06:12:18

谢谢@user9993950,多亏了你我才解决了。你知道吗

当我测试这个程序时,我有一个SettingWithCopyWarning,但是我想在修复这个警告之前修复程序的速度。你知道吗

然而,通过修复警告,我也大大提高了程序的速度,gc不再占用所有的运行时间

我不知道是什么原因造成的,如果有人知道,并想分享知识,请做。你知道吗

相关问题 更多 >