Queue.get（）内存泄漏

Question

在使用get（）方法清空队列后，我使用以下代码生成看起来像内存泄漏的内容

import queue
import os
import psutil

def run(del_after_puts, del_after_gets, n_puts, process):

        mem = queue.Queue()
    
        for msg in range(n_puts):
            msg_put = f'{msg}_0000000000000000000000000000000000000000000000000000000000000333333333333331111111111'
            if msg % 1000000 == 0:
                print(f'puting  {msg} qsize {len(mem.queue)}')
            mem.put(msg_put)
    
    
        print(f'------ put done  ----- qsize {len(mem.queue)}')
        print(f'mem_pct {round(process.memory_percent(), 2)}% ')
    
        if del_after_puts:
            print(f'deleting queue after puts {mem}')
            del mem
            print(f'mem_pct {round(process.memory_percent(), 2)}% ')
            return
    
        for _ in range(n_puts):
            msg_get = mem.get()
            msg = int(msg_get.split('_')[0])
            if msg % 1000000 == 0:
                print(f'getting_q {msg} qsize {len(mem.queue)} ')
            mem.task_done()
            
        print(f'------ gets done  ----- qsize {len(mem.queue)}')
        print(f'mem_pct {round(process.memory_percent(), 2)}% ')
    
        if del_after_gets:
            print(f'deleting queue after gets {mem}')
            del mem
            print(f'mem_pct {round(process.memory_percent(), 2)}% ')
            return
    
    if __name__ == '__main__':
        del_after_puts = False
        del_after_gets = False
        n_puts = 20_000_000
        print()
        print('#########')
        print(f'del_after_puts {del_after_puts} del_after_gets {del_after_gets} n_puts {n_puts}')
    
        process = psutil.Process(os.getpid())
        print('before run')
        print(f'mem_pct {round(process.memory_percent(), 2)}% ')
    
        run(del_after_puts, del_after_gets, n_puts, process)
    
        print(f'after run return')
        print(f'mem_pct {round(process.memory_percent(), 2)}% ')

此脚本可以通过3种方式运行：

1. Add n_将元素放入队列，然后将其清空
2. 添加n_将元素放入队列，然后删除队列对象
3. Add n_将元素放入队列，然后清空它，然后删除队列对象

对于第一种和第三种情况，脚本似乎会产生内存泄漏，如下所示：

第一种情况下，在将元素放入队列之前，使用的mem为0.15%，清空后为2.22%：

#########

del_after_puts False del_after_gets False n_puts 20000000

before run

mem_pct 0.15%

------ put done ----- qsize 20000000

mem_pct 37.61%

------ gets done ----- qsize 0

mem_pct 2.22%

第三种情况，在将元素放入队列之前，使用的mem为0.15%，清空后为2.22%，删除对象后为2.22%：

#########

del_after_puts False del_after_gets True n_puts 20000000

before run

mem_pct 0.15%

------ put done ----- qsize 20000000

mem_pct 37.61%

------ gets done ----- qsize 0

mem_pct 2.22%

deleting queue after gets <queue.Queue object at 0x7fbd87295a10>

mem_pct 2.22%

对于第二种情况，将所有元素放入队列并删除后，开始时的mem_pct为0.15%，这几乎是相同的

#########

del_after_puts True del_after_gets False n_puts 20000000

before run

mem_pct 0.15%

------ put done ----- qsize 20000000

mem_pct 37.61%

deleting queue after puts <queue.Queue object at 0x7f29084eca10>

mem_pct 0.16%

可以看出，只有在第二种情况下，当只调用queue.put()时，内存才会返回到起始级别，因此queue.get()似乎会产生内存泄漏

这在python 3.7、3.8和3.9中都是持久的

我试着用tracemalloc和Pypler分析内存，但是它们在python级别上没有显示任何泄漏，所以我怀疑这可能是C级别的泄漏

我在应用程序上使用带有线程的队列进行日志记录，这些应用程序被支持运行数周，而队列似乎会导致泄漏并挂起我的应用程序。我可以在那里跟踪泄漏，它们表明这似乎来自队列机制中使用的条件锁中的deque，但我从未见过在我运行的应用程序中充满任何元素/等待者，所以请仔细想想

threading.py:348:
waiters_to_notify = _deque(_islice(all_waiters, n))

在任何情况下，是否有办法缓解和处理此队列泄漏？ 谢谢

Answer 1

如果有人在寻找解决方案，那么泄漏的原因似乎是队列实现中使用的python deque。我已将deque实现从这里找到的stock实现更改为：

https://github.com/kata198/python-cllist

然后重新定义队列类，如下所示：

from cllist import dllist

class DllistQueue(queue.Queue):
    def _init(self, maxsize):
        self.queue = dllist()

然后，新类的结果为：

#########

del_after_puts False del_after_gets True n_puts 20000000

before run

mem_pct 0.15%

puting 0 qsize 0

put done - qsize 20000000

mem_pct 47.35%

gets done - qsize 0

mem_pct 0.16%

deleting queue after gets <main.DllistQueue object at 0x7f3a197d8f90>

mem_pct 0.16%

所以这个链接列表的实现似乎没有泄漏，而且它和股票一样快。唯一的缺点是它在最高使用率时使用了更多的内存