每个实例的Python LRU缓存装饰器

52 投票
3 回答
17858 浏览
提问于 2025-04-17 16:18

这里使用的是一个叫做 LRU Cache 的装饰器,具体可以在这个链接找到:http://code.activestate.com/recipes/578078-py26-and-py30-backport-of-python-33s-lru-cache/

from lru_cache import lru_cache
class Test:
    @lru_cache(maxsize=16)
    def cached_method(self, x):
         return x + 5

我可以用这个装饰器来创建一个类的方法,但这样做会导致它创建一个全局缓存,这个缓存对所有的 Test 类实例都有效。然而,我其实想要的是每个实例都有自己的缓存。也就是说,如果我创建了 3 个 Test 实例,我希望每个实例都有 3 个独立的 LRU 缓存,而不是一个缓存共享给所有 3 个实例。

我唯一能发现这个问题的迹象是,当我在不同的类实例上调用装饰过的方法的 cache_info() 时,它们都返回相同的缓存统计信息(这在它们使用的参数差异很大的情况下是非常不可能发生的):

CacheInfo(hits=8379, misses=759, maxsize=128, currsize=128)
CacheInfo(hits=8379, misses=759, maxsize=128, currsize=128)
CacheInfo(hits=8379, misses=759, maxsize=128, currsize=128)

有没有什么装饰器或者技巧,可以让我轻松地让这个装饰器为每个类实例创建一个独立的缓存呢?

3 个回答

3

现在,methodtools 可以正常使用了。

from methodtools import lru_cache
class Test:
    @lru_cache(maxsize=16)
    def cached_method(self, x):
         return x + 5

你需要先安装 methodtools。

pip install methodtools

如果你还在用 Python 2,那你还需要安装 functools32。

pip install functools32
5

这样怎么样:一个 函数 装饰器,它会在每个实例第一次调用这个 方法 时,用 lru_cache 来包装它?

def instance_method_lru_cache(*cache_args, **cache_kwargs):
    def cache_decorator(func):
        @wraps(func)
        def cache_factory(self, *args, **kwargs):
            print('creating cache')
            instance_cache = lru_cache(*cache_args, **cache_kwargs)(func)
            instance_cache = instance_cache.__get__(self, self.__class__)
            setattr(self, func.__name__, instance_cache)
            return instance_cache(*args, **kwargs)
        return cache_factory
    return cache_decorator

用法如下:

class Foo:
    @instance_method_lru_cache()
    def times_2(self, bar):
        return bar * 2

foo1 = Foo()
foo2 = Foo()

print(foo1.times_2(2))
# creating cache
# 4
foo1.times_2(2)
# 4

print(foo2.times_2(2))
# creating cache
# 4
foo2.times_2(2)
# 4

这里有一个 GitHub 的链接,里面有一些说明文档。

60

假设你不想修改代码(比如,你想直接迁移到3.3版本,并使用标准库中的 functools.lru_cache,或者使用 functools32 这个库,而不是把一个食谱复制粘贴到你的代码里),那么有一个很明显的解决办法:为每个实例创建一个新的装饰过的实例方法。

class Test:
    def cached_method(self, x):
         return x + 5
    def __init__(self):
         self.cached_method = lru_cache(maxsize=16)(self.cached_method)

撰写回答