每个实例的Python LRU缓存装饰器
这里使用的是一个叫做 LRU Cache 的装饰器,具体可以在这个链接找到:http://code.activestate.com/recipes/578078-py26-and-py30-backport-of-python-33s-lru-cache/
from lru_cache import lru_cache
class Test:
@lru_cache(maxsize=16)
def cached_method(self, x):
return x + 5
我可以用这个装饰器来创建一个类的方法,但这样做会导致它创建一个全局缓存,这个缓存对所有的 Test 类实例都有效。然而,我其实想要的是每个实例都有自己的缓存。也就是说,如果我创建了 3 个 Test 实例,我希望每个实例都有 3 个独立的 LRU 缓存,而不是一个缓存共享给所有 3 个实例。
我唯一能发现这个问题的迹象是,当我在不同的类实例上调用装饰过的方法的 cache_info() 时,它们都返回相同的缓存统计信息(这在它们使用的参数差异很大的情况下是非常不可能发生的):
CacheInfo(hits=8379, misses=759, maxsize=128, currsize=128)
CacheInfo(hits=8379, misses=759, maxsize=128, currsize=128)
CacheInfo(hits=8379, misses=759, maxsize=128, currsize=128)
有没有什么装饰器或者技巧,可以让我轻松地让这个装饰器为每个类实例创建一个独立的缓存呢?
3 个回答
3
现在,methodtools
可以正常使用了。
from methodtools import lru_cache
class Test:
@lru_cache(maxsize=16)
def cached_method(self, x):
return x + 5
你需要先安装 methodtools。
pip install methodtools
如果你还在用 Python 2,那你还需要安装 functools32。
pip install functools32
5
这样怎么样:一个 函数 装饰器,它会在每个实例第一次调用这个 方法 时,用 lru_cache
来包装它?
def instance_method_lru_cache(*cache_args, **cache_kwargs):
def cache_decorator(func):
@wraps(func)
def cache_factory(self, *args, **kwargs):
print('creating cache')
instance_cache = lru_cache(*cache_args, **cache_kwargs)(func)
instance_cache = instance_cache.__get__(self, self.__class__)
setattr(self, func.__name__, instance_cache)
return instance_cache(*args, **kwargs)
return cache_factory
return cache_decorator
用法如下:
class Foo:
@instance_method_lru_cache()
def times_2(self, bar):
return bar * 2
foo1 = Foo()
foo2 = Foo()
print(foo1.times_2(2))
# creating cache
# 4
foo1.times_2(2)
# 4
print(foo2.times_2(2))
# creating cache
# 4
foo2.times_2(2)
# 4
这里有一个 GitHub 的链接,里面有一些说明文档。
60
假设你不想修改代码(比如,你想直接迁移到3.3版本,并使用标准库中的 functools.lru_cache
,或者使用 functools32
这个库,而不是把一个食谱复制粘贴到你的代码里),那么有一个很明显的解决办法:为每个实例创建一个新的装饰过的实例方法。
class Test:
def cached_method(self, x):
return x + 5
def __init__(self):
self.cached_method = lru_cache(maxsize=16)(self.cached_method)