redis: 每天重置计数器

Question

我想每天重置一个计数器，使用的是Redis。因为我对Redis还不太熟悉，所以想确认我对事务和管道的理解是否正确。

下面这段代码能确保在多进程环境下我总是能得到一个独特的（日期，数字）组合吗？还是说我需要使用Redis锁？

import datetime
import redis

r = redis.Redis(...)

def get_utc_date_now():
    return datetime.datetime.utcnow().date()

def get_daily_counter(r, dt_key='dt', counter_key='counter'):

    def incr_daily_number(pipe):
        dt_now = get_utc_date_now().isoformat()  # e.g.: "2014-10-18"
        dt = pipe.get(dt_key)    
        pipe.multi()    
        if dt != dt_now:
            pipe.set(dt_key, dt_now)
            pipe.set(counter_key, 0)
        pipe.get(dt_key)
        pipe.incr(counter_key)

    result = r.transaction(incr_daily_number, dt_key)
    return result[-2:]

# Get the (dt, number) couple
# 2014-10-18, 1
# 2014-10-18, 2
# etc.
dt, number = get_daily_counter(r)

更新

试试用LUA脚本：

r = redis.Redis(...)

incr_with_reset_on_change_lua_script = """

local dt = redis.call('GET', KEYS[2])
if dt ~= ARGV[2] then
  redis.call('MSET', KEYS[1], ARGV[1], KEYS[2], ARGV[2])
end
return redis.call('INCR', KEYS[1])

"""
# Incr KEYS1 but reset first if KEYS2 has changed.
incr_with_reset_on_change = r.register_script(incr_with_reset_on_change_lua_script)

counter_key = 'dcounterA'
watch_key = 'dcounterA_dt'
watch_value = get_utc_date_now().isoformat()

number = incr_with_reset_on_change(keys=[counter_key, watch_key], args=[reset_value, watch_value])

Answer 1

想象一下，在午夜时分，有两个同时进行的操作。它们都可以执行 get(dt_key) 这个命令，但其中一个会先执行 MULTI/EXEC 这个代码块。这个操作会重置计数器，设置新的日期，然后增加计数器的值。第二个操作也会进入它自己的 MULTI/EXEC 代码块，但因为 'dt' 的值已经改变，所以执行会失败，然后会再次调用 incr_daily_number。这次 get(dt_key) 会返回新的日期，因此当 MULTI/EXEC 代码块执行时，计数器会在没有重置的情况下增加。最终，这两个操作会返回新的日期，但计数器的值不同。

所以，我认为这里没有竞争条件，也就是说 (日期, 计数) 的组合是唯一的。

你也可以用服务器端的 Lua 脚本来实现这个功能（它的执行是原子的，意思是不会被打断）。通常这样做会更方便。

需要注意的是，实际上并没有所谓的 Redis 锁。API 中提供的锁机制是由 Python 客户端提供的，而不是由 Redis 服务器提供的。如果你查看它的实现，你会发现它也是基于 SETNX + WATCH/MULTI/EXEC 代码块或者 Lua 脚本的。