Python中的日志解析：在给定的时间段内出现超过N个错误时发出警报？

Question

我有一个日志文件，里面有一小时的数据。你知道吗

如果在该日志的任何5分钟内记录的错误超过N个，我将生成警报。你知道吗

我不想做的是指定5分钟的时间段（例如00-05、06-10等）并对它们进行迭代，因为如果N=10，我在04处有8个错误，在07处有8个错误，它们将被视为在两个单独的bucket中，并且不会生成警报。你知道吗

我想我可以迭代60次，每次前进1分钟，从那一点开始考虑5分钟的bucket，但是有没有更优雅或更高效的方法呢？你知道吗

Answer 1

我将在错误列表上使用一个滑动窗口（请参见Rolling or sliding window iterator in Python），然后检查每个迭代是否第一个和最后一个条目在5分钟内

示例（来自Rolling or sliding window iterator in Python）：

from collections import deque

def window(seq, n=2):
    it = iter(seq)
    win = deque((next(it, None) for _ in xrange(n)), maxlen=n)
    yield win
    append = win.append
    for e in it:
        append(e)
        yield win

for w in window(errors, 10):
    # if (w[-1]['timestamp'] - w[0]['timestamp']) > 60*5:
    #     error