将迭代器传递给any以提高速度，为什么？

Question

这里总结了一些问题。是的，我知道其中一些答案 ;) 还有一些我可以简单说说，但我真的想深入探讨一下。

这真的是个好主意吗？（这个问题不在下面）
我想知道使用 map 真的能提高速度吗？为什么？
为什么把迭代器传给 any 会让我的代码更快？
为什么我的 Counter 对象能工作，而我的 print_true 函数却失败得很惨？
有没有类似于 itertools.imap 的东西，可以反复调用一个函数，或者选择调用一定次数？
我的胡萝卜在哪里？！

我刚看了 PyCon 2011: Dropbox 是怎么做到的，以及 Python 是如何帮助的（老实说，我大部分时间都在快进），但终于在大约 22:23 的时候开始了真正有趣的内容。

演讲者提到要在 C 语言中写内部循环，并且“只运行一次”的东西不需要太多优化（这很有道理）……然后他接着说……大意是：

把迭代器组合传给 any 可以大幅提高速度。

这里是代码（希望是一样的）：

import itertools, hashlib, time   
_md5 = hashlib.md5()  
def run():
    for i in itertools.repeat("foo", 10000000):
        _md5.update(i)
a = time.time();  run(); time.time() - a  
Out[118]: 9.44077205657959

_md5 = hashlib.md5() 
def run():
    any(itertools.imap(_md5.update, itertools.repeat("foo", 10000000)))    
a = time.time();  run(); time.time() - a
Out[121]: 6.547091007232666

嗯，看起来为了更快的速度，我只需要一台更快的电脑！（根据他的幻灯片判断。）

然后他做了一些简单的解释，但并没有详细说明为什么。

我之前就知道迭代器的用法，感谢 Alex Martelli 的回答，关于如何在不使用索引变量的情况下做 N 次事情。

然后我想，我想知道 map 真的能提高速度吗？我最后的想法是 WTF??? 把迭代器传给 any？真的？？？这肯定不对，因为文档中对 any 的定义是：

def any(iterable):
    for element in iterable:
        if element:
            return True
    return False

为什么把迭代器传给 any 会让我的代码更快？

然后我用以下代码进行了测试（还有很多其他测试），但这让我很困惑：

def print_true(x):
    print 'True'
    return 'Awesome'

def test_for_loop_over_iter_map_over_iter_repeat():
    for result in itertools.imap(print_true, itertools.repeat("foo", 5)):
        pass

def run_any_over_iter_map_over_iter_repeat():
    any(itertools.imap(print_true, itertools.repeat("foo", 5)))

And the runs:

    In [67]: test_for_loop_over_iter_map_over_iter_repeat()
    True
    True
    True
    True
    True

    In [74]: run_any_over_iter_map_over_iter_repeat()
    True

真丢人。我心想这个家伙真是胡说八道。异端！！但我冷静下来，继续测试。如果这是真的，Dropbox 怎么可能正常工作呢！？

经过进一步测试，它确实有效……我最开始只是用了一个简单的计数器对象，它在两种情况下都能数到 10000000。

所以问题是，为什么我的 Counter 对象能工作，而我的 print_true 函数却失败得很惨？

class Counter(object):
    count = 0
    def count_one(self, none):
        self.count += 1

def run_any_counter():
    counter = Counter()
    any(itertools.imap(counter.count_one, itertools.repeat("foo", 10000000)))
    print counter.count

def run_for_counter():
    counter = Counter()
    for result in itertools.imap(counter.count_one, itertools.repeat("foo", 10000000)):
        pass
    print counter.count

输出：

%time run_for_counter()
10000000
CPU times: user 5.54 s, sys: 0.03 s, total: 5.57 s
Wall time: 5.68 s

%time run_any_counter()
10000000
CPU times: user 5.28 s, sys: 0.02 s, total: 5.30 s
Wall time: 5.40 s

更让人困惑的是，即使在去掉不必要的参数，并为我的 Counter 对象写了最合理的代码，它仍然比 any-map 版本慢。我的胡萝卜在哪里？！:

class CounterNoArg(object):
    count = 0
    def count_one(self):
        self.count += 1

def straight_count():
    counter = CounterNoArg()
    for _ in itertools.repeat(None, 10000000):
        counter.count_one()
    print counter.count

输出：

In [111]: %time straight_count()
10000000
CPU times: user 5.44 s, sys: 0.02 s, total: 5.46 s
Wall time: 5.60 s

我问这个问题是因为我觉得 Python 爱好者需要一个激励，这样我们就不会开始把东西传给 any 或 all 来提高性能，或者说已经有类似的东西吗？可能有类似于 itertools.imap 的东西，可以反复调用一个函数，或者选择调用一定次数。

我所能做到的最好是（使用列表推导式会得到有趣的结果）：

def super_run():
    counter = CounterNoArg()
    for _ in (call() for call in itertools.repeat(counter.count_one, 10000000)):
        pass
    print counter.count

def super_counter_run():
    counter = CounterNoArg()
    [call() for call in itertools.repeat(counter.count_one, 10000000)]
    print counter.count

def run_any_counter():
    counter = Counter()
    any(itertools.imap(counter.count_one, itertools.repeat("foo", 10000000)))
    print counter.count

%time super_run()
10000000
CPU times: user 5.23 s, sys: 0.03 s, total: 5.26 s
Wall time: 5.43 s

%time super_counter_run()
10000000
CPU times: user 4.75 s, sys: 0.18 s, total: 4.94 s
Wall time: 5.80 s

%time run_any_counter()
10000000
CPU times: user 5.15 s, sys: 0.06 s, total: 5.21 s
Wall time: 5.30 s

def run_any_like_presentation():
    any(itertools.imap(_md5.update, itertools.repeat("foo", 10000000)))

def super_run_like_presentation():
    [do_work for do_work in itertools.imap(_md5.update, itertools.repeat("foo", 10000000))]

def super_run_like_presentation_2():
    [_md5.update(foo) for foo in itertools.repeat("foo", 10000000)]


%time run_any_like_presentation()
CPU times: user 5.28 s, sys: 0.02 s, total: 5.29 s
Wall time: 5.47 s

%time super_run_like_presentation()
CPU times: user 6.14 s, sys: 0.18 s, total: 6.33 s
Wall time: 7.56 s

%time super_run_like_presentation_2()
CPU times: user 8.44 s, sys: 0.22 s, total: 8.66 s
Wall time: 9.59 s

唉……

注意：我鼓励你自己运行这些测试。

性能优化迭代器函数调用 itertools 代码测试代码效率 map函数计数器对象

将迭代器传递给any以提高速度，为什么？

4 个回答

撰写回答