为什么cython循环的性能在速度上比python循环有所下降？

Question

我试图通过使用cython特性来提高python代码的速度。 我的python代码由py_child和py_parent类和py_backup函数组成，如下所示：

import random
from time import clock
import numpy as np
from libc.string cimport memcmp
## python code #################################################
class py_child:
    def __init__(self, move):
        self.move = move
        self.Q = 0
        self.N = 0

class py_parent:
    def __init__(self):
        self.children = []
    def add_children(self, moves):
        for move in moves:
            self.children.append(py_child(move))

def py_backup(parent, white_rave, black_rave):
    for point in white_rave:
        for ch in parent.children:
            if ch.move == point:
                ch.Q += 1
                ch.N += 1

    for point in black_rave:
        for ch in parent.children:
            if ch.move == point:
                ch.Q += 1
                ch.N += 1

这是cython中的相同实现，使用memoryView作为一些变量：

## cython ######################################################

cdef class cy_child:
    cdef public:
        int[:] move
        int Q
        int N
    def __init__(self, move):
        self.move = move
        self.Q = 0
        self.N = 0

cdef class cy_parent:
    cdef public:
        list children
        int[:, :] moves
    def __init__(self):
        self.children = []
    def add_children(self, moves):
        cdef int i = 0
        cdef int N = len(moves)
        for i in range(N):
            self.children.append(cy_child(moves[i]))

cpdef cy_backup(cy_parent parent_node, int[:, :] white_rave,int[:, :] black_rave):
    cdef int[:] move
    cdef cy_child ch
    for move in white_rave:
        for ch in parent_node.children:
            if memcmp(&move[0], &ch.move[0], move.nbytes) == 0:
                ch.Q += 1
                ch.N += 1

    for move in black_rave:
        for ch in parent_node.children:
            if memcmp(&move[0], &ch.move[0], move.nbytes) == 0:
                ch.Q += 1
                ch.N += 1

现在我要评估函数cy\u backup，py的代码速度_备份。那又怎样我使用这个代码：

### Setup variables #########################################
size = 11
board = np.random.randint(2, size=(size, size), dtype=np.int32)

for x in range(board.shape[0]):
    for y in range(board.shape[1]):
        if board[x,y] == 0:
            black_rave.append((x,y))
        else:
            white_rave.append((x,y))

py_temp = []
for i in range(size):
    for j in range(size):
        py_temp.append((i,j))

#### python arguments #######################################

py = py_parent()
py.add_children(py_temp)
# also py_temp, black_rave, white_rave

#### cython arguments #######################################
cy_temp = np.assarray(py_temp, , dtype= np.int32)
cy_black_rave = np.asarray(black_rave, dtype= np.int32)
cy_white_rave = np.asarray(white_rave, dtype= np.int32)
cy = cy_parent()
cy.add_children(cy_temp)

#### Speed test #################################################
%timeit py_backup(py_parent, black_rave, white_rave)
%timeit cy_backup(cy_parent, cy_black_rave, cy_white_rave)

当我运行程序时，我对结果感到惊讶：

1000 loops, best of 3: 759 µs per loop
100 loops, best of 3: 6.38 ms per loop

我希望cython比python快得多，特别是在使用memoryview时。
为什么cython中的循环比python中的循环运行得慢？
如果有人建议加快cython的代码速度，我们将不胜感激。
事先我为我的问题道歉，包括太多的代码。你知道吗

Answer 1

Cython MemoryView实际上只针对一件事进行了优化，即访问单个元素或片（通常在循环中）

# e.g.
cdef int i
cdef int[:] mview = # something
for i in range(mview.shape[0]):
   mview[i] # do some work with this....

这种类型的代码可以直接转换成高效的C代码。对于几乎任何其他操作，memoryview都被视为Python对象。你知道吗

不幸的是，几乎所有代码都没有利用MemoryView擅长的一件事，因此没有真正的加速。相反，它实际上更糟，因为你已经添加了一个额外的层，一个小长度2内存视图的整个负载将是非常糟糕的。你知道吗

我的建议是只使用列表-它们实际上非常适合这种类型的东西，我一点也不清楚如何用Cython重写你的代码来加速它。你知道吗

---

我发现了一些小优化：通过查看cython -a生成的突出显示的html文件，您可以很好地了解Cython的优化程度。您将看到memoryview的一般迭代很慢（即纯Python）。你可以通过改变来获得进步

# instead of:
# for move in white_rave:
for i in range(white_rave.shape[0]):
    move = white_rave[i,:]

这让Cython可以高效地迭代memoryview。你知道吗

通过关闭memcmp行的一些安全检查，可以获得更快的速度：

with cython.boundscheck(False), cython.initializedcheck(False):
   if memcmp(&move[0], &ch.move[0], move.nbytes) == 0:

（您需要cimport cython）。如果您这样做并且还没有初始化ch.move或者两个memoryView都没有至少一个元素，那么您的程序可能会崩溃。你知道吗

---

我意识到这不是一个有用的答案，但只要您想保持child作为一个Python类（event a cdef一个），就真的没有什么可以加快它的速度。您可能会考虑将其更改为C结构（可以使用C数组），但这样就失去了使用Python的所有好处（即，您必须管理自己的内存，并且无法从Python代码轻松访问它）。你知道吗