Python中的多处理：Numpy+向量求和>巨大的减速

1条回答

网友

1楼 · 发布于 2024-04-26 15:13:47

你的程序似乎花费了大部分时间来获取锁。这似乎表明，在您的情况下，多处理带来的伤害大于它的帮助。在

去掉所有的多处理的东西，开始测量没有它的东西需要多长时间。E、像这样。在

from math import floor
from math import ceil
import numpy
import MySQLdb
import time

start = time.clock()
db = MySQLdb.connect(...)
cursor  = db.cursor()
query = "SELECT ...."
cursor.execute(query)
stop = time.clock()
print "Database access took {:.2f} seconds".format(stop - start)

start = time.clock()
[...]  #save db results into the variable db_matrix (30 columns, 5.000 rows)
[...]  #save db results into the variable bp_vector (3 columns, 500 rows)
[...]  #save db results into the variable option_vector( 3 columns, 4000 rows)
stop = time.clock()
print "Creating matrices took {:.2f} seconds".format(stop - start)
cursor.close()
db.close()

counter = 0 

start = time.clock()
for i in range(4000):
    for j in range(500):
         helper[:] = (1-bp_vector[j,0]-bp_vector[j,1]-bp_vector[j,2])*db_matrix[:,0] 
                     + db_matrix[:,option_vector[i,0]] * bp_vector[j,0]  
                     + db_matrix[:,option_vector[i,1]] * bp_vector[j,1]   
                     + db_matrix[:,option_vector[i,2]] * bp_vector[j,2]

         result[counter,0] = (helper < -7.55).sum()

         counter = counter + 1
stop = time.clock()
print "Matrix manipulation took {:.2f} seconds".format(stop - start)

编辑-1

根据您的测量结果，我支持我的结论（稍微重新措辞），即在多核机器上，像您现在所做的那样使用multiprocessing会极大地损害您的性能。在双核机器上，有多处理的程序比没有多处理器的程序要长得多！在

我认为，在使用单核机器时，使用多处理与否没有什么区别，这并不是很重要。不管怎样，单核机器不会从多处理中得到多少好处。在

新的测量结果表明，大部分时间都花在矩阵运算上。这是合乎逻辑的，因为您使用的是显式嵌套for循环，这不是很快。在

基本上有四种可能的解决办法

第一种方法是将嵌套循环重新写入numpy操作中。Numpy操作有隐式循环（用C编写），而不是Python中的显式循环，因此速度更快。（一种罕见的情况是显式比隐式差。缺点是这可能会占用大量内存。在

第二种选择是将helper的计算分成4部分。在一个单独的过程中执行每个部分，并在最后将结果相加。这确实会产生一些开销；每个进程都必须从数据库中检索所有数据，并且必须将部分结果传输回主进程（也可能通过数据库？）。在

第三种选择可能是使用pypy，而不是Cpython。它可以明显更快。在

第四种选择是用Cython或C重新编写关键矩阵操作

问题：

我已经试过了：

代码：

我的猜测是：

时间测量：（编辑）

更新：（编辑）

更新2:（编辑）

更新-3:（编辑）

回复答案1:（编辑）

相关问题更多 >

编程相关推荐

热门问题

热门文章