下面的代码是我的主代码的一个示例,我尝试使用pathos.multiprocessing
来提高循环的迭代速度。用多重处理实现的每个迭代的输出是一个二维数组。我使用了pathos.multiprocessing
而不是{pathos.multiprocessing
的apipe
方法收集列表中的输出,但它返回一个空列表。我不知道为什么会失败
import numpy as np
import random
import pathos.multiprocessing as mp
class Testsystematics(object):
def __init__(self, x, y, NTH = None, THMIN = None, THMAX = None, NRESAMPLE = None):
self.x = x
self.y = y
self.nbins = NTH
self.bmin = THMIN
self.bmax = THMAX
self.nresample= NRESAMPLE
self.bins = np.linspace(self.bmin, self.bmax, self.nbins+1, True).astype(np.float)
self.sample = np.array([[random.choice(range(len(self.y))) for _ in xrange(len(self.y))] for i in range(self.nresample)])
self.result_list=[]
def log_result(self, result):
self.result_list.append(result)
def bootstrapping(self, k):
xi_p = np.zeros(self.nbins, float)
xi_m = np.zeros(self.nbins, float)
nind = np.zeros(self.nbins, float)
for i in range(len(self.x)):
for j in range(len(self.x)):
if (i!=j):
sep= np.sqrt(self.x[i]**2+self.x[j]**2)
index= np.searchsorted(self.bins, sep , side='right')-1
sind = np.sin(sep)
if ((sep< self.bins[-1]) and (sep>=self.bins[0])):
xi_p[index] += sind*(np.mean(y)-np.median(y))
xi_m[index] += sind*np.std(y)
nind[index] += 1.0
for i in range(self.nbins):
xi_p[i]=xi_p[i]/nind[i]
xi_m[i]=xi_m[i]/nind[i]
return np.vstack((xi_p,xi_m))
def twopcf(self):
if (self.sys_type==1):
pool = mp.ProcessingPool(16)
for n in range(self.nresample):
pool.apipe(self.bootstrapping, args=(n,), callback=self.log_result)
shape,scale=0.5, 0.6
x=np.random.gamma(shape, scale, 10000)
mu1, sigma1 = 0, 0.5 # mean and standard deviation
mu2, sigma2 = 0.1, 0.7 # mean and standard deviation
y = np.random.normal(mu1, sigma1, 1000)+np.random.normal(mu2, sigma2, 1000)
sysTest=Testsystematics(x, y, NTH = 10, THMIN = 0, THMAX = 5, NRESAMPLE = 100)
有什么建议吗?在
我是
pathos
的作者。我试过你的代码,它运行了,但是没有产生错误,也没有产生result_list
的结果。我认为这是因为您使用apipe
不正确。apipe
的正确用法如下:self.bootstrapping
接受self
和{k
。没有callback
如果你想要一个回调,你需要在你的函数中添加一个。在注意,返回值是通过(1)获取一个返回对象,和(2)通过调用返回对象上的
get
来检索的。在从您在
for
循环中使用apipe
开始,我建议您使用pool.amap
(或pool.imap
),然后您可以并行执行for循环。在相关问题 更多 >
编程相关推荐