我的设置:Python 2.7.4.1、numpymkl 1.7.1、windows7x64、WinPython
我尝试实现序列最小优化算法来求解支持向量机。我使用最大违反对方法。在
在工作集选择过程中,我想找出满足某个条件的元素的最大梯度值及其指数,即y[i]*alpha[i]<;0或y[i]*alpha[i]
#y - array of -1 and 1
y=np.array([-1,1,1,1,-1,1])
#alpha- array of floats in range [0,C]
alpha=np.array([0.4,0.1,1.33,0,0.9,0])
#grad - array of floats
grad=np.array([-1,-1,-0.2,-0.4,0.4,0.2])
GMaxI=float('-inf')
GMax_idx=-1
n=alpha.shape[0] #usually n=100000
C=4
B=[0,0,C]
for i in xrange(0,n):
yi=y[i] #-1 or 1
alpha_i=alpha[i]
if (yi * alpha_i< B[yi+1]): # B[-1+1]=0 B[1+1]=C
if( -yi*grad[i]>=GMaxI):
GMaxI= -yi*grad[i]
GMax_idx = i
这个过程被多次调用(~50000),profiler显示这是瓶颈。 有没有可能将代码矢量化?在
编辑1: 添加一些小的示例数据
编辑2: 我已经检查了hwlau、larsmans和E先生提出的解决方案。只有E先生提出的解决方案是正确的。下面是包含所有三个答案的示例代码:
^{pr2}$在检查了所有的解决方案后,最快的一个(2x-6x)是@ali ium提出的解决方案,但是它需要安装一些python包:numba和它的所有先决条件。在
我在使用numba和类方法时遇到了一些问题,所以我创建了用numba自动编译的全局函数,我的解决方案如下所示:
from numba import autojit
@autojit
def FindMaxMinGrad(A,B,alpha,grad,y):
'''
Finds i,j indices with maximal violatin pair scheme
A,B - 3 dim arrays, contains bounds A=[-C,0,0], B=[0,0,C]
alpha - array like, contains alpha coeficients
grad - array like, gradient
y - array like, labels
'''
GMaxI=-100000
GMaxJ=-100000
GMax_idx=-1
GMin_idx=-1
for i in range(0,alpha.shape[0]):
if (y[i] * alpha[i]< B[y[i]+1]):
if( -y[i]*grad[i]>GMaxI):
GMaxI= -y[i]*grad[i]
GMax_idx = i
if (y[i] * alpha[i]> A[y[i]+1]):
if( y[i]*grad[i]>GMaxJ):
GMaxJ= y[i]*grad[i]
GMin_idx = i
return (GMaxI,GMaxJ,GMax_idx,GMin_idx)
class SVM(object):
def working_set(self,....):
FindMaxMinGrad(.....)
给你:
没有尝试基准测试,但它是纯数值和矢量化的,所以它应该很快。在
我认为这是一个完全矢量化的版本
如果使用^{} 来JIT编译使用嵌套循环的原始代码,可能会比普通的向量化做得更好。在
作为比较,以下是E先生的矢量化版本:
^{pr2}$时间安排:
更新:如果您想查看更大数组上的计时情况,很容易定义一个函数,根据您在问题中的描述生成半真实的假数据:
相关问题 更多 >
编程相关推荐