python包,用于包装no中模型的渐变优化器
gradient-optimizers的Python项目详细描述
#梯度优化器
使用[adagrad]优化no模型(http://www.magicbroom.info/papers/duchihasi10.pdf)、hessian自由优化或线性更新。
有关教程,请参阅示例笔记本(tbd)。
两个类**梯度模型**和**梯度模型**,为了优化基于梯度的模型(特别是考虑到索引参数而构建的模型(例如语言模型的梯度模型))
\gradient model
a gradient model for update your model with
hessian free,adagrad,or linear decay updates.
并根据需要填写:
获取错误的正向方法:
投影=自投影函数(ivector<;index/>;)
一个成本函数(以投影函数和标签的结果作为输入)
并返回一个符号可微的无变量
自成本函数(投影,ivector<;label/>;).sum()
self.params=[]
self.indexed_params=set()
self.store_max_updates=true/false
/无
如果l2为真,则存储此参数:
self.\u l2_u regulation_u parameter=theano.shared(np.float64(l2_u regulation).astype(real),name='l2_正则化参数')
如果不是这样的话,你可以适当地修改它们。
Br/>α梯度模型
BR/>实现了一个近似于曲率的Hessian自由(1)
优化的符号一步,
需要一个以示例
为输入的“计算成本”方法,或者一个为每个提供的示例返回
梯度的“计算成本”梯度。
ICML2010)(http://www.icml2010.org/papers/458.pdf)
确保以下参数未被篡改:
函数 no 模型 self 示例 投影 梯度 gradient l2 optimizers
使用[adagrad]优化no模型(http://www.magicbroom.info/papers/duchihasi10.pdf)、hessian自由优化或线性更新。
有关教程,请参阅示例笔记本(tbd)。
两个类**梯度模型**和**梯度模型**,为了优化基于梯度的模型(特别是考虑到索引参数而构建的模型(例如语言模型的梯度模型))
\gradient model
a gradient model for update your model with
hessian free,adagrad,or linear decay updates.
并根据需要填写:
获取错误的正向方法:
投影=自投影函数(ivector<;index/>;)
一个成本函数(以投影函数和标签的结果作为输入)
并返回一个符号可微的无变量
自成本函数(投影,ivector<;label/>;).sum()
self.params=[]
self.indexed_params=set()
self.store_max_updates=true/false
/无
如果l2为真,则存储此参数:
self.\u l2_u regulation_u parameter=theano.shared(np.float64(l2_u regulation).astype(real),name='l2_正则化参数')
如果不是这样的话,你可以适当地修改它们。
Br/>α梯度模型
BR/>实现了一个近似于曲率的Hessian自由(1)
优化的符号一步,
需要一个以示例
为输入的“计算成本”方法,或者一个为每个提供的示例返回
梯度的“计算成本”梯度。
ICML2010)(http://www.icml2010.org/papers/458.pdf)
确保以下参数未被篡改:
标签: