我刚开始学习深度学习。我发现自己在斜坡下降时卡住了。我知道如何实现批量梯度下降。我知道它是如何工作的,也知道小批量和随机梯度下降在理论上是如何工作的。但真的不知道如何在代码中实现。
import numpy as np
X = np.array([ [0,0,1],[0,1,1],[1,0,1],[1,1,1] ])
y = np.array([[0,1,1,0]]).T
alpha,hidden_dim = (0.5,4)
synapse_0 = 2*np.random.random((3,hidden_dim)) - 1
synapse_1 = 2*np.random.random((hidden_dim,1)) - 1
for j in xrange(60000):
layer_1 = 1/(1+np.exp(-(np.dot(X,synapse_0))))
layer_2 = 1/(1+np.exp(-(np.dot(layer_1,synapse_1))))
layer_2_delta = (layer_2 - y)*(layer_2*(1-layer_2))
layer_1_delta = layer_2_delta.dot(synapse_1.T) * (layer_1 * (1-layer_1))
synapse_1 -= (alpha * layer_1.T.dot(layer_2_delta))
synapse_0 -= (alpha * X.T.dot(layer_1_delta))
这是ANDREW TRASK博客中的示例代码。它小而且容易理解。这段代码实现了批梯度下降,但我想在这个示例中实现小批和随机梯度下降。我怎么能这样做?为了分别实现小批量下降和随机梯度下降,我需要在代码中添加/修改什么?你的帮助对我有很大帮助。提前谢谢。(我知道这个示例代码没有几个示例,而我需要大数据集来分成小批量。但我想知道如何实现它)
以下函数返回(产生)小批量。它基于Ash提供的功能,但正确处理最后一个小批量。
此函数返回给定输入和目标的小批量:
这告诉你如何使用它进行训练:
显然,你需要定义fúu-train、fúval和其他功能,因为你使用的是优化库(如千层面、干酪)。
相关问题 更多 >
编程相关推荐