十个张量的和

Question

我有一个深层的神经网络，层之间的权重存储在一个列表中。

layers[j].weights我想在我的成本函数中包含岭惩罚。我需要用一些像 tf.nn.l2_loss(layers[j].weights**2 for j in range(self.n_layers))即所有权重的平方和。

尤其是重量定义为：

>>> avs.layers
[<neural_network.Layer object at 0x10a4b2a90>, <neural_network.Layer object at 0x10ac85080>, <neural_network.Layer object at 0x10b0f3278>, <neural_network.Layer object at 0x10b0eacf8>, <neural_network.Layer object at 0x10b145588>, <neural_network.Layer object at 0x10b165048>, <neural_network.Layer object at 0x10b155ba8>]
>>>
>>> avs.layers[0].weights
<tensorflow.python.ops.variables.Variable object at 0x10b026748>
>>> 

在tensorflow中我怎么做？

Answer 1

对一个张量列表求和的标准方法是使用^{}操作，该操作接受一个张量列表（每个张量具有相同的大小和形状），并生成包含该和的单个张量。

对于您遇到的特定问题，我假设每个layers[j].weights都有不同的大小。因此，在求和之前，您需要将每个元素减少为一个标量，例如使用^{}函数本身：

weights = [layers[j].weights for j in range(self.n_layers)]
losses = [tf.nn.l2_loss(w) for w in weights]
total_loss = tf.add_n(losses)

（但是，请注意，当要添加的值较大时，您可能会发现计算一系列^{}操作更为有效，因为TensorFlow会将每个add_n参数的值保存在内存中，直到计算出所有这些参数的值为止。一连串的add操作允许一些计算提前发生。）

Answer 2

tf.nn.l2_loss()函数返回一个0维张量。

但是不需要手动地将其应用到每个权重张量是很好的，因此将权重张量存储在列表中是解决问题的一种方法（正如@mrry所指出的）。

但不必每次都写出来，您可以使用以下函数

def l2_loss_sum(list_o_tensors):
    return tf.add_n([tf.nn.l2_loss(t) for t in list_o_tensors])

在您的情况下，这看起来像：

total_loss = l2_loss_sum([layers[j].weights for j in range(self.n_layers)])

此外，tf.nn.l2_loss()隐式地将平方运算应用于值，并将所有平方值乘以1/2，因此如果使用类似于tf.nn.l2_loss(layers[j].weights**2 for j in range(self.n_layers))的方法，则实际上会将权重提高到第四次方。因此，这个损失项的导数会很奇怪：它不会抵消1/2到1（但会隐式地使β加倍），权重会被立方化。