在十分钟内使用leaky relu

Question

如何将G_h1 = tf.nn.relu(tf.matmul(z, G_W1) + G_b1)更改为leaky relu？我试过用max(value, 0,01*value)在张量上循环，但是我得到了TypeError: Using a tf.Tensor as a Python bool is not allowed.

我还试图在Tensorflow github上找到relu上的源代码，以便将其修改为leakyrelu，但找不到它。。

Answer 1

你可以根据tf.relu写一个，比如：

def lrelu(x, alpha):
  return tf.nn.relu(x) - alpha * tf.nn.relu(-x)

编辑

Tensorflow 1.4现在有一个本机^{}。

Answer 2

如果alpha<；1（应该是），则可以使用tf.maximum(x, alpha * x)

Answer 3

已在release 1.4.0-rc1中包含泄漏的relu函数 作为tf.nn.leaky_relu。

文档页：https://www.tensorflow.org/versions/master/api_docs/python/tf/nn/leaky_relu。