如何在TensorF中使用He初始化

Question

当使用ReLUs时，来自Delving Deep into Rectifiers的He/MSRA初始化似乎是一个recommended权重初始化。

在TensorFlow中有内置的使用方法吗？（类似于：How to do Xavier initialization on TensorFlow）？

Answer 1

tf.contrib.layers.variance_scaling_initializer(dtype=tf.float32)

这将为您提供He/MRSA初始化。文档说明^{}的默认参数与初始化相对应，并且更改参数可能会导致Xavier初始化（这是TF的内部Xavier初始化实现中所做的）。

示例用法：

W1 = tf.get_variable('W1', shape=[784, 256],
       initializer=tf.contrib.layers.variance_scaling_initializer())

或者

initializer = tf.contrib.layers.variance_scaling_initializer()
W1 = tf.Variable(initializer([784,256]))