神经网络初始权值

2024-05-16 04:16:21 发布

您现在位置:Python中文网/ 问答频道 /正文

嗨,我正在学习神经网络,在阅读了丹尼布里茨写的Convolution Neural Network代码之后。在嵌入层,他初始化了这一层的权重,用正态分布学习单词嵌入

W = tf.Variable(tf.random_uniform([vocab_size, embedding_size], -1.0, 1.0), name="W")

然而在卷积层,他使用截断法线来初始化权重或神经节点。你知道吗

W = tf.Variable(tf.truncated_normal(filter_shape, stddev=0.1), name="W")

他为什么用两种不同的发行方式?我做了一点研究,发现这个post,但不确定是不是原因。可以吗有人建议什么吗?你知道吗

谢谢


Tags: 代码namesizetf神经网络randomuniformnetwork