规范化函数在张量流中的作用是什么？

Question

我学习机器学习并试图建立一个简单的张量流模型。当我试着训练模特时，我的损失是10个。在

5s 83us/step - loss: 9.6847 - acc: 0.3971

型号代号：

model = keras.Sequential([
    keras.layers.Flatten(input_shape=(28, 28)),
    keras.layers.Dense(128, activation=tf.nn.relu),
    keras.layers.Dense(128, activation=tf.nn.relu),
    keras.layers.Dense(10, activation=tf.nn.softmax)
])

model.compile(optimizer=tf.train.AdamOptimizer(),
          loss='sparse_categorical_crossentropy',
          metrics=['accuracy'])

model.fit(x_train, y_train, epochs=3)

但是我用这段代码规范化了数据集

{cd2}

然后损失降到不到1。在

问题是，它是如何产生如此巨大的影响的？在

Answer 1

“问题是，它做了什么来产生如此巨大的影响？” 它将训练数据规范化为数据Implementation的l2范数。这样做的目的是没有特定的样本控制权重的更新方式。也可以看到这个question的答案。在这个答案中，使用一个双特征logistic回归示例来解释标准化的原因。在