有人能用神经网络解释这种现象吗？

Question

我训练了一个[50，500，500，5]神经网络，输入层有50个神经元，输出层有5个神经元。第二层中的偏差变化如下

为什么偏压在第二层的分布变化如此剧烈？你知道吗

（第1层中的偏差分布在每一步中几乎相同。你知道吗

有人能解释这种现象吗

Answer 1

你所看到的几乎可以肯定是过于合适了。这不是实现中的错误，而是理解上的问题。这个1055神经元多层感知器（MLP）有大约6.25米的重量（取决于你的实现）！这足以记住几乎所有的模式。你在柱状图中看到的是偏移参数的迁移，以适应你的数据。它只发生在最后一层，因为仅最后一层中的偏差项就足以记住数据。从非常清晰的参数集中来看，我猜你是在一个相当小的数据集上训练。这就是你的MLP记忆数据点时的样子。参考你的火车和验证损失与历元曲线，以确认这一假设。你知道吗