验证损失的大幅峰值/波动是否是一个问题?

2024-05-29 05:13:10 发布

您现在位置:Python中文网/ 问答频道 /正文

当我对我的CNN应用批量标准化时,它极大地改善了训练损失,但验证保持显著波动(尽管仍然比应用BN之前更好)。而训练的损失似乎是过分的(或者我认为是这样)

我已经读了很多关于BN层的最佳位置的书,甚至有人告诉我在大多数最先进的NN中不再使用池,所以我可能应该放弃它

所以我的问题是:

在训练过程中出现这些波动是否是一个问题,即使验证和训练似乎彼此接近

(附学习曲线和CNN架构)所有层均使用Relu

Conv-1D
BN
Conv-1D
BN
APool

Conv-1D
BN
Conv-1D
MPool

Flatten
Dense
BN
Dense
Output

Learning Curve Plot


Tags: 过程架构nn批量cnndenserelu损失

热门问题