比较神经网络在两个特征子集上的结果

Question

我在一个包含24个特征的多元时间序列数据集上运行一个LSTM模型。我使用了几种不同的方法（方差测试、随机森林提取和额外的树分类器）进行了特征提取。不同的方法产生的特征子集略有不同。现在我想在所有子集上测试我的LSTM模型，看看哪一个给出了最好的结果

我的问题是，我的3个模型的测试/训练RMSE分数都非常相似，每次运行我的模型，我得到的答案都略有不同。这个问题来自一个天真的人，他仍在学习神经网络的复杂性，所以请帮助我理解：在这种情况下，你如何确定哪种模型是最好的？你能为神经网络做播种吗？或者在一定数量的试验中进行某种类型的平均

Answer 1

因为您已经提到，使用不同的特征提取方法，只会得到稍微不同的特征集，所以结果也很相似。此外，由于您的LSTM模型也得到了几乎相似的RMSE值，因此这些模型能够很好地进行概括，并进行相似的学习，从所有数据集中提取重要信息

最佳模型取决于您未来的数据、不同方法的计算时间和负载以及它们在生产中的持续性。在神经网络中设定种子并不是一个好主意。其基本思想是，无论模型如何开始，都应该能够达到最佳权重。如果你的模型总是得到相似的结果，在大多数情况下，这是一件好事