输入形状如何影响模型架构？

Question

我在以下两种情况下得到了不同的结果：

例子1：训练数据的形状是 (batch_size, n_steps)，模型是：

model_dense = tf.keras.Sequential([
   tf.keras.layers.Dense(1)
])

例子2：我的训练数据的形状是 (batch_size, n_steps, 1)，模型的形状是：

model_dense = tf.keras.Sequential([
    tf.keras.layers.Flatten(input_shape=[n_steps, 1]),
    tf.keras.layers.Dense(1)
])

例子2的训练效果要好得多。两个模型都有 n_steps+1 个可训练的参数，我原以为例子2中的扁平层只是把通道维度压平，这样就能和例子1等效了。我觉得我可能漏掉了什么简单的东西。

Answer 1

在示例1中，数据直接输入到一个密集层（Dense layer），没有指定输入的形状。这意味着模型会根据训练数据自动推断输入的形状。在这里，每一个时间步（timestep）都被当作一个单独的特征来处理。

在示例2中，你明确地定义了输入的形状，并在密集层之前加入了一个扁平化层（Flatten layer）。这个层的作用是把数据从三维的格式转换成二维的格式，其中第一维是批量大小（batch size）。虽然扁平化操作让数据的结构看起来和示例1相似，但明确的输入形状可能会让模型的初始化和训练过程有些不同。