我有一个模型,我已经训练了40个时代。我为每个时代保留了检查点,还用model.save()
保存了模型。训练代码是
n_units = 1000
model = Sequential()
model.add(LSTM(n_units, input_shape=(None, vec_size), return_sequences=True))
model.add(Dropout(0.2))
model.add(LSTM(n_units, return_sequences=True))
model.add(Dropout(0.2))
model.add(LSTM(n_units))
model.add(Dropout(0.2))
model.add(Dense(vec_size, activation='linear'))
model.compile(loss='mean_squared_error', optimizer='adam')
# define the checkpoint
filepath="word2vec-{epoch:02d}-{loss:.4f}.hdf5"
checkpoint = ModelCheckpoint(filepath, monitor='loss', verbose=1, save_best_only=True, mode='min')
callbacks_list = [checkpoint]
# fit the model
model.fit(x, y, epochs=40, batch_size=50, callbacks=callbacks_list)
然而,当装载模型并再次训练时,它会像以前没有训练过一样从头开始。输球不是从上次训练开始的。
让我困惑的是,当我用重新定义的模型结构和load_weight
加载模型时,model.predict()
工作得很好。因此,我相信模型权重是加载的。
model = Sequential()
model.add(LSTM(n_units, input_shape=(None, vec_size), return_sequences=True))
model.add(Dropout(0.2))
model.add(LSTM(n_units, return_sequences=True))
model.add(Dropout(0.2))
model.add(LSTM(n_units))
model.add(Dropout(0.2))
model.add(Dense(vec_size, activation='linear'))
filename = "word2vec-39-0.0027.hdf5"
model.load_weights(filename)
model.compile(loss='mean_squared_error', optimizer='adam')
但是,当我继续训练
filepath="word2vec-{epoch:02d}-{loss:.4f}.hdf5"
checkpoint = ModelCheckpoint(filepath, monitor='loss', verbose=1, save_best_only=True, mode='min')
callbacks_list = [checkpoint]
# fit the model
model.fit(x, y, epochs=40, batch_size=50, callbacks=callbacks_list)
损失和初始状态一样高。
我搜索并找到了一些保存和加载模型的示例: http://machinelearningmastery.com/save-load-keras-deep-learning-models/https://github.com/fchollet/keras/issues/1872
但都不管用。有人能帮我吗?谢谢。
更新
Loading a trained Keras model and continue training
我试过了
model.save('partly_trained.h5')
del model
load_model('partly_trained.h5')
它起作用了。但当我关闭python时,重新打开并再次load_model
。它失败了。损失和初始状态一样高。
更新
我试过于洋的示例代码。它起作用了。但回到我的代码,我还是失败了。 这是最初的训练。第二个纪元应该以损失=3.1开始。
13700/13846 [============================>.] - ETA: 0s - loss: 3.0519
13750/13846 [============================>.] - ETA: 0s - loss: 3.0511
13800/13846 [============================>.] - ETA: 0s - loss: 3.0512Epoch 00000: loss improved from inf to 3.05101, saving model to LPT-00-3.0510.h5
13846/13846 [==============================] - 81s - loss: 3.0510
Epoch 2/60
50/13846 [..............................] - ETA: 80s - loss: 3.1754
100/13846 [..............................] - ETA: 78s - loss: 3.1174
150/13846 [..............................] - ETA: 78s - loss: 3.0745
我关闭了Python并重新打开它。使用model = load_model("LPT-00-3.0510.h5")
加载模型,然后使用
filepath="LPT-{epoch:02d}-{loss:.4f}.h5"
checkpoint = ModelCheckpoint(filepath, monitor='loss', verbose=1, save_best_only=True, mode='min')
callbacks_list = [checkpoint]
# fit the model
model.fit(x, y, epochs=60, batch_size=50, callbacks=callbacks_list)
损失从4.54开始。
Epoch 1/60
50/13846 [..............................] - ETA: 162s - loss: 4.5451
100/13846 [..............................] - ETA: 113s - loss: 4.3835
以下是kera保存模型的官方文档:
https://keras.io/getting-started/faq/#how-can-i-save-a-keras-model
在this post中,作者提供了两个将模型保存和加载到文件的示例:
我将代码与此示例http://machinelearningmastery.com/text-generation-lstm-recurrent-neural-networks-python-keras/ 小心地一行一行地封锁,然后再跑。一整天之后,我终于发现了问题所在。
在进行char int映射时,我使用
集合是无序的数据结构。在python中,当一个集合被转换成一个有序的列表时,这个顺序是随机给定的。因此,每当我重新打开python时,我的char2int字典都是随机的。 我通过添加排序()
这将强制转换为固定顺序。
由于很难弄清楚问题所在,我从您的代码中创建了一个玩具示例,它看起来工作正常。
模型加载后,损失继续减小。(重启python也没有问题)
顺便说一下,重新定义后面跟着
load_weight()
的模型肯定行不通,因为save_weight()
和load_weight()
不会保存/加载优化器。相关问题 更多 >
编程相关推荐