利用OpenNMT进行迁移学习

Question

我正在用OpenNMT py在MIDI音乐文件上训练一个transformer模型，但是结果很差，因为我只能访问一个与我想学习的风格相关的小数据集。为了帮助模型学习一些有用的东西，我想使用一个更大的其他风格的音乐数据集进行预训练，然后使用小数据集对结果进行微调。在

我想在预培训后冻结变压器的编码器端，让解码器部分自由地进行微调。用OpenNMT py怎么做？在

Answer 1

请更具体地回答您的问题，并展示一些代码，这些代码将帮助您从SO社区获得有效的响应。在

如果我站在你的位置，想冻结一个神经网络组件，我只需：

for name, param in self.encoder.named_parameters():
    param.requires_grad = False

这里我假设你有一个NN模块，如下所示。在

^{pr2}$