ELMo如何训练可训练参数

Question

我是TensorFlowHub的新手，遇到了ELMo模型（https://www.tensorflow.org/hub/modules/google/elmo/2）。在

根据原论文，ELMo表示是隐藏状态激活的加权平均值，这些权重可以根据手头的任务（即任务特定）进行训练。如预期，我可以看到4个可训练的参数，当我使用tf.trainable_变量(). 如何在tensorflow中精确地训练这些变量？在

他们只是提到这些重量是可以训练的。但是谁来训练它呢？我还是埃尔莫模型自己训练？报纸似乎建议我应该训练它。如果是这样，我如何在tensorflow中训练它？在

Answer 1

您可以首先使用trainable=True将一个模块导入到模型中，然后train像对待任何其他TF模型一样。在这个训练的过程中，模型的重量输入模块的一部分也将被训练。您也可以使用this tutorial作为一个好的起点，只需使用ELMo替换nnlm嵌入。在