BERT-XLNET训练模型

Question

我正试图在XLNet中做类似的事情，但我在文档中找不到这一部分，任何帮助都是有价值的，谢谢

# we access the transformer model within our bert object using the bert attribute 
# (eg bert.bert instead of bert)

embeddings = bert.bert(input_ids, attention_mask=mask)[1]  # access pooled activations with [1]

（我尝试用xlnet来代替bert.bert）

Answer 1

为了解决这个问题，让我们首先看看bert.bert属性背后到底隐藏了什么。为此，我们可以检查^{}类库的源代码。在这里，我们可以看到它被定义为

self.bert = TFBertMainLayer(config, name="bert")

其中TFBertMainLayer正是它的名字所暗示的——主变压器组件。准确地说，其定义如下：

# ...
self.embeddings = TFBertEmbeddings(config, name="embeddings")
self.encoder = TFBertEncoder(config, name="encoder")
self.pooler = TFBertPooler(config, name="pooler") if add_pooling_layer else None
# ...

如果我们检查source code for ^{}，我们可以看到也只有一个属性，定义为

self.transformer = TFXLNetMainLayer(config, name="transformer")

由于这在名称上非常相似，您只需调用xlnet.transformer(...)就可以得到相同的结果，尽管我不能保证所有输入参数的工作方式都相同