基于BERT的单词位置序列标注

Question

如果我有一组句子，在这些句子中，单词之间有一些依赖关系。 我想训练BERT预测哪些词与其他词有依赖关系

例如，如果我有这样一句话：

We were moving around in Paris, which is the capital of France.

0------1-------2-------3------4----5------6-----7---8-----9----10---11 (words indices)

我想伯特预测单词Paris的位置France。因此，将任务塑造为序列标记任务

如果一个单词的标签可以是-1，则该单词与句子中的任何其他单词或其他单词的索引之间没有关系；对于上面的例子，Parisword应该有11作为单词France的索引

将索引作为标签放置是否正确

Answer 1

不是。问题是，n每个句子的位置索引都有完全不同的含义，因此网络要知道该做什么是非常困难的。您可以将最终投影中的参数矩阵想象为目标类的嵌入，将分类想象为测量来自类嵌入的输出状态的相似性

我建议进行类似于人们有时在依赖项解析器中所做的分类，即，对于每一对单词，如果单词之间存在关系，则进行分类

BERT为您提供了一个矩阵，其中包含每个句子的上下文嵌入。从中创建一个三维张量，其中位置[i, j]包含单词i和j表示的串联。然后，将这些对中的每一对分类为真/假，告诉他们这两个词之间是否存在依赖关系