使用掩蔽和多个正确标签微调BERT
我想对一个BERT模型进行微调，让它能处理一些简单的数学运算，比如“5 + 3 = 8”或者“7加2等于9”。我的数据集里有成千上万的例子，其中一个操作数、运算符或者结果是被隐藏的。比如：
- 隐藏的部分：“1加上[MASK]等于7”，正确答案是：“1加上6等于7”
- 隐藏的部分：“6加5[MASK]11”，正确答案是：“6加5等于11”
这个过程的挑战在于，在训练时要确保对于一个被隐藏的样本，可以接受多个正确的答案。比如，在第二个例子中，如果模型预测出“等于”而不是隐藏的部分，这也应该算是正确的。
1 个回答
0
我最近对一个模型进行了调整，让它能够识别一个句子是否在我选择的上下文中。在这个过程中，准备一个结构良好的数据集是非常重要的。你可以在使用你调整过的模型之后，再用另一个模型来处理你想要的所有答案，以获取被遮蔽的单词。
数据集示例： ... 1加6等于7，正确 1加6得到7，正确 1加6大于7，错误 ...
希望我至少给你提供了一些线索，让你有更好的理解！