当一行数据集具有多个标签的可能性时,是否可以训练BERT进行句子分类?

2024-04-26 21:13:24 发布

您现在位置:Python中文网/ 问答频道 /正文

我们有一个包含几千个句子的数据集,每个句子都有几个标签

例如:

  • “你是个坏人”
  • [挑衅、判决]

两种标签均有效且可接受

目前,我们在第一个方面对BERT进行了培训,它运行得非常好,只是我们需要在这两个方面对它进行培训,以适应我们的用例

我们的第一个想法是复制数据集的行。因此,我们有:

第123.1行

  • “你是个坏人”
  • 挑衅

第123.2行

  • “你是个坏家伙”
  • 判断力

我们关注的是:

  • 这句话可能会稀释训练期间增加的体重(可能没什么大不了的吧?)
  • 它对测试集不起作用,除非我们从头开始创建一个培训场景,在该场景中,我们承认两个标签都将被视为成功

对于这个用例,还有一种更相关的工作方式吗


Tags: 数据方式场景标签用例句子bert体重