基于编码器-解码器的实体关系提取评估？
我正在使用T5编码解码模型来解决关系提取的问题，前缀设置为“summary”。我已经对模型进行了微调，但我对评估结果的指标感到困惑。
有没有什么统计指标可以用来评估？我读过rouge指标，但对我来说，它不太合适，因为三元组的方向很重要。
举个例子：
文本 = "公司A被B收购"
所以预测结果应该是 "A | B | 收购-被收购 "
我该如何评估这些结果呢？
1 个回答
0
对于关系提取，我觉得用Rouge不太合适。关系提取其实是一种标记分类的任务，所以我们可以用召回率、准确率，还有F1分数来评估效果。还有一种叫做ign F1的分数，专门用于关系提取，它的意思是计算F1分数时不考虑训练数据中的关系事实。
为了确认这一点，我去看了一下Papers with code上的关系提取页面，果然他们在基准测试中使用了F1和ign F1，很多相关领域的论文也是这样。