在使用nltk的meteor_评分模块评估模型时，如何实现meteor评分？

Question

我目前有两个文件，reference.txt和model.txt。这两个文本文件包含原始字幕和培训后生成的字幕。
我可以简单地执行以下操作以获得流星分数：

score = nltk.translate.meteor_score.meteor_score(reference, model)
print(np.mean(meteor_score))

我也在寻找https://github.com/tylin/coco-caption，但我不知道如何实现这一点

Answer 1

让我们从定义术语开始

参考：实际文本/基本事实。如果有多个人为同一数据点生成基本事实，那么您将有多个引用，并且假设所有引用都是正确的

假设：候选人/预测

让我们假设这两个人看一张图片，他们看到了标题

• 这是一个苹果
• 那是一个苹果

现在，您的模型查看图像并预测

• 这棵树上有一个苹果

你可以计算meteor_的分数来衡量预测的效果

print (nltk.translate.meteor_score.meteor_score(
    ["this is an apple", "that is an apple"], "an apple on this tree"))
print (nltk.translate.meteor_score.meteor_score(
    ["this is an apple", "that is an apple"], "a red color fruit"))

输出：

0.6233062330623306
0.0

在您的例子中，您必须将reference.txt读入一个列表，并将类似的模型预测读入另一个列表。现在您必须获得第一个列表中每一行的meteor_score，第二个列表中的每一行，最后取一个平均值