伯特分数的pytorch实现
bert-score的Python项目详细描述
Bertscore
本文描述的自动评估度量。
作者:
*:同等贡献
概述
bertscore利用bert和matches中预先训练的上下文嵌入 用余弦相似度表示候选句和参考句中的词。 它已经被证明与人类对环境的判断和 系统级评估。 此外,bertscore计算精确性、召回率和f1度量,可以是 用于评估不同的语言生成任务。
举例来说,bertscore精度可以计算为
如果您觉得此回购有用,请引用:
@article{bert-score,
title={BERTScore: Evaluating Text Generation with BERT},
author={Zhang, Tianyi and Kishore, Varsha and Wu, Felix and Weinberger, Kilian Q. and Artzi, Yoav.},
journal={arXiv preprint arXiv:1904.09675},
year={2019}
}
安装
通过pip安装
pip install bert-score
从源安装:
git clone https://github.com/Tiiiger/bert_score
cd bert_score
pip install -r requiremnts.txt
pip install .
使用量
公制
我们提供了bertscore的命令行界面(cli)和python模块。 对于cli,可以按如下方式使用:
- 评估英文文本文件:
我们在./example
下提供示例输入。
bert-score -r example/refs.txt -c example/hyps.txt --bert bert-base-uncased
- 要评估中文文本文件:
请将输入文件的格式与./example
中的类似。
bert-score -r [references] -c [candidates] --bert bert-base-chinese
- 要评估其他语言的文本文件:
请将输入文件的格式与./example
中的类似。
bert-score -r [references] -c [candidates]
通过bert-score -h
查看更多选项。
对于python模块,我们提供了一个demo。
详情请参阅^{
确认
如果没有可怕的bert和pytorch-pretrained-BERT,这个回购是不可能的。