有没有可能得到一个空间名称识别的信心分数

Question

我需要对斯帕西·内尔的预测做一个可信度评分。

CSV文件

Text,Amount & Nature,Percent of Class
"T. Rowe Price Associates, Inc.","28,223,360 (1)",8.7% (1)
100 E. Pratt Street,Not Listed,Not Listed
"Baltimore, MD 21202",Not Listed,Not Listed
"BlackRock, Inc.","21,871,854 (2)",6.8% (2)
55 East 52nd Street,Not Listed,Not Listed
"New York, NY 10022",Not Listed,Not Listed
The Vanguard Group,"21,380,085 (3)",6.64% (3)
100 Vanguard Blvd.,Not Listed,Not Listed
"Malvern, PA 19355",Not Listed,Not Listed
FMR LLC,"20,784,414 (4)",6.459% (4)
245 Summer Street,Not Listed,Not Listed
"Boston, MA 02210",Not Listed,Not Listed

编码

^{pr2}$

输出CSV

Text,Amount & Nature,Prediction
"T. Rowe Price Associates, Inc.","28,223,360 (1)",ORG
100 E. Pratt Street,Not Listed,FAC
"Baltimore, MD 21202",Not Listed,CARDINAL
"BlackRock, Inc.","21,871,854 (2)",ORG
55 East 52nd Street,Not Listed,LOC
"New York, NY 10022",Not Listed,DATE
The Vanguard Group,"21,380,085 (3)",ORG
100 Vanguard Blvd.,Not Listed,FAC
"Malvern, PA 19355",Not Listed,DATE
FMR LLC,"20,784,414 (4)",ORG
245 Summer Street,Not Listed,CARDINAL
"Boston, MA 02210",Not Listed,GPE

在上面的输出中，是否有可能对Spacy NER pretication获得一个有信心的分数。如果是，我如何实现？

有人能帮我吗？在

Answer 1

要么获取一个完全注释的数据集，要么自己手动对其进行注释（鉴于您有一个CSV文件，这可能是您的首选选项）。这样你就可以从你的空间预测中分辨出真实的事实。在此基础上，您可以计算confusion matrix。我建议用F1的分数来衡量信心。在

这里aresomegreatlinks讨论各种公共可用的数据集和注释方法（包括CRF）。在

Answer 2

不，这是不可能得到你的模型在Spacy信心得分（不幸的）。正如本期#881中所提到的，如果使用get_beam_parses的话，即使它似乎有自己的一套问题，如thread所述，也有可能得到分数。在

虽然使用F1分数有利于整体评估，但我更希望Spacy为其预测提供个人信心分数，而目前它还没有提供。在