语义文本相似度模型和度量的实现。就是这样。
semantic-text-similarit的Python项目详细描述
语义文本相似度
一个易于使用的接口，可以对bert模型进行微调，以计算语义相似性。就这样。
该项目包含一个接口，用于微调基于bert的语义文本相似性模型。它通过抽象出所有的研究基准代码来修改pytorch-transformers，以便于实际应用。
| Model | Dataset | Dev. Correlation |
|---|---|---|
| Web STS BERT | STS-B | 0.893 |
| Clinical STS BERT | MED-STS | 0.854 |
安装
使用pip安装：
pip install semantic-text-similarity
或直接：
pip install git+https://github.com/AndriyMulyar/semantic-text-similarity
使用
将一批句子对映射到[0,5]范围内的实值分数
fromsemantic_text_similarity.modelsimportWebBertSimilaritymodel=WebBertSimilarity(device='cpu',batch_size=10)#defaults to GPU predictionmodel.predict([("She won an olympic gold medal","The women is an olympic champion")])
更多examples。
注释
- 如果你想在你的预测中得到任何速度的提示，你需要一个GPU来应用这些模型。
- 模型下载缓存在
~/.cache/torch/semantic_text_similarity/中。如果有问题，请尝试清除此文件夹。
欢迎加入QQ群-->： 979659372
