印度语的最新翻译。
anuvaad的Python项目详细描述
阿努瓦德
最先进的印度语开源翻译模型。在
安装
# CPU pytorch will be installed if torch is not installed
pip install --upgrade anuvaad
使用
作为Python模块
^{pr2}$作为服务
# Starting the api service docker run -it -e BATCH_SIZE=1 -p 8080:8080 notaitech/anuvaad:english-telugu # Running a prediction curl -d '{"data": ["YS Jagan is the chief minister of Andhra Pradesh."]}' -H "Content-Type: application/json" -X POST http://localhost:8080/sync
| Available Models | Anuvaad BLEU | Google BLEU |
|---|---|---|
| english-telugu | 12.721173743764009 | 6.841437460383768 |
| english-tamil | 12.737036149214694 | 5.558450942590664 |
| english-malayalam | 17.785746646721996 | 19.569069412553812 |
| english-kannada | 7.888886041933815 | 3.2803251953567893 |
| english-marathi | 23.02755955392518 | 12.888112016722792 |
| english-hindi | 29.175892213216954 | 18.130893478614375 |
| english-bengali | ||
| english-punjabi | ||
| english-gujarati |
- 在
googlebleu是根据googlesheets上的GOOGLETRANSLATE() function生成的翻译来计算的。在
在 - 在
来自Tatoeba的测试脚本和数据出现在https://github.com/notAI-tech/Anuvaad-testing-scripts
在 - 在
https://docs.google.com/spreadsheets/d/1tYYZObELj-k6mJCnM6uf7xg3JChbSkjs8YvZsOgHacQ/edit?usp=sharing是一张包含Anuvaad和GOOGLETRANSLATE函数对Tatoeba数据的预测的表格，从中可以计算出上述分数。在
在
我对模型评估/准确性的看法：
- 与分类/序列标记任务不同，对于开放域翻译或摘要系统，很难通过数字来量化准确性。在
- 这是因为，大多数精度测量实际上测量的是预期输出和预测输出之间字符/单词n-gram的重叠。在
- 当评估/比较一个特定数据集上的多个模型时，这些分数肯定有帮助，但是对于开放域模型来说，这个数字并不能很好地转换。在
- 例如，Anuvaad翻译句子一个预付款给这类医院的医疗主管，然后他们在个案基础上提供帮助。（摘自http://data.statmt.org/pmindia/v1/parallel语料库）到这类医院的医生和爱德华兹在一起，随后，将提供以下信息。其中，数据集中句子的预期翻译为***主管们看到什么都会得到帮助。在
- 在上面的例子中，虽然Anuvaad的翻译是正确的（从某种意义上说，翻译传达了与原句子相同的东西），n=3的BLEU分数将为0。在
- 类似地，在pmindia数据集上训练的模型在使用不同写作风格的不同数据集上也会有不好的分数，即使翻译在语义上是正确的。在
- 我们构建Anuvaad的目的是建立一个通用的，开放的领域翻译模块，可以灵活地翻译来自不同领域的文本。在
- https://docs.google.com/spreadsheets/d/1_TTtBEvVgemQfGbRBSZYkECMMt5r7L9-dt0FGVUbmOY/edit?usp=sharing是一张比较Anuvaad、ilmulti（https://github.com/jerinphilip/ilmulti）和Google Translate（=GOOGLETRANSLATE（Google sheets上的文本，“en”，“language”）函数）对塔图巴100个随机选择的英语句子的翻译进行比较。在
- 项目
标签：
欢迎加入QQ群-->： 979659372
