BoNLTK旨在为应用程序开发人员可能需要的Boyig(藏语)语言提供开箱即用的各种NLP任务支持。
bonltk的Python项目详细描述
Boyig自然语言工具包(BoNLTK)
BoNLTK aims to provide out of the box support for various NLP tasks that an application developer might need for Boyig (TIbetan) language.
安装
pip install bonltk
如何使用
即将到来
待办事项:
- 在
标记器:
- []拥抱脸tokenizers
- [x] sentencepiece tokenizer
- []将以上标记器与botok进行比较
- 在
文字向量:
- [x] 带gensim的Word2Vec
- []埃姆洛
- 在
语言模型:
- []拥抱脸transformers
- []带fastai的UMLFit语言模型
- 在
文本相似性:
- []使用UMLFit的句子相似性,如inltk
- []实现[此处]中提到的文本相似性技术(https://medium.com/@adriensieg/text-similarities-da019229c894)
- []比较所有文本相似性算法
重新处理链接:
- 项目
标签: