python越南语工具包
pyvi的Python项目详细描述
python越南语工具包
功能性
- 标记化
- POS标签
- 删除重音
- 添加重音符号
算法:条件随机场
越南代币兑换商f1_得分=0.978637686
越南语词性标记f1_得分=0.92520656
POS标签:
- A-形容词
- c-协调连词
- e-介词
- i-感叹词
- L-测定器
- M-数字
- n-常用名词
- nc-名词量词
- NY—名词缩写
- np-专有名词
- nu-单位名词
- p-代词
- R-副词
- s-从属连接 < >辅助,情态词
- v-动词
- X-未知
- f-过滤掉(标点符号)
安装
在命令行中使用pip
$ pip install pyvi
卸载
$ pip uninstall pyvi
使用量
frompyviimportViTokenizer,ViPosTaggerViTokenizer.tokenize(u"Trường đại học bách khoa hà nội")ViPosTagger.postagging(ViTokenizer.tokenize(u"Trường đại học Bách Khoa Hà Nội")frompyviimportViUtilsViUtils.remove_accents(u"Trường đại học bách khoa hà nội")frompyviimportViUtilsViUtils.add_accents(u'truong dai hoc bach khoa ha noi')