这是一个绑定到标记器ucto的python。标记化是几乎所有自然语言处理任务中的第一步,但它并不总是像看起来那么简单。这个绑定使ucto令牌服务器的功能对python可用。UCTO本身是一个基于正则表达式的、可扩展的、高级的ToKeKISER,用C++编写(http://LoalGigaMeNe.GITHUB.IO/UCTO)。
python-ucto的Python项目详细描述
这是一个绑定到标记器ucto的python。标记化是几乎所有自然语言处理任务中的第一步,但它并不总是像看起来那么简单。这个绑定使ucto令牌服务器的功能对python可用。UCTO本身是一个基于正则表达式的、可扩展的、高级的ToKeKISER,用C++编写(http://LoalGigaMeNe.GITHUB.IO/UCTO)。
- 此包Python名称:python-ucto
- 目前版本: python-ucto 0.5.1
- 最后维护时间:Aug 7, 2019
- 摘要:This is a Python binding to the tokenizer Ucto. Tokenisation is one of the first step in almost any Natural Language Processing task, yet it is not always as trivial a task as it appears to be. This binding makes the power of the ucto tokeniser available to Python. Ucto itself is a regular-expression based, extensible, and advanced tokeniser written in C++ (https://languagemachines.github.io/ucto).
- 安装命令:pip install python-ucto
- 其它:python-ucto 这个Python第三方库的作者没有提供更多的项目描述信息了,2019-11-10 23:44:14。
- 可以返回 PyPI第三方库 首页,查找更多相关Python包程序。