基于Unicode的语言不可知（over-）标记器。
overtokenizer的Python项目详细描述
这个包提供了一个简单的语言不可知的标记器。
版权所有？2016，Luís Gomes<；luismsgomes@gmail.com>；。
这个库是免费软件；您可以重新分发它和/或 根据GNU小公众条款修改 自由软件基金会发布的许可证；或者 许可证的2.1版，或（由您选择）任何更高版本。
这个图书馆的发行是希望它能有用， 但没有任何保证；甚至没有 适销性或适合某一特定目的的适销性。看GNU 更详细的信息，请参阅较低的通用公共许可证。
你应该收到一份GNU的副本 与此库一起使用许可证；如果没有，请写入免费软件 美国马萨诸塞州波士顿市富兰克林街51号基金会，邮编：02110-1301
欢迎加入QQ群-->： 979659372
