Python MicroTokenizer-0.19.2.tar.gz模块包
下面是该Python项目安装包的资源下载地址:
MicroTokenizer-0.19.2.tar.gz.source
文件名称:MicroTokenizer-0.19.2.tar.gz
版权声明:本程序为网上收集,用户上传,仅供研究学习计算机编程等技术为目的,版权归原作者所有。
所属PyPI项目:MicroTokenizer
文件大小: 18.5 MB
文件类型: Source
适用的Python版本:None
下载文件的哈希值:
SHA256:b12ae5868aa66382c8e040b6a9d10976420d2bf93473d187c7933bec2e1af325
MD5:1bec37a5c78517c75f959e620a5c66dc
BLAKE2-256:b6347b1a2b5dedf65bd3b1e2fac00470257e83715edac39ddf7caf5b09973fae
选择下载地址 热度
851 ℃ | 2024-04-29
- 如果发现本程序安装包或源码失效或下载失败,可以联系站长修复!谢谢。
- 可以使用迅雷等多线程下载专用软件进行加速下载。
- 少部分程序支持BT/磁力下载。
- 少部分程序可能需要编译安装,或下载源码自行安装,也可以使用
pip
命令进行安装。 - 放在网盘上的资源可能会被限速,可能需要注册或者购买对方VIP服务才能快速的下载。
- 如遇压缩包需要密码解压的,密码为 www.cnpython.com (全部小写),不是此密码非本站下载资源。
PyPI项目包:MicroTokenizer
微型中文分词器
一个微型的中文分词器,目前提供了七种分词算法:
- 按照词语的频率(概率)来利用构建 DAG(有向无环图)来分词,使用 Trie Tree 构建前缀字典树
- 使用隐马尔可夫模型(Hidden Markov Model,HMM)来分词
- 融合 DAG 和 HMM 两种分词模型的结果,按照分词粒度最大化的原则进行融合得到的模型
- 正向查看全文