南京大学nlp小组开发的汉语分词器

njuseg的Python项目详细描述


1 Installation and Usage

1.1 Installation

通过PIP安装:

pip install njuseg

1.2 Usage

fromnjusegimportSegmentersegmenter=Segmenter.load_model(model_pth,use_gpu=True)sentences=['美国联邦储备委员会 16 日发布的全国经济形势调查报告显示,去年 12 月初至今年 1 月上旬,美国经济继续温和扩张,但美国企业对经济前景的乐观程度有所下降。','美联储注意到了市场对全球经济放缓等风险因素的担心,但当前美国经济发生衰退的风险并未上升。']segmented_sentences=segmenter.seg(sentences)

2 Performance

域中的

2.1:

预训练的unigram+bigram嵌入

PKUMSRCTB5CTB6NLPCC
96.6396.5298.1496.1395.82

3 Speed

在CPU上:每秒20K个字符 在单个NVIDIA GTX 1080 GPU上:每秒160K个字符

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
并行处理java。util。同时发生的叉子在游泳池里。常见的并行性准则,用于选择正确的并行度大小   java如何将空白字符追加到指定长度?   安卓应用程序中出现错误,SSLHandshakeException,找不到证书路径的信任锚点   java如何使用JUnit Mockito验证检查方法是否未被调用   java如何使用不同的@RequestMapping解析多个控制器中的静态页面   Selenium中的javascript需要验证搜索结果   访问数据库SQLiteopenHelper方法时java应用程序崩溃(nullpointerexception)   在二叉树中验证最小堆时出现java空指针异常   Java 7的SSL连接失败   java用RestEasyWebTarget替换ProxyFactory不起作用   在Java应用程序中单击“否”按钮后,数组程序冻结(无响应)   数组中的前缀Java初学者前进和   Java HTML解析器,包括脚本标记和LineNumberReader   在java中为长类型数字加前导零   正则表达式无法映射正则表达式java。lang.IllegalArgumentException:模式段中捕获组的数量