南京大学nlp小组开发的汉语分词器
njuseg的Python项目详细描述
1 Installation and Usage
1.2 Usage
fromnjusegimportSegmentersegmenter=Segmenter.load_model(model_pth,use_gpu=True)sentences=['美国联邦储备委员会 16 日发布的全国经济形势调查报告显示,去年 12 月初至今年 1 月上旬,美国经济继续温和扩张,但美国企业对经济前景的乐观程度有所下降。','美联储注意到了市场对全球经济放缓等风险因素的担心,但当前美国经济发生衰退的风险并未上升。']segmented_sentences=segmenter.seg(sentences)
3 Speed
在CPU上:每秒20K个字符 在单个NVIDIA GTX 1080 GPU上:每秒160K个字符