现在已移除的模块'nltk.model.NGramModel'有替代方案吗?

12 投票
1 回答
4713 浏览
提问于 2025-04-28 07:31

我这两天一直在找替代方案,但一直没找到合适的。 我主要想要一个合成句子的概率评分(这个句子是通过替换一些原句中的单词生成的,原句是从语料库中选出来的)。

我试过用搭配词(Collocations),但得到的分数并不是很有用。所以我又想到了语言模型的概念,结果发现原本看起来很有帮助的'model'模块因为一些bug被从NLTK中移除了。

如果有人能告诉我在Python中获取ngram模型实现的其他方法,或者更好的是,给我一些其他解决“评分”这个句子问题的建议,那就太好了。

暂无标签

1 个回答

15

根据这个在nltk仓库上的未解决问题NGramModel目前没有在主版本中,因为存在一些错误。现在的解决办法是从模型分支安装代码。不过,这个分支的更新大约比主版本落后了8个月,所以你可能会错过其他功能和错误修复。

pip install https://github.com/nltk/nltk/tarball/model

相关的代码可以在模型分支的这里找到。如果你不想使用这个过时的分支,可以把代码复制到你本地的项目里。如果你真的想用这个功能,可以尝试修复上面提到的未解决错误,然后提交一个合并请求。

撰写回答