Python标记和柠檬化

2024-04-28 02:48:38 发布

您现在位置:Python中文网/ 问答频道 /正文

在过去的几天里,我一直在阅读标记和柠檬化的方法,我遇到的一个问题是词性标记到词法化的阶段。在

我已经成功地使用Perceptron tagger对文本进行POS标记,但是当我移动到文本的柠檬化时,由于POS标签的明显问题,Wordnet lemmatizer失败了。在

我已经通读了使用WordNet标签(比如herealso here)重新标记标签的方法,但是我想知道这样一个过程的效率。对于标记整个文档,甚至更大的文本,重新标记是否会导致整个事件变慢?在

难道没有一个WordNet标记器与它自己的词法分析器匹配吗?或者,是否有其他柠檬鼠与他们的标签匹配?在

任何建议都可以。在

*编辑:感知器标记器pulls from treebank,删除了示例。在


Tags: 方法标记pos文本here标签阶段tagger