有没有一个现有的库或api可以用来分隔基于字符的语言中的单词？

Question

我正在研究一个小爱好Python项目，它涉及使用用该语言编写的大量文本为各种语言创建字典。对于大多数语言，这相对简单，因为我可以使用单词之间的空格分隔符将一段标记为字典的单词，但是例如，汉语在单词之间不使用空格字符。我怎样才能把一段中文文本标记成单词？

我的搜索发现这是一个有点复杂的问题，所以我想知道是否有现成的解决方案来通过Python或其他任何api或任何其他语言来解决这个问题。这必须是一个共同的问题，因为任何为亚洲语言制作的搜索引擎都需要克服这个问题，以便提供相关的结果。

我试图使用Google搜索，但我甚至不确定这种标记化是什么类型，所以我的结果没有找到任何东西。也许只要朝正确的方向轻轻一点就能帮上忙。

Answer 1

语言标记化是自然语言处理的一个重要方面。对于大公司和大学来说，这是一个巨大的课题，也是众多博士论文的主题。在

我刚给你的问题提交了一个编辑来添加“nlp”标签。我建议你看看“about”页面上的“nlp”标签。您将找到指向诸如Natural Language Tool Kit等站点的链接，其中包括一个基于Python的标记器。在

你也可以在谷歌上搜索“语言标记化”和NLP。在