NLTK/pyNLTK能否按语言（即非英语）工作？如何实现？
我该怎么告诉NLTK处理特定语言的文本呢？
我偶尔会写一些专门的自然语言处理程序，用来进行词性标注、分词等操作，主要是针对非英语（但仍然是印欧语系）的文本。
这个问题似乎只讨论了不同的语料库，而没有涉及代码或设置的变化：德语的词性标注
另外，有没有专门针对希伯来语、西班牙语或波兰语的自然语言处理模块可以在Python中使用呢？
1 个回答
9
我不太明白你说的代码或设置的变化指的是什么。NLTK主要依赖于机器学习，而“设置”通常是从训练数据中提取出来的。
在进行词性标注时，结果和标注的准确性会依赖于你使用或训练的标注器。如果你想自己训练一个标注器，你当然需要一些西班牙语或波兰语的训练数据。之所以这些数据可能难找，是因为公开的标准材料比较少。虽然有一些工具可以做到这一点，但这个工具不支持Python（http://www.ims.uni-stuttgart.de/projekte/corplex/TreeTagger/）。
nltk.tokenize.punkt.PunktSentenceTokenizer这个分词器会根据多语言的句子边界来分割句子，具体的细节可以在这篇论文中找到（http://www.mitpressjournals.org/doi/abs/10.1162/coli.2006.32.4.485）。