在德语中,名词的单数化和spacy似乎存在一个问题。 Spacy似乎依赖于大写的单词来识别它们为名词。例如:
import spacy
nlp = spacy.load("C:\\Users\\somepath\\spacy\\de_core_md\\de_core_news_md\\de_core_news_md-2.2.5")
def lemmatize_text(text):
"""returns the text with each word in its basic form"""
doc = nlp(text)
return [word.lemma_ for word in doc]
lemmatize_text('Das Wort Tests wird erkannt. Allerdings werden tests nicht erkannt')
--> ['der', 'Wort', 'Test', 'werden', 'erkennen', '.', 'Allerdings', 'werden', 'tests', 'nicht', 'erkennen']
# should say 'Test' for both sentences
如果我马上对原文进行柠檬化,那就不会有问题了。但是,我的预处理如下所示:
是否有执行上述步骤的建议顺序
我并不是首先进行引理化,因为一句话开头的单词不会被正确识别:
lemmatize_text('Größer wird es nicht mehr. größer wird es nicht mehr.')
--> ['Größer', 'werden', 'ich', 'nicht', 'mehr', '.', 'groß', 'werden', 'ich', 'nicht', 'mehr', '.']
# should say 'groß' for both sentences
目前没有回答
相关问题 更多 >
编程相关推荐