如何使用节进行英语标记化

2024-03-28 16:49:27 发布

您现在位置:Python中文网/ 问答频道 /正文

text = "XXXXXX,XXXX “XX” , XXXXX 50 XX 、 XXXXXXXXX、XXXXXXXXXXXXXXXXXXX"

zh_nlp = stanza.Pipeline('zh')
doc = zh_nlp(text)

for sent in doc.sentences:
  print("Tokenize:" + ' '.join(token.text for token in sent.tokens))

如果以中文输入,则节能够分隔文本(中文在很大程度上依赖于标记化和句子分割)。它输出以下内容。大致是这样划分的

Tokenize:XXX XX X , X X XX “ XX ” , X X X XX 50 X X 、 XXX XXXX XX 、 X X XX XX X XX XX XX X XX XX X 。

如果输出为英文,则用英文单词空格分隔

text = "Hong Kong"

en_nlp = stanza.Pipeline('en')
doc = en_nlp(text)

for sent in doc.sentences:
  for Tokenize in sent.tokens:
    print(Tokenize)

例如,如果输入程序为“Hong Kong”,则输出将如下所示

[
  {
    "id": 1,
    "text": "Hong",
    .......
  }
]
[
  {
    "id": 2,
    "text": "Kong",
    .......
  }
]

Tags: textinfordocnlppipelinesenten