擅长:python、mysql、java
<p><code>tokenizer.tokenize()</code>是句子标记器(拆分器)。如果要标记单词,请使用<code>word_tokenize()</code>:</p>
<pre><code>import nltk
from nltk.tokenize import word_tokenize
content_french = ["Les astronomes amateurs jouent également un rôle important en recherche; les plus sérieux participant couramment au suivi d'étoiles variables, à la découverte de nouveaux astéroïdes et de nouvelles comètes, etc.", 'Séquence vidéo.', "John Richard Bond explique le rôle de l'astronomie."]
for i in content_french:
print(i)
print(word_tokenize(i, language='french'))
</code></pre>
<p><a href="http://textminingonline.com/dive-into-nltk-part-ii-sentence-tokenize-and-word-tokenize" rel="noreferrer">Reference</a></p>