在单词后面的某些字符上查找并拆分

Question

我正在尝试使用正则表达式来拆分标点符号上的文本，只有当标点符号跟在单词后面，并继续执行空格或字符串结尾时。你知道吗

我试过([a-zA-Z])([,;.-])(\s|$)

但是当我想在Python中拆分时，它包含单词的最后一个字符。你知道吗

我想这样分开：

text = 'Mr.Smith is a professor at Harvard, and is a great guy.'
splits = ['Mr.Smith', 'is', 'a', 'professor', 'at', 'Harvard', ',', 'and', 'a', 'great', 'guy', '.']

任何帮助都将不胜感激！你知道吗

Answer 1

似乎你想做标记化。试试nltk

http://text-processing.com/demo/tokenize/

from nltk.tokenize import TreebankWordTokenizer
splits = TreebankWordTokenizer().tokenize(text)