有没有更好的方法来标记一些字符串？

Question

我试图为一些NLP编写一个python中字符串标记化的代码，并产生了以下代码：

str = ['I am Batman.','I loved the tea.','I will never go to that mall again!']
s= []
a=0
for line in str:
    s.append([])
    s[a].append(line.split())
    a+=1
print(s)

结果是：

[[['I', 'am', 'Batman.']], [['I', 'loved', 'the', 'tea.']], [['I', 'will', 'never', 'go', 'to', 'that', 'mall', 'again!']]]

如您所见，列表现在有一个额外的维度，例如，如果我想要单词“蝙蝠侠”，我必须键入s[0][0][2]而不是s[0][2]，因此我将代码更改为：

str = ['I am Batman.','I loved the tea.','I will never go to that mall again!']
s= []
a=0
m = []
for line in str:
    s.append([])
    m=(line.split())
    for word in m:
        s[a].append(word)
    a += 1
print(s)

得到了正确的结果：

[['I', 'am', 'Batman.'], ['I', 'loved', 'the', 'tea.'], ['I', 'will', 'never', 'go', 'to', 'that', 'mall', 'again!']]

但是我觉得这可以用一个循环来实现，因为我要导入的数据集会非常大，n的复杂性会比n^2好得多，那么，有没有更好的方法来实现这一点/用一个循环来实现这一点的方法呢？你知道吗

Answer 1

循环中的每个字符串都应该使用split()

列表理解示例：

str = ['I am Batman.','I loved the tea.','I will never go to that mall again!']

[s.split() for s in str]

[['I', 'am', 'Batman.'],
 ['I', 'loved', 'the', 'tea.'],
 ['I', 'will', 'never', 'go', 'to', 'that', 'mall', 'again!']]