在单词列表中搜索一组单词的快速方法python

Question

我有一套大小为20的固定单词。我有一个包含20000条记录的大文件，其中每个记录都包含一个字符串，我想知道是否有固定集合中的单词出现在字符串中，以及是否存在该单词的索引。在

示例

s1=set([barely,rarely, hardly])#( actual size 20) 

l2= =["i hardly visit", "i do not visit", "i can barely talk"] #( actual size 20,000)

def get_token_index(token,indx):
    if token in s1:
        return indx
    else:
        return -1


def find_word(text):
    tokens=nltk.word_tokenize(text)
    indexlist=[]
    for i in range(0,len(tokens)):
        indexlist.append(i)
    word_indx=map(get_token_index,tokens,indexlist)    
    for indx in word_indx:
        if indx !=-1:
           # Do Something with tokens[indx]

我想知道有没有更好/更快的方法。在

Answer 1

可以将列表理解与双for循环一起使用：

s1=set(["barely","rarely", "hardly"])

l2 = ["i hardly visit", "i do not visit", "i can barely talk"]

locations = [c for c, b in enumerate(l2) for a in s1 if a in b]

在本例中，输出将是：

^{pr2}$

但是，如果您想要访问某个单词出现的索引的方法：

from collections import defaultdict

d = defaultdict(list)

for word in s1:
   for index, sentence in l2:
       if word in sentence:
           d[word].append(index)