如何使用分类器预测句子中每个单词的概率标签

Question

我试图通过复习句子来预测每个单词的标签。到目前为止，我已经用训练数据训练过分类器，现在我正在使用测试数据。基本上，我想要实现的是，从一个完整的句子中删除第一个单词，预测句子标签的其余部分，然后返回第一个单词，删除第二个单词，再次预测，依此类推。这个过程将删除i-th单词，并在所有情况下预测剩余的句子标签

我运行了下面的代码，可以删除一个单词然后返回，但问题是我的分类器预测整个句子，因为我使用stems1将其作为整个文档进行预处理，因此我认为我可以在fit_transform处使用I循环而不是stems1，但不起作用

vec = TfidfVectorizer(tokenizer=identity_tokenizer,use_idf = True, lowercase = False, max_features = 401) 

X_new = vec.fit_transform(stems1).toarray() #stems1 is a pre-processed list that contains inside reviews lists

 from typing import List                                                                             
 for i in stems1: 
      for j in range(0,len(i)):                                                            
          i.pop(int(j)                                                                            
            new_pred = m.predict_proba(X_new)[:, 0]                                  
          i.insert(j, a)