词性标注速度慢。我能做些预热吗？

Question

我正在使用NLTK在web请求中对大量tweets进行POS标记。如您所知，Django为每个请求实例化一个请求处理程序。

我注意到：对于一个请求（~200条tweets），第一条tweet需要~18秒来标记，而随后的所有tweets需要~120毫秒来标记。我能做些什么来加快这个过程？

我可以做一个“预热请求”以便为每个请求加载模块数据吗？

class MyRequestHandler(BaseHandler):
    def read(self, request): #this runs for a GET request
        #...in a loop:
            tokens = nltk.word_tokenize( tweet)
            tagged = nltk.pos_tag( tokens)

Answer 1

前18秒是POS标记器被从磁盘取出放入RAM。如果您想绕过这个问题，可以在请求函数之外自己加载标记器。

import nltk.data, nltk.tag
tagger = nltk.data.load(nltk.tag._POS_TAGGER)

然后用tagger.tag替换nltk.pos_tag。 权衡的结果是，应用程序启动现在需要+18秒。