在文档中查找有意义的单词对的Python工具

Question

我正在写一个程序，从Twitter收集tweets，并对文本进行评估，以找到趋势话题。我正计划使用NLTK来终止这些术语，并对数据执行一些其他操作。在

我需要的是一个工具，可以确定tweet中相邻的两个单词是否应该作为一个单独的词来处理。例如，如果“假新闻”在Twitter上流行，我不想把这两个词区别对待。另一个例子是，如果每个人都在推特上谈论“计算机科学”，那么将计算机和科学视为两个不同的术语是没有意义的，因为它们指的是同一个主题。是否存在可以找到此类术语的工具？在

Answer 1

您可以定义一组特殊组合，并在标记化之前预处理短语：

import nltk

def preprocess_text(original_text):
    specials = {"computer vision": "computer_vision",
                "fake news": "fake_news"}
    out = original_text.lower()
    for k in specials:
        out = out.replace(k, specials[k])
    return out

def main():
    txt = preprocess_text("Computer vision has nothing to do wiht fake news")
    tokens = nltk.word_tokenize(txt)
    nltk.FreqDist(tokens).tabulate()


if __name__ == "__main__":
    main()

不过，最好有一个专门的标记化。在