哪种关键词最能区分两类人？

Question

我有一个不同群体的人在搜索时使用的关键字数据库。 比如：

group1person1: x, y, z
group1person2: x, z, d
...
group2person1: z, d, l
...

等等

我想知道哪些关键字是给定组最具特征的。我试着像OkCupid在他们的博客里做的那样：http://blog.okcupid.com/index.php/the-real-stuff-white-people-like/

有人能推荐合适的算法/术语/建议吗？在

（我将用Python来做这个）

提前谢谢！在

Answer 1

我认为最好的选择是Chi^2，infogain，tfidf，条件概率。为什么所有这些都需要线性复杂性。当我们讨论文本数据库时，所有的决策树都不是很可伸缩的。但是为了计算这些属性，我们可以使用任何索引工具，比如Lucene。所以我的建议是计算每个单词的信息增益，然后选择最佳。http://en.wikipedia.org/wiki/Information_gain_in_decision_trees