将词汇分类为“好”和“坏”

Question

我有一份域名列表，想要判断这些域名是否看起来像是色情网站。有什么好的方法可以做到这一点呢？色情网站的域名通常可以在这个链接找到：http://dumpz.org/56957/。这些域名可以用来教系统识别色情网站的特征。此外，我还有另一份列表：http://dumpz.org/56960/，这个列表中的许多域名也是色情网站，我想通过域名来判断它们。

Answer 1

正如有人提到的，你需要某种分类方法来实现你想要的目标。不过，整体的准确性（包括精确度和召回率）取决于你所拥有的训练数据集。你可以使用像支持向量机（SVM）、决策树等分类器来达到这个目的。

我建议你采用半监督的方法，也就是把不同的网址进行聚类，然后从每个聚类中随机检查几个代表性的网址，看看它们是否是色情内容。这样做的好处是你不需要任何训练，而且可以找到那些可能不在你训练数据集中的色情网址。常见的聚类技术有k均值、层次聚类、dbscan等。

不过，这样的方法仍然无法覆盖那些网址中没有色情内容的色情网站。为了做到这一点，你需要抓取网页内容，并对网页的内容进行类似的训练或聚类。

Answer 2

你不能仅仅依靠域名来判断，因为有很多看起来不错的色情网站域名，还有一些名字听起来像色情网站，但实际上内容是安全的。

Answer 3

可以使用贝叶斯过滤器，比如 SpamBayes 或者 Divmods 的 Reverend。你可以用你手上的列表来训练这个过滤器，这样它就能判断某个域名有多大可能是色情网站。

如果想快速了解一下，可以看看 这篇文章。