根据URL自动识别网页的自然语言

Question

我想找一种方法，能够根据网站的URL自动判断网页使用的自然语言。

在Python中，可以用这样的一个函数：

def LanguageUsed (url):
    #stuff

这个函数会返回一个语言标识符，比如'en'代表英语，'jp'代表日语等等。

结果总结： 我在Python中找到了一种不错的解决方案，使用了PyPi上的oice.langdet代码。这个方法在区分英语和非英语方面表现得还不错，这正是我目前需要的。需要注意的是，你得用Python的urllib来获取网页的html内容。此外，oice.langdet是GPL许可证的。

如果想要一个更通用的解决方案，可以参考其他人建议的使用三元组（Trigrams）的方法，查看这个ActiveState的Python Cookbook食谱。

谷歌的自然语言检测API效果很好（可能是我见过的最好的）。不过，它是用JavaScript写的，而且他们的服务条款禁止自动化使用。

Answer 1

网址本身并不会显示语言信息。

一种方法是使用一个叫做自然语言工具包的工具，试着根据内容来识别语言。不过，即使你能让这个工具正常工作，它的速度也会比较慢。而且，结果可能不太可靠。记住，大多数用户代理在每次请求时都会发送一些类似于

Accept-Language: en-US

的信息，很多大型网站会根据这个信息提供不同的内容。相比之下，小型网站会更可靠，因为它们不会关注语言信息。

你还可以利用服务器的位置（也就是服务器所在的国家）来推测语言，使用GeoIP工具。虽然这种方法并不完美，但比仅仅依靠域名后缀要好得多。

Answer 2

你最好的选择其实是使用谷歌的自然语言检测接口。它会给你返回一个页面语言的ISO代码，并附带一个概率指数。

可以查看这个链接了解更多信息。

Answer 3

这通常是通过使用字符n-gram模型来实现的。你可以在这里找到一个很先进的Java语言识别工具。如果你需要把它转换成Python的版本，随时可以问我。希望这对你有帮助。