如何用Python与网页交互？

Question

基本上，我想要实现一个像网络浏览器那样的功能，但不需要真正显示网页的画面。理想的情况是，比如说，有一个脚本可以打开与网页的连接，进行所有必要的操作和互动，并且能够列出哪些JavaScript代码被执行了（这只是一个简单的例子，但我就是想要这样的功能）。我希望能够在Python中“浏览”网页，同时记录发生的各种事件。最理想的情况是能够编写程序，让它在遇到特定情况时自动做出反应（比如说，如果有一个框框看起来像这样或那样，就自动点击一下）。

有没有什么好的方法可以做到这一点呢？谢谢。

Answer 1

你可以看看 twill。它可以在命令行上使用，也有一个 Python接口。

Answer 2

你可以看看 PhantomJS。它是用JavaScript来编写的，而不是Python，但看起来是个不错的无界面浏览器，基于WebKit。

另一个选择是使用Selenium，它也有Python的接口可以用：http://pypi.python.org/pypi/selenium