抓取需要使用Python登录的站点

Question

我使用几个广告网络为我的网站，看看我赚了多少钱，我需要登录到每个每天的价值加起来。我正在考虑制作一个Python脚本，这样我就可以快速得到一个完整的脚本。我知道我需要做一个POST请求来登录，然后存储我返回的cookie，然后在传入这些cookie时获取请求报告页面。

用Python复制我手动浏览站点时所做的事情最方便的方法是什么？

Answer 1

cookielib进行客户端cookie处理，并且mechanize以多种方式增强它——包括通过从Internet Explorer缓存读取cookie来初始化cookie jar的方法（因此，如果可以在Windows上手动登录到每个站点一次，然后，您可以使用cookielib或mechanize在将来基于完全相同的cookie登录—当然，直到它们过期为止）。

Answer 2

不是Python解决方案，但可以考虑使用浏览器自动化工具，如Chickenfoot。

Answer 3

看看这对你是否有用：

http://stockrt.github.com/p/emulating-a-browser-in-python-with-mechanize/