在Python中获取使用JavaScript创建的cookie

Question

我看了很多关于cookiejar的教程，但我遇到的问题是，我想抓取的网页是用JavaScript生成cookie的，而我似乎无法获取到这个cookie。有没有人能帮我解决这个问题？

Answer 1

你可以通过一个真实的浏览器来访问这个页面，使用像PAMIE、win32com或者类似的工具，这样JavaScript就能在它本来的环境中运行了。

Answer 2

我也回复了你另外一个问题：可以看看 mechanize。这个模块功能非常强大，是我知道的最全面的网页抓取工具。如果网站发送了cookie，我相信你可以通过这个模块获取到它。

Answer 3

如果所有页面都有相同的JavaScript代码，那么你可以分析一下HTML，找到那段代码，然后从中获取到cookie会被设置成什么值？

不过，这样做的话，你的抓取方法就很容易受到第三方网站的变化影响，但这在抓取数据时通常都是这样的情况。（请记住，第三方网站的拥有者可能不喜欢你用这种方式获取内容。）