在Python中伪造cookie以抓取网站
我想抓取的这个网站用JavaScript来创建一个cookie。我的想法是，我可以在Python里创建一个cookie，然后用这个cookie去抓取这个网站。不过，我不知道怎么做到这一点。有没有人有什么好主意？
2 个回答
2
如果你想进行更复杂的浏览器模拟（比如设置 cookies），可以看看 mechanize。它的模拟功能几乎很全面（不过不支持 Javascript，这点比较遗憾）：我用它成功制作了好几个抓取工具。
2
请查看 Python httplib2 - 在HTTP表单提交中处理Cookies，里面有关于如何在请求中添加Cookie的例子。
我经常需要在基于网页的应用程序中自动化一些任务。我喜欢通过模拟真实用户的操作来在协议层面上完成这件事，使用的是HTTP协议。Python提供了两个内置模块来帮助实现这一点：一个是urllib（更高级的网页接口），另一个是httplib（更底层的HTTP接口）。