将urllib2查询伪装为人工请求（除了useragent）的最佳方法是什么？

Question

使用urllib2伪装Python程序的最佳方法是什么？我知道如何设置用户代理，这是一个好的开始。但是其他的项目，比如引用的URL呢？有办法设置吗？还有其他建议吗？在

下面是我用来添加用户代理的方法：

opener = urllib2.build_opener()
opener.addheaders = [('User-agent','Mozilla/5.0 (X11; Linux x86_64; rv:2.0.1) Gecko/20110506 Firefox/4.0.1')]
f = opener.open("http://www.domain.com")

Answer 1

有很多细节你没有提到。要找到答案，只需在您最喜欢的浏览器（使用好的开发工具）中的www.domain.com并检查网络流量。在

Chrome有内置工具。Firebug是针对firefox的。在

查看所有发送的邮件头，并根据您的特定需要进行复制。在

Answer 2

您可以将真正的浏览器指向this one或{a2}之类的工具，查看真实浏览器发送的所有字段的确切内容，并在Python脚本中模拟这些内容。在