伪装urllib2请求为人类请求的最佳方法是什么（超越用户代理）？

Question

怎么才能让一个Python程序看起来不那么明显，特别是用urllib2这个库呢？我知道怎么设置用户代理（user-agent），这已经是个不错的开始了。但是还有其他的东西，比如说引用网址（referring URL），怎么设置呢？有没有其他的建议？

这是我用来添加用户代理的代码：

opener = urllib2.build_opener()
opener.addheaders = [('User-agent','Mozilla/5.0 (X11; Linux x86_64; rv:2.0.1) Gecko/20110506 Firefox/4.0.1')]
f = opener.open("http://www.domain.com")

Answer 1

你可以用真实的浏览器访问一些工具，比如这个或者这个，这样你就能看到你的浏览器发送的所有信息的具体内容，然后在你的Python脚本中模仿这些内容。

Answer 2

你没有提到很多具体的细节。要找到你的答案，只需在你喜欢的浏览器中输入 www.domain.com，并查看网络流量。

Chrome浏览器自带了一些工具，而Firebug是Firefox浏览器的工具。

查看所有发送的请求头，然后根据你的具体需求进行复制。