Python:urlopen（）与CURL

Question

我正在用Python编写一个webcrawler，非常喜欢它！但是我注意到了Python上的urlopen(url).read()和终端上的curl产生的结果之间存在一些差异。我试图install the pycurl module但没有成功。有没有一种简单的方法在Python上生成CURL结果？在

更新

在本例中，我解析了thisURL。我在两个请求上传递了相同的头User-Agent: Mozilla/5.0。以下是输出：

• cURL输出：http://pastebin.com/PmmNhsbba
• urlopen输出：http://pastebin.com/7Wrt8pQZ

Answer 1

我知道这是一个老问题，但也许答案仍然有用。在

我也遇到了同样的问题，我所做的就是创建一个打印请求头的php文件。然后我执行了一个curl和一个urlopen，并检查了头文件之间的差异。您可以在PHP docs中找到该脚本的一个示例。在

此外，您可以转到浏览器，检查正在发送的邮件头。这样做我看到urlopen发送connection: close，而不是{}。在

最后我添加了keep-alive头，urlopen开始作为curl工作。这是我的具体问题，但可能您的不同，因为服务器的要求，您需要添加或删除另一个头。在