为什么urllib2需要很长时间才能读取？

Question

我正在编写一个简单的程序来比较HTML页面，但是我当前的瓶颈是读取HTML文件。具体而言，准则：

    htmldata1 = urllib2.urlopen(url1).read()
    htmldata2 = urllib2.urlopen(url2).read()

网址来自IMDB。我不知道为什么要花这么长时间（平均9秒）。当我只想用正则表达式搜索html文本时，它可能正在下载图像。我从来没有使用过urllib2，所以任何帮助将不胜感激。在

编辑：

我使用的一个示例url是

“http://www.imdb.com/title/tt0944947/fullcredits?ref_=tt_cl_sm#cast”

Answer 1

页面的加载速度非常慢（在服务器端）。这是在千兆光纤上：

In [4]: url1 = "http://www.imdb.com/title/tt0944947/fullcredits?ref_=tt_cl_sm#cast"

In [5]: %time result = urllib2.urlopen(url1).read()
CPU times: user 56.3 ms, sys: 21.6 ms, total: 77.9 ms
Wall time: 2.16 s

In [7]: %time result2 = requests.get(url1)
CPU times: user 29.5 ms, sys: 6.35 ms, total: 35.9 ms
Wall time: 2.18 s

在python之外：

^{pr2}$