无法访问此网页

2024-05-15 21:09:11 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在尝试为这个网站http://www.topuniversities.com/university-rankings/world-university-rankings/2015#sorting=rank+region=+country=+faculty=+stars=false+search=编写python解析器

每次我做常规的urlopen和print时,它都会说 '拒绝访问'www.topuniversities.com 使用CloudFlare限制访问

我试过这个方法之后

class MyOpener(FancyURLopener):
    version = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'
url = 'http://www.topuniversities.com/university-rankings/world-university rankings/2015#sorting=rank+region=+country=+faculty=+stars=false+search='
myopener = MyOpener()
page = myopener.open(url).read()
print page

但是这个打印出来的东西和我的chrome的inspect元素显示的不同。我需要解析大学的名称,排名和网址,导致他们的网页。 我该怎么办?请帮忙


Tags: comfalsehttpworldsearchwwwcountryregion