Python要求效率

2024-04-23 13:50:38 发布

您现在位置:Python中文网/ 问答频道 /正文

我使用请求获取链接的最终url:

r = requests.get(link)
link = r.url

虽然这确实有效,但速度非常慢。我通过大量的链接进行解析,这段代码使我的程序明显变慢。任何具有重定向的链接都需要5秒以上的时间才能获得最终的url。有没有更有效的方法?你知道吗

编辑: 我是不是用错了grequest?你知道吗

>>> r = grequests.get('http://muhlenberg.edu/main/campuslife/sye/index.html/')
>>> print r.url
http://muhlenberg.edu/main/campuslife/sye/index.html/
>>> r = requests.get('http://muhlenberg.edu/main/campuslife/sye/index.html/')
>>>> print r.url
http://www.muhlenberg.edu/errMsg/notFound.html

Tags: httpurlgetindex链接mainhtmllink
1条回答
网友
1楼 · 发布于 2024-04-23 13:50:38

好吧,如果有需要5秒或更多时间才能访问的链接,那就没什么好做的了。不过,对于整个程序来说,使用grequests异步发出请求可能是一个很大的改进。你知道吗

相关问题 更多 >