在接收第一个响应pythonurlib之前发送多个页面请求

2024-04-24 03:45:14 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在编写一个python程序来抓取Reddit(为什么有点复杂)。该程序使用urllib http请求获取搜索页面,然后解析它们。由于提交请求和获取页面之间存在差距(即使是在大学互联网连接上,也需要10秒左右),这需要花费大量的时间。有没有办法一次发送几个请求,并在响应返回后处理所有请求


Tags: 程序http时间互联网页面urllib后处理大学