Python请求打开多个实例

2024-03-27 14:05:49 发布

您现在位置:Python中文网/ 问答频道 /正文

有没有一种方法可以在python中用请求打开多个浏览器?我正在从一个有6000000页的网站上获取数据。如果我有能力一次打开10个,它无疑会跑得更快。有办法吗?你知道吗


Tags: 方法网站浏览器能力办法
2条回答

尝试使用aiohttp,这是requests模块的异步版本。你可以得到它所说的循环

import asyncio
loop = asyncio.get_event_loop()

正如@colidyre提到的,您可以使用多处理或异步调用。您还可以使用库,例如SeleniumScrapy,它们将在后台使用多处理或异步线程。你知道吗

相关问题 更多 >