2024-03-27 14:05:49 发布
网友
有没有一种方法可以在python中用请求打开多个浏览器?我正在从一个有6000000页的网站上获取数据。如果我有能力一次打开10个,它无疑会跑得更快。有办法吗?你知道吗
尝试使用aiohttp,这是requests模块的异步版本。你可以得到它所说的循环
requests
import asyncio loop = asyncio.get_event_loop()
正如@colidyre提到的,您可以使用多处理或异步调用。您还可以使用库,例如Selenium或Scrapy,它们将在后台使用多处理或异步线程。你知道吗
尝试使用aiohttp,这是
requests
模块的异步版本。你可以得到它所说的循环正如@colidyre提到的,您可以使用多处理或异步调用。您还可以使用库,例如Selenium或Scrapy,它们将在后台使用多处理或异步线程。你知道吗
相关问题 更多 >
编程相关推荐