python线程 - 超时运行

2024-04-24 15:16:52 发布

您现在位置:Python中文网/ 问答频道 /正文

我们已经创建了一个工人池来在后台抓取网页,类似于下面的一个

import requests 
from multiprocessing.dummy import Pool as ThreadPool

urls = [
  ...
  ]

# Make the Pool of workers
pool = ThreadPool(4) 
results = pool.map(requests.get, urls)
pool.close() 
pool.join() 

问题:

系统有时会挂起。 在某些情况下观察到get方法没有返回,因此整个系统挂起

我在找什么? 有没有办法设置线程执行超时并关闭线程以返回空的


Tags: fromimport网页get系统requests线程multiprocessing