我们已经创建了一个工人池来在后台抓取网页,类似于下面的一个
import requests
from multiprocessing.dummy import Pool as ThreadPool
urls = [
...
]
# Make the Pool of workers
pool = ThreadPool(4)
results = pool.map(requests.get, urls)
pool.close()
pool.join()
问题:
系统有时会挂起。 在某些情况下观察到get方法没有返回,因此整个系统挂起
我在找什么? 有没有办法设置线程执行超时并关闭线程以返回空的
目前没有回答
相关问题 更多 >
编程相关推荐