Python中具有有限线程的异步多线程刮取

2024-03-28 13:36:53 发布

您现在位置:Python中文网/ 问答频道 /正文

我们必须重构刮削算法。为了加快速度,我们得出了多线程进程的结论(并将它们限制为最多3个)。一般来说,报废包括以下几个方面:

  1. 报废(异步请求,大约需要2秒)
  2. 图像处理(每幅图像异步,每幅图像约500毫秒)
  3. 更改数据库中的源项(异步请求,约2秒)

我的目标是创建一批报废请求,并在循环处理这些请求的同时,创建一个后续异步操作堆栈:处理图像并在处理图像后立即执行->;更改源项

换言之,报废会发生。但图像处理和更改源项必须在单独的有限异步线程中运行

我只是觉得我不知道如何堆叠批处理和限制线程

是否有人遇到过相同的任务?您使用了什么方法


Tags: 方法图像gt算法数据库目标进程堆栈
1条回答
网友
1楼 · 发布于 2024-03-28 13:36:53

你要找的是消费者-生产者模式。只需创建3个不同的队列,在其中一个队列中处理项目时,将新工作排入另一个队列。然后您可以使用3个不同的线程,每个线程处理一个队列

相关问题 更多 >