基于可用RAM使用python/celery/任何其他任务队列调度任务

2024-06-09 00:25:56 发布

您现在位置:Python中文网/ 问答频道 /正文

有没有办法让芹菜根据可用的内存分配任务给工人?我正在开发一个web应用程序,它将内存饥饿算法应用于内存中的大量数据,有没有办法使用芹菜来尊重可用的RAM,从而使其更健壮?你知道吗


Tags: 数据内存算法web应用程序ram芹菜工人
1条回答
网友
1楼 · 发布于 2024-06-09 00:25:56

无法根据可用的RAM将任务分配给工人。但是,根据您的设置和确切的要求,有一些方法可以解决这个问题。在我的脑海里我能想到:

  • 在一台有大量内存的机器上运行一个worker(而不是别的) 让这个工人只处理这些内存不足的任务
  • 如果你知道处理一个任务需要多少内存,你可以 检查内存是否可用作为任务的第一步 (假设这个盒子上没有多少其他的东西可以用光它 内存介于检查和实际运行之间 内存不足的东西),如果没有,您可以在 一定时间

相关问题 更多 >