如何在不同的celery任务工作者中共享tensorflow模型

2024-03-29 07:30:41 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在做一些NLP的工作,有一些模型是由Tensorflow训练的。我提供了一些api来使用这些模型来完成单词切分,并通过Celery发送请求。在

案例如下:

Celery会将任务分配给不同的工人(大约4-5人),因此每个工人必须加载上述模型,因此内存将被占用大量。

那么有没有办法让工人们分享这些模型?我实际上不知道芹菜工人的基本机制。在

谢谢


Tags: 内存模型apinlptensorflow单词案例机制