2024-03-29 07:30:41 发布
网友
我正在做一些NLP的工作,有一些模型是由Tensorflow训练的。我提供了一些api来使用这些模型来完成单词切分,并通过Celery发送请求。在
案例如下:
Celery会将任务分配给不同的工人(大约4-5人),因此每个工人必须加载上述模型,因此内存将被占用大量。
那么有没有办法让工人们分享这些模型?我实际上不知道芹菜工人的基本机制。在
谢谢
您可以看看Tensorflow Serving,它将您的模型用作grpcapi。它支持batching,这听起来像您正在尝试的操作。如果出于某种原因(例如在后台运行这些任务),您可以从celeri任务调用Tensorflow服务API。在
您可以看看Tensorflow Serving,它将您的模型用作grpcapi。它支持batching,这听起来像您正在尝试的操作。如果出于某种原因(例如在后台运行这些任务),您可以从celeri任务调用Tensorflow服务API。在
相关问题 更多 >
编程相关推荐