在web应用程序中加载大型模型文件

2024-03-29 14:46:13 发布

您现在位置:Python中文网/ 问答频道 /正文

我已经创建了pickle格式的机器学习模型文件(~100MB)。为了得到情绪分析的结果,我不得不调用那个文件。你知道吗

每次都加载这个文件是不可行的,所以我习惯于在gearman中创建Worker进程,这个进程加载这个文件并保持在侦听模式。像守护进程

下面是gearman的代码,它在4730端口上启动进程call_sentiment_worker。`自助火车'函数加载pickle文件

def __init__(self):
    self.train()
    print "Trained..."
    self.gearman_worker = gearman.GearmanWorker( ['localhost:4730'] )
    self.gearman_worker.register_task('call_sentiment_worker', self.classify_demo)

现在在python3中,gearman不可用。你知道吗

处理这种情况的有效方法是什么?它可以是gearman或其他技术的替代品。你知道吗

编辑1

链接到代码-https://github.com/karimkhanp/sentiment-analysis/blob/2fd8e785f589a00f33dc165551028029151f10bd/without_gearman/sentiment_worker.py


Tags: 文件代码模型self机器进程格式模式