apache mxnet的模型服务器是为神经网络模型提供推理服务的工具。普罗米修斯的度量。
mxnet-model-server-prometheus的Python项目详细描述
Apache MXNET模型服务器(MMS)是一种灵活易用的工具。 为从MXNet导出的深度学习模型提供服务 或者开放式神经网络交换(ONNX)。
使用mms服务器cli或预先配置的docker映像启动 设置HTTP终结点以处理模型推断请求的服务。
详细的文档和示例在docs folder中提供。
先决条件
- java 8:必需。mms使用java来服务http请求。在安装mms之前,必须安装java 8(或更高版本),并确保java在$path环境变量中可用。如果安装了多个Java,可以使用$java_home environment vairable来控制要使用哪个Java。
- mxnet:mxnet将不再与mms 1.0一起默认安装。如果使用MXNET,则必须手动安装。
对于ubuntu:
sudo apt-get install openjdk-8-jre-headless
对于centos
sudo yum install java-1.8.0-openjdk
对于Mac:
brew tap caskroom/versions brew update brew cask install java8
安装mxnet:
pip install mxnet
MXNET提供MKL PIP软件包,在英特尔硬件上运行时速度会快得多。 为CPU安装mkl包:
pip install mxnet-mkl
或者对于GPU实例:
pip install mxnet-cu92mkl
安装
pip install mxnet-model-server
开发
我们欢迎所有经验层次的新贡献者。有关的信息 如何安装mms进行开发,请参阅MMS docs。
源代码
您可以按如下方式检查最新的源代码:
git clone https://github.com/awslabs/mxnet-model-server.git
帮助和支持
引文
如果您在出版物或项目中使用彩信,请引用彩信: https://github.com/awslabs/mxnet-model-server