apache mxnet的模型服务器是为神经网络模型提供推理服务的工具。普罗米修斯的度量。

mxnet-model-server-prometheus的Python项目详细描述


Apache MXNET模型服务器(MMS)是一种灵活易用的工具。 为从MXNet导出的深度学习模型提供服务 或者开放式神经网络交换(ONNX)。

使用mms服务器cli或预先配置的docker映像启动 设置HTTP终结点以处理模型推断请求的服务。

详细的文档和示例在docs folder中提供。

先决条件

  • java 8:必需。mms使用java来服务http请求。在安装mms之前,必须安装java 8(或更高版本),并确保java在$path环境变量中可用。如果安装了多个Java,可以使用$java_home environment vairable来控制要使用哪个Java。
  • mxnetmxnet将不再与mms 1.0一起默认安装。如果使用MXNET,则必须手动安装。

对于ubuntu:

sudo apt-get install openjdk-8-jre-headless

对于centos

sudo yum install java-1.8.0-openjdk

对于Mac:

brew tap caskroom/versions
brew update
brew cask install java8

安装mxnet:

pip install mxnet

MXNET提供MKL PIP软件包,在英特尔硬件上运行时速度会快得多。 为CPU安装mkl包:

pip install mxnet-mkl

或者对于GPU实例:

pip install mxnet-cu92mkl

安装

pip install mxnet-model-server

开发

我们欢迎所有经验层次的新贡献者。有关的信息 如何安装mms进行开发,请参阅MMS docs

源代码

您可以按如下方式检查最新的源代码:

git clone https://github.com/awslabs/mxnet-model-server.git

测试

安装后,请尝试使用mms快速启动功能

帮助和支持

引文

如果您在出版物或项目中使用彩信,请引用彩信: https://github.com/awslabs/mxnet-model-server

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java如何在ArrayList<List>中选择我的列表中的哪一列用于排序我的ArrayList?   Java设计模式相当于Smalltalk的:   如何在Java中说stringA>stringB   用Python重写Java代码的Python方式   java如何在Mybatis for Postgresql db中使用like(非IN)编写查询?   java看不到如何禁用AlertDialog对话框   java正常转换,但照明仍然很奇怪?   为什么Java中存在检查和未检查异常   使用Flink的JavaSpringBootGradle项目不起作用   java我可以在最终hashmap中存储函数名以供执行吗?   java无法理解实际应用程序中的枚举   java Hibernate注释执行内部连接   java Jenkins Maven3错误,工件已启用   数组的java打印内容只返回[null,null,null,null]   java对同一实体的多个更新   java将日期从一个时区转换为本地时区   jface tableviewer中的java多行功能或换行文本功能   ArrayList是如何在Java中实现的?   如何将程序的输出像矩阵一样写入文件,Java   java EasyMock和返回泛型类的方法