tensorflow服务的一些实用程序
serving-utils的Python项目详细描述
提供实用程序
使用tensorflow服务时的一些python实用程序。
安装
准备python版本为3.6的环境
来自pypi:1。手动安装TensorFlow CPU或GPU版本。2. pip install serving-utils
来自github存储库:1。 git clone git@github.com:Yoctol/serving-utils.git2。手动 安装TensorFlow CPU或GPU版本。三。make install
使用量
- saver和loader``` python将tensorflow导入为tf
从serving_utils.saver导入saver从serving_utils.loader导入 装载机
saver=saver(session=tf.session(graph=your_graph)), 输出目录='/path/to/serving',签名定义映射={'predict': tf.saved_model.signature_def_utils.predict_signature_def( inputs={'input':tf.tensor…},outputs={'output':tf.tensor…},)}, freeze=true,(默认值:true)如果为true,则将保存冻结的图形。 saver.save()
loader=loader(path='/path/to/serving',35; version=1,如果不是 指定,使用最新版本)new_sess=tf.session()
loader.load(new_sess)将保存的模型加载到新会话```
- 客户端``python from serving实用程序导入客户端,predictinput
client=client(addr=“localhost:8500”)客户端。预测( [预测输入(name=”输入”,value=np.ones(1,10))], output_names=['output'],model_signature_name='predict',)
或异步
等待客户端。异步预测(…)````
- freeze graph``python from service utils.freeze图形导入 冻结图形,从图形def创建会话
freezed_graph_def=冻结图形(会话,输出操作名称) new_session=create_session_from_graph def(冻结的图形定义) ```
- 加载程序``python
## Test Run the following commands:
制作绒布制作测试
## Dev
使安装开发人员
### Protos
python-m grpc_tools.protoc-i.-python_out=。–python_grpc_out=。 –grpc_python_out=。提供实用程序/protos/*.proto``