在推理服务中使用tf.Session时线程安全吗?

2024-03-29 01:55:46 发布

您现在位置:Python中文网/ 问答频道 /正文

现在我们使用TensorFlow来训练和导出一个模型。我们可以用这个模型实现推理服务,就像tensorflow/serving那样。

我有一个关于tf.Session对象是否是线程安全的问题。如果是真的,我们可以在启动后初始化对象,并使用singleton对象来处理并发请求。


Tags: 对象模型sessiontftensorflow线程singletonserving
1条回答
网友
1楼 · 发布于 2024-03-29 01:55:46

对于来自多个线程的^{}调用,tf.Session对象是线程安全的。

在TensorFlow 0.10之前,图形修改不是线程安全的。这在0.10版本中已修复,因此可以在调用Session.run()的同时将节点添加到图形中,尽管出于性能原因不建议这样做;相反,建议在从多个线程使用会话之前调用^{},以防意外内存泄漏。

相关问题 更多 >