我是否可以使用TF HUB中的非线性BERT模型来为其提供TF服务？

Question

我是新来的TF serving，现在我有这样的问题。我使用TF HUB中的bert_en_uncased运行服务器部分，但我不了解如何正确地实现客户端。我遇到了几篇文章，但每一篇都假设我有一个现成的、经过微调的模型，带有预先分配的请求处理程序。有人能分享一些导师或者API参考资料来帮助我完成任务吗

我读过的一些文章：

• Deploy a Servable Question Answering Model Using TensorFlow Serving
• 3 Ways to Optimize and Export BERT Model for Online Serving
• Use BERT fine-tuned model for Tensorflow serving (GitHub issue)

另外，我不想创建QA模型或类似的东西，我只需要从这个特定的模型中嵌入BERT

Answer 1

我们已经解决了这个问题。主要的是，TF.HUB模型没有任何规范列表或类似的东西，只有一些关于如何将它与tf.hub一起使用的文档。如果您遇到类似问题，我建议您做以下几件事： 1） 从源代码SavedModelCli安装/编译，它是TensorFlow的工具，可以解压保存的模型并获取其规格； 2） 在TF Serving上找到一些指南，只需更改一些代码段，几乎每个实现都是相同的； 3） 也许你会（相信我，你也会）面对反对的警告。不要试图查找文档，解决方案就在这里：） 祝你好运，为你的模特服务