对Pythorch模型使用多处理器CPU推理的最佳方法是什么？

Question

我要制作一个PyTorch-BERT问答模型。CPU推断对我来说非常慢，因为每个查询模型都需要评估30个样本。从这30个样本的结果中，我选择了得分最高的答案。GPU对我来说太贵了，不能用来推理。在

我可以利用多处理/并行CPU推断来实现这一点吗？ 如果是，最佳做法是什么？ 如果没有，是否有一个云选项只为我所做的GPU查询而不是连续运行GPU实例向我收费？在

Answer 1

您可以尝试以下方法：

利用Intel Pythorch获得更好的性能。请参阅https://github.com/intel/pytorch安装具有英特尔优化功能的Pythorch。在

您可以使用英特尔优化的Python库。i、 e在创建环境时，请确保通过intel通道。例如：conda create-n环境名称python=3.6-c英特尔。此外，您还可以使用Intel channel安装特定的库。在

另一个选择是尝试使用Horovod for PyTorch进行多节点分布式训练。有关详细信息，请参阅链接https://github.com/horovod/horovod#pytorch。在

Answer 2

另一种获得更好性能的可能方法是尽可能减少模型。在

量化和二值化神经网络是最有前途的技术之一。以下是一些参考资料：

1. https://arxiv.org/abs/1603.05279
2. https://arxiv.org/abs/1602.02505