mxnet gpu支持的多处理

Question

我有一个由mxnet gpu支持培训的模型，我把这个模型加载到gpu上。我的问题是，当我进行多重处理时，会得到一个无效的指针错误。怎么做在mxnet gpu支持下进行多处理？你知道吗

Answer 1

MXNet是用C++编写的，在相关时自然使用并行性。您应该很少需要显式地手动多处理它。你可以使用并行性来进行CPU主导的数据传输操作（num_workers在glionDataLoaders）中，或者在发送inference payloads to an array of contexts such as here时，但是当面对单个上下文（比如你的单个GPU）时，我不认为事情会像CUDA在多处理中挣扎一样正常（见here或here）

相反，我建议您通过以下方式尽可能利用本机MXNet和CUDA并行性：

• CPU：在训练模式下使用多处理器DataLoader（通过num_workers）
• GPU：向GPU发送批处理。在训练模式下，这是很正常的，在推理模式下，这意味着做异步排队请求和发送批处理到 GPU。像MMS这样的现代DL服务器允许这样做。你知道吗