尴尬并行和Tensorflow 2.0

Question

编辑： 基于这些评论，我想在这里做一些澄清。我以前没在网上问过问题，所以让我再试一次，看看这次是不是更好

我正在用Tensorflow进行模拟研究。在实验中，我将生成1000个样本X1，X2，…，X1000。每个X1有n个观测值。在每个Xi上，我将拟合一个神经网络并保存一些输出

因此，我的算法如下所示：

for i in range(1000):
    generate Xi
    fit nerual network.
    produce and save Yi

如您所见，该算法效率非常低，因为每次迭代都是相互独立的。有没有一个优雅的方式来并行模拟，这与GPU训练工作

谢谢

Answer 1

如果您将整个算法按照您在图中所描述的那样编写（例如，将其放在tf.function中），那么TF可能能够并行地运行迭代。参见tf.while_loop中的parallel_iterations。请注意，这是在尽力而为的基础上进行的，并且只有在数据依赖性和存在具有副作用的操作允许的情况下才有效。如果不同的步骤适合同一个神经网络，您还需要考虑并发性