Tensorflow：当使用clip_by_norm或clip_by_global_norm时，如何确定clip_norm的值？

Question

我试图找出在使用clip_by_norm或{a2}与Tensorboard一起使用时，如何确定clip_norm的值。在

在Tensorflow中，我们可以使用优化器compute_gradients来获得梯度并将其添加到tf.summary.histogram。在Tensorboard中，我们可以观察DISTRIBUTIONS选项卡中的梯度范围。然后我们可以在使用clip_by_value时确定clip_value范围。在

另一方面，如何计算/显示Tensorboard中的范数或全局范数，以便确定clip_norm的值？在

Answer 1

要查看Tensorboard中的范数或全局范数，您可以手动计算它。在

对于范数（不是全局的），您像往常一样使用compute_gradients获得梯度，并使用^{}计算梯度l2范数。这将给您一个标量值。您可以使用^{}将其添加到Tensorboard。在

对于全局范数，您可以使用^{}计算它，然后将其添加到Tensorboard（也是标量摘要）。在

编辑：

请注意，^{}需要单张量。所以你需要计算范数，并把每个梯度张量加到张量板上。与使用tf.summary.histogram查看值时的操作相同。在