在Tensorflow中，采样的软最大损失和软最大交叉熵的区别是什么

Question

在tensorflow中，有称为^{}和^{}的方法。

我阅读了tensorflow文档并在google上搜索了更多信息，但找不到区别。在我看来，两者都是使用softmax函数计算损失的。

使用sampled_softmax_loss计算损耗

loss = tf.reduce_mean(tf.nn.sampled_softmax_loss(...))

使用softmax_cross_entropy_with_logits计算损失

loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(P, Q))

对我来说，计算软最大损耗和计算软最大交叉熵是一样的（例如cross_entropy(softmax(train_x))）

有人能告诉我为什么有两种不同的方法，我应该在哪种情况下使用哪种方法吗？

Answer 1

取样：

抽样，在这两种情况下，都意味着你不能计算出所有可能的输出（例如：字典中的单词太多，无法在每次派生时提取所有单词，所以我们只提取几个样本，并学习关于NLP问题的知识）。

softmax_cross_entropy_with_logits：

这是交叉熵，接收logit作为输入，并产生可用作损失的结果。

sampled_softmax_loss：

这是一个带对数的采样软最大交叉熵，所以在使用交叉焓之前只需要几个样本，而不是使用完全交叉焓：https://github.com/tensorflow/tensorflow/blob/r1.2/tensorflow/python/ops/nn_impl.py#L1269