据我所知,嵌入层是简单的查找矩阵,其权重是通过优化问题学习的。你知道吗
假设在本例中,我的数据集包含一个分类变量。例如,我想自动编码一个句子的单词本身,学习句子的表达。你知道吗
# example model
input = tf.keras.layers.Input()
embed = tf.keras.layers.Embedding(99)(input)
encoder = tf.keras.layers.LSTM()(embed)
decoder = tf.keras.layers.LSTM()(encoder)
model = tf.keras.models.Model(input, decoder)
该错误将最小化embed
和decoder
输出之间的差异。你知道吗
然而,由于嵌入是根据优化条件来学习的,我想我最终会学习一些琐碎的表示,例如
嵌入矩阵为1,解码器输出1。(甚至零),让我在训练中有100%的准确率。你知道吗
例如,在嵌入矩阵中,所有单词只是一个1的向量,自动编码器只返回1。你知道吗
我想做的是学习分类变量的有意义的表示。你知道吗
目前没有回答
相关问题 更多 >
编程相关推荐