具有自动编码器和嵌入层的有意义状态表示

2024-03-28 23:54:24 发布

您现在位置:Python中文网/ 问答频道 /正文

据我所知,嵌入层是简单的查找矩阵,其权重是通过优化问题学习的。你知道吗

假设在本例中,我的数据集包含一个分类变量。例如,我想自动编码一个句子的单词本身,学习句子的表达。你知道吗

# example model
input = tf.keras.layers.Input()
embed = tf.keras.layers.Embedding(99)(input)
encoder = tf.keras.layers.LSTM()(embed)
decoder = tf.keras.layers.LSTM()(encoder)
model = tf.keras.models.Model(input, decoder)

该错误将最小化embeddecoder输出之间的差异。你知道吗

然而,由于嵌入是根据优化条件来学习的,我想我最终会学习一些琐碎的表示,例如

嵌入矩阵为1,解码器输出1。(甚至零),让我在训练中有100%的准确率。你知道吗

例如,在嵌入矩阵中,所有单词只是一个1的向量,自动编码器只返回1。你知道吗

我想做的是学习分类变量的有意义的表示。你知道吗


Tags: encoderinputmodellayerstf分类矩阵embed