在TensorF中使用预先训练的单词嵌入（word2vec或Glove）

Question

我最近回顾了convolutional text classification的一个有趣的实现。然而，我回顾过的所有TensorFlow代码都使用随机（非预训练）嵌入向量，如下所示：

with tf.device('/cpu:0'), tf.name_scope("embedding"):
    W = tf.Variable(
        tf.random_uniform([vocab_size, embedding_size], -1.0, 1.0),
        name="W")
    self.embedded_chars = tf.nn.embedding_lookup(W, self.input_x)
    self.embedded_chars_expanded = tf.expand_dims(self.embedded_chars, -1)

有没有人知道如何使用Word2vec的结果，或者一个手套预先训练的单词嵌入，而不是一个随机的？

Answer 1

@mrry的答案是不正确的，因为它证明了每次网络运行时都会覆盖嵌入的权重，所以如果您采用小批量方法来训练网络，那么您就是覆盖了嵌入的权重。所以，在我看来，正确的预训练嵌入方法是：

embeddings = tf.get_variable("embeddings", shape=[dim1, dim2], initializer=tf.constant_initializer(np.array(embeddings_matrix))