基于负采样的词嵌入

Question

我想用负采样为word2vec编写代码。我把它的伪代码放在下面

1. 为“context”和“target”单词添加一个热向量，作为每行。 这意味着每个示例有2个1，其余都是0
2. 在语料库的“context”和“target”样本中，y是1。 否则y为0。对于每个积极的“背景”和“目标”样本， 有K（=4）个阴性样本。你知道吗
3. 在这一点上，我创建了一个单一的神经网络，用RELU和 Sigmoid激活函数，得到单词嵌入。你知道吗

在这之后，我觉得单词embedings是不正确的。你知道吗

我的方法有什么问题吗？你知道吗

任何帮助都将不胜感激

谢谢

萨钦古普塔