Python中文
首页
教程
问答
标签
搜索
登录
注册
什么是最好的?添加、连接或平均字向量?
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我正在研究一个递归语言模型。为了学习可用于初始化语言模型的单词嵌入,我使用了gensim的word2vec模型。 经过训练,word2vec模型为词汇表中的每个单词保存两个向量:单词嵌入(输入/隐藏矩阵的行)和上下文嵌入(隐藏/输出矩阵的列)。</p> <p>如<a href="https://stackoverflow.com/questions/36731784/wordvectors-how-to-concatenate-word-vectors-to-form-sentence-vector">this post</a>中所述,至少有三种常用方法组合这两个嵌入向量:</p> <ol> <li>对每个词的上下文和词向量求和</li> <li>求和平均值</li> <li>连接上下文和词向量</li> </ol> <p>然而,我找不到关于最佳策略的合适的论文或报告。所以我的问题是:</p> <ol> <li>是否有一个共同的解决方案,是求和,平均或连接向量?</li> <li>还是最好的方法完全取决于所讨论的任务?如果是,那么什么策略最适合单词级语言模型?</li> <li>为什么要合并向量呢?为什么不为每个单词使用“原始”单词嵌入,即那些包含在输入和隐藏神经元之间的权重矩阵中的单词。</li> </ol> <p>相关(但未回答)问题:</p> <ul> <li><a href="https://stackoverflow.com/questions/42119824/word2vec-summing-concatenate-inside-and-outside-vector?rq=1">word2vec: Summing/concatenate inside and outside vector</a></li> <li><a href="https://stackoverflow.com/questions/46065773/why-we-use-input-hidden-weight-matrix-to-be-the-word-vectors-instead-of-hidden-o?rq=1">why we use input-hidden weight matrix to be the word vectors instead of hidden-output weight matrix?</a></li> </ul>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>我在斯坦福大学“自然语言处理深度学习”讲座(2016年3月,第2课)中找到了答案。有空<a href="https://www.youtube.com/watch?v=aRqn8t1hLxs" rel="nofollow noreferrer">here</a>。在第46分钟,Richard Socher指出,通常的方法是平均两个词向量。</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
Django:。是不是“超级用户”字段不起作用
7 回答
Django:'DeleteQuery'对象没有属性'add'
8 回答
Django:'ModelForm'对象没有属性
9 回答
Django:'python manage.py runserver'返回'TypeError:'WindowsPath'类型的对象没有len()
6 回答
Django:'Python管理.pysyncdb'不创建我的架构表
2 回答
Django:'Python管理.py迁移“耗时数小时(和其他奇怪的行为)
9 回答
Django:'readonly'属性在我的ModelForm上不起作用
1 回答
Django:'RegisterEmployeeView'对象没有属性'object'
4 回答
Django:'str'对象没有属性'get'
10 回答
Django:'创建' 不能被指定为Order模型表单中的值,因为它是一个不可编辑的字段
6 回答
Django:“'QuerySet'类型的对象不是JSON可序列化的”
8 回答
Django:“'utf8'编解码器无法解码位置19983中的字节0xe9:无效的连续字节”,加载临时文件时
7 回答
Django:“<…>”需要有一个字段“id”的值,然后才能使用这个manytomy关系
4 回答
Django:“AnonymousUser”对象没有“get_full_name”属性
6 回答
Django:“ascii”编解码器无法解码位置1035中的字节0xc3:序号不在范围内(128)
1 回答
Django:“BaseTable”对象不支持索引
3 回答
Django:“collections.OrderedDict”对象不可调用
7 回答
Django:“Country”对象没有属性“all”
4 回答
Django:“Data”对象没有属性“save”
2 回答
Django:“datetime”类型的对象不是JSON serializab
5 回答