Python中文
首页
教程
问答
标签
搜索
登录
注册
什么是最好的?添加、连接或平均字向量?
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我正在研究一个递归语言模型。为了学习可用于初始化语言模型的单词嵌入,我使用了gensim的word2vec模型。 经过训练,word2vec模型为词汇表中的每个单词保存两个向量:单词嵌入(输入/隐藏矩阵的行)和上下文嵌入(隐藏/输出矩阵的列)。</p> <p>如<a href="https://stackoverflow.com/questions/36731784/wordvectors-how-to-concatenate-word-vectors-to-form-sentence-vector">this post</a>中所述,至少有三种常用方法组合这两个嵌入向量:</p> <ol> <li>对每个词的上下文和词向量求和</li> <li>求和平均值</li> <li>连接上下文和词向量</li> </ol> <p>然而,我找不到关于最佳策略的合适的论文或报告。所以我的问题是:</p> <ol> <li>是否有一个共同的解决方案,是求和,平均或连接向量?</li> <li>还是最好的方法完全取决于所讨论的任务?如果是,那么什么策略最适合单词级语言模型?</li> <li>为什么要合并向量呢?为什么不为每个单词使用“原始”单词嵌入,即那些包含在输入和隐藏神经元之间的权重矩阵中的单词。</li> </ol> <p>相关(但未回答)问题:</p> <ul> <li><a href="https://stackoverflow.com/questions/42119824/word2vec-summing-concatenate-inside-and-outside-vector?rq=1">word2vec: Summing/concatenate inside and outside vector</a></li> <li><a href="https://stackoverflow.com/questions/46065773/why-we-use-input-hidden-weight-matrix-to-be-the-word-vectors-instead-of-hidden-o?rq=1">why we use input-hidden weight matrix to be the word vectors instead of hidden-output weight matrix?</a></li> </ul>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>您应该至少阅读一次<a href="https://www.mdpi.com/2076-3417/8/9/1589" rel="nofollow noreferrer">this</a>研究工作,以获得使用不同代数运算符组合单词嵌入的完整概念。这是我的研究。</p> <p>在本文中,您还可以看到组合词向量的其他方法。</p> <p><strong>简而言之,L1规范化平均词向量和词和是很好的表示。</strong></p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
创建一个python程序,从websi中提取文件
8 回答
创建一个python程序,告诉我名字和出生年份的人的年龄
4 回答
创建一个Python程序,它接受一个简短的描述并从给定的集合返回一个解决方案(使用nlp)
10 回答
创建一个python程序,用户在其中输入一个月,它会告诉您y的下一个月
2 回答
创建一个python程序,要求用户输入一个偶数奇数
5 回答
创建一个Python程序来修改名称以digi结尾的目录的文本文件
3 回答
创建一个python程序来猜测用户的“秘密号码”?
2 回答
创建一个python算法来训练keras模型来预测一个大的整数序列
1 回答
创建一个python类,它被视为一个列表,但是有更多的特性?
10 回答
创建一个Python类,我可以将其序列化为一个嵌套的JSON obj
1 回答
创建一个python类来查找直线的斜率和长度
8 回答
创建一个Python网络爬虫来获取谷歌Play商店应用程序的元数据
3 回答
创建一个Python网页
3 回答
创建一个python脚本,不断从excel文件中读取数据并进行计算
8 回答
创建一个python脚本,使用tcpdump计算到达网站的数据包数量?
9 回答
创建一个Python脚本,可以运行其他SAS程序并更新Excel工作簿。
9 回答
创建一个python脚本,它将读取csv文件,并使用该输入从web抓取数据finviz.com网站然后将数据导出到csv fi中
5 回答
创建一个python脚本,用mysql数据库中的结构和数据文件创建一个sql转储
8 回答
创建一个python脚本,该脚本将对某个键进行文本文件搜索,并将编号复制到新文件中
4 回答
创建一个Python脚本,该脚本连接到特定端口(SMTP)上的一系列IP
4 回答