最近,我使用numpy在Python上实现了LDA主题模型的Gibbs采样,并引用了一个站点的一些代码。在Gibbs抽样的每次迭代中,我们移除一个(当前)单词,根据从LDA模型推断出的后验条件概率分布为该单词抽取一个新主题,并更新单词主题计数,如下所示:
for m, doc in enumerate(docs): #m: doc id
for n, t in enumerate(doc): #n: id of word inside document, t: id of the word globally
# discount counts for word t with associated topic z
z = z_m_n[m][n]
n_m_z[m][z] -= 1
n_z_t[z, t] -= 1
n_z[z] -= 1
n_m[m] -= 1
# sample new topic for multinomial
p_z_left = (n_z_t[:, t] + beta) / (n_z + V * beta)
p_z_right = (n_m_z[m] + alpha) / ( n_m[m] + alpha * K)
p_z = p_z_left * p_z_right
p_z /= numpy.sum(p_z)
new_z = numpy.random.multinomial(1, p_z).argmax()
# set z as the new topic and increment counts
z_m_n[m][n] = new_z
n_m_z[m][new_z] += 1
n_z_t[new_z, t] += 1
n_z[new_z] += 1
n_m[m] += 1
在上面的代码中,我们使用多项式scipy函数对新的(单个)z进行采样。在
现在,我想实现一个this paper的联合情感主题模型。现在,我需要以下结构来跟踪所需的计数:
^{pr2}$现在问题来了:在这个Gibbs取样器中,对于在文档中看到的每个单词,一个新主题和一个情感标签都是从条件后验(论文第4页等式5)中抽取的。 我现在如何在Python中“采样这两个值”?在
提前谢谢。。。在
试试这个。从主题和情感标签的联合分布中进行抽样仅仅意味着整个T x S矩阵的和应该是1。在
相关问题 更多 >
编程相关推荐