RBM：导出复制的Softmax模型（RSM）

Question

根据Salakhutdinov和Hinton的论文“Replicated Softmax:an Undirected Topic Model”（复制的Softmax:an Undirected Topic Model），我试图推导复制的Softmax模型（RSM）或等效的限制Boltzmann机器（RBM）的可见变量的条件分布。

可在以下位置找到纸张：http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=B04C8D67D381B8106FF6FA4203A86264?doi=10.1.1.164.71&rep=rep1&type=pdf

尽管如此，我还是不可能成功

另外，我也搞不清是三维矩阵还是是二维矩阵还是分别是二维矩阵和向量。我相信是后者。希望有人能证明这些推论。在

我希望在python的theano中实现RSM来进行主题建模。我知道有代码存在，但我更喜欢自己理解推导，这样我就可以扩展或优化代码，而不会有破坏模型的风险。在

---

抱歉，这是https://math.stackexchange.com/questions/2085616/rbm-deriving-the-replicated-softmax-model-rsm的转载，但我这么做是因为没有那么多mathstackexchange用户。在

Answer 1

过了一段时间，我发现我误解的地方，并设法推导出方程式。请参考math.stackexchange：
https://math.stackexchange.com/questions/2085616/rbm-deriving-the-replicated-softmax-model-rsm/2087272#2087272