马尔可夫过程的KolmogorovChapman方程的生成

Question

我正在寻找一种方法来生成Kolmogorov-Chapman方程，用于MathCad解决Markov链问题。 问题是找出系统处于其中一种状态的概率。系统有N个组件。 我有一个有2^N个节点（状态）和2*N个参数的图：Na，它是第N个组件发生故障的概率，而Nb是损坏的组件恢复正常的概率。在

N可以接近10，也就是说，至少有1024个方程，所以我在寻找一种生成这些方程的方法。在

Mathcad不是必需的，其他任何数学引擎都可以（即使Python也可以用smth来解决，比如scipy）

Answer 1

Problem is to find probability of the system being in one of the states.

由于您的随机过程是N独立马尔可夫链的组合，因此通过分别求解每条链的方程组比求解整个过程的2^2*N方程组更容易解决问题。在

单个链的转移矩阵为：

因此，Kolmogorov-Chapman方程是：

如果你还需要整个系统的方程：