状态转移矩阵

前提假设

t=k+1时刻的状态，只与t=k时刻有关，与t=k-1，k-2,…都无关。

转移矩阵

\(P=\left [ \begin{array}{ccc} p_{11}&p_{12}&...&p_{1n}\\ p_{21}&p_{22}&...&p_{2n}\\ ...\\ p_{i1}&p_{i2}&...&p_{in}\\ ...\\ p_{n1}&p_{n2}&...&p_{nn} \end{array}\right]\)

$p_{ij}$指的是从第i个状态变到第j个状态的概率

马尔科夫预测法

step1 ：划分和识别状态
要对预测对象全面了解,然后找出所有可能的状态。
如果预测对象是连续的，要根据业务场景离散化。

step2 ：计算初始概率矩阵$S^{(0)}$
方法有两种：

1. 利用状态出现的频率，近似的估计初始阶段状态出现的概率。
   假设状态$E_i$出现的次数是$M_i$，那么$p_i^{(0)} \thickapprox \dfrac{M_i}{\sum M_i}$
2. 估计出样本的分布，用样本分布近似的描述初始状态的概率

初始状态矩阵满足$\sum\limits_i p_i=1$

step3 ：计算状态的一步转移概率$p_{ij}$
$p_{ij}=P(E_i \to E_j)=P(E_j \mid E_i)=\dfrac{M_{ij}}{M_i}$

转移概率矩阵满足：$\sum\limits_j p_{ij}=1$

step4 ：预测

稳态过程

经过一段时间时间后，马式链逐渐趋于这样一种状态，它与初始状态无关。
也就是说$S^{(n+1)}=S^{(n)}$

马式过程

标准概率矩阵 的定义：
称A为标准概率矩阵，若$A=(a_{ij}) _ {nn}$满足：

1. $a_{ij}>0$
2. $\sum\limits_{j=1}^n a_{ij} =1$

如果马氏链的一步状态转移概率矩阵是标准概率矩阵,那么存在稳态。