状态转移矩阵
前提假设
t=k+1时刻的状态，只与t=k时刻有关，与t=k-1，k-2,…都无关。
转移矩阵
\(P=\left [ \begin{array}{ccc} p_{11}&p_{12}&...&p_{1n}\\ p_{21}&p_{22}&...&p_{2n}\\ ...\\ p_{i1}&p_{i2}&...&p_{in}\\ ...\\ p_{n1}&p_{n2}&...&p_{nn} \end{array}\right]\)
$p_{ij}$指的是从第i个状态变到第j个状态的概率
马尔科夫预测法
step1 ：划分和识别状态
要对预测对象全面了解,然后找出所有可能的状态。
如果预测对象是连续的，要根据业务场景离散化。
step2 ：计算初始概率矩阵$S^{(0)}$
方法有两种：
- 利用状态出现的频率，近似的估计初始阶段状态出现的概率。
假设状态$E_i$出现的次数是$M_i$，那么$p_i^{(0)} \thickapprox \dfrac{M_i}{\sum M_i}$ - 估计出样本的分布，用样本分布近似的描述初始状态的概率
初始状态矩阵满足$\sum\limits_i p_i=1$
step3 ：计算状态的一步转移概率$p_{ij}$
$p_{ij}=P(E_i \to E_j)=P(E_j \mid E_i)=\dfrac{M_{ij}}{M_i}$
转移概率矩阵满足：$\sum\limits_j p_{ij}=1$
step4 ：预测
稳态过程
经过一段时间时间后，马式链逐渐趋于这样一种状态，它与初始状态无关。
也就是说$S^{(n+1)}=S^{(n)}$
马式过程
标准概率矩阵 的定义：
称A为标准概率矩阵，若$A=(a_{ij}) _ {nn}$满足：
- $a_{ij}>0$
- $\sum\limits_{j=1}^n a_{ij} =1$
如果马氏链的一步状态转移概率矩阵是标准概率矩阵,那么存在稳态。
