状态转移矩阵

前提假设

t=k+1时刻的状态，只与t=k时刻有关，与t=k-1，k-2,…都无关。

转移矩阵

\(P=\left [ \begin{array}{ccc} p_{11}&p_{12}&...&p_{1n}\\ p_{21}&p_{22}&...&p_{2n}\\ ...\\ p_{i1}&p_{i2}&...&p_{in}\\ ...\\ p_{n1}&p_{n2}&...&p_{nn} \end{array}\right]\)

$p_{ij}$指的是从第i个状态变到第j个状态的概率

马尔科夫预测法

step1 ：划分和识别状态
要对预测对象全面了解,然后找出所有可能的状态。
如果预测对象是连续的，要根据业务场景离散化。

step2 ：计算初始概率矩阵$S^{(0)}$
方法有两种：

1. 利用状态出现的频率，近似的估计初始阶段状态出现的概率。
   假设状态$E_i$出现的次数是$M_i$，那么$p_i^{(0)} \thickapprox \dfrac{M_i}{\sum M_i}$
2. 估计出样本的分布，用样本分布近似的描述初始状态的概率

初始状态矩阵满足$\sum\limits_i p_i=1$

step3 ：计算状态的一步转移概率$p_{ij}$
$p_{ij}=P(E_i \to E_j)=P(E_j \mid E_i)=\dfrac{M_{ij}}{M_i}$

转移概率矩阵满足：$\sum\limits_j p_{ij}=1$

step4 ：预测

稳态过程

经过一段时间时间后，马式链逐渐趋于这样一种状态，它与初始状态无关。
也就是说$S^{(n+1)}=S^{(n)}$

马式过程

标准概率矩阵 的定义：
称A为标准概率矩阵，若$A=(a_{ij}) _ {nn}$满足：

1. $a_{ij}>0$
2. $\sum\limits_{j=1}^n a_{ij} =1$

如果马氏链的一步状态转移概率矩阵是标准概率矩阵,那么存在稳态。

一些特殊的马式过程

正则链

一种特殊的马尔科夫链，从任意状态出发，经过有限次转移都能达到另外的任意状态。

TH 正则链无穷次转移后，收敛于唯一的概率状态$(w_1,w_2,…,w_k),\sum w_i =1$，
这个概率状态与初始值无关，叫做 稳态概率

从状态i到状态j，n次转移首次到达的概率是$f_{ij}(n)$
TH $\sum\limits_{n}f_{ij}(n)=1/w_{ij}$

吸收链

$p_{ii}=1$的状态称为 吸收状态 ,如果每个点都能以正概率经过有限次到达吸收状态，那么这个马尔科夫链称为 吸收链