定义

随机过程 \(\{X(t) ,t \in T\}\) 是随机变量的集合

1. $X(t)$ 是随机变量
2. 时间集合T，可以是$[0,+\infty),(-\infty,+\infty),N_+$ 等等，甚至未必是实数集。一般只考虑实数空间或整数空间

一些随机过程的例子：

1. 一个醉汉在路上行走，以概率p向前一步，以概率1-p向后一步。t时刻的位置 $X(t)$ 是直线上的随机过程
2. 二维布朗运动
3. 排队模型。每位客户的到来、服务时长都是随机的，队伍长度 $X(t)$, 新顾客等待时间 $Y(t)$ 都是随机过程

基本特征

如果时间集合是有限的，可以定义联合分布 \(F_{t_1,...,t_n}(x_1,...,x_n)=P\{X(t_1)\leq x_1,...,X(t_n)\leq x_n\}\)
基于此，可以定义一些基本特征

1. 均值函数 $m(t)=E(X(t))$
2. 方差函数 $Var(X(t))=E(X(t)-m(t))^2$
3. 协方差函数 $R(s,t)=cov(X(s),X(t))$
4. 相关函数 $\rho(s,t)=\dfrac{R(s,t)}{Var(X(s))Var(X(t))}$

自相关函数$R_x(t_1,t_2)=E[X(t_1)X(t_2)]$
均方值函数$\psi_X^2(t)=E[X^2(t)]=R_X(t,t)$

对于两组随机过程，还有：
互相关函数$R_{XY}(t_1,t_2)=E[X(t_1)Y(t_2)]$
互协方差函数$C_{XY}=Cov[X(t_1),Y(t_2)]$

分类

相互独立

: 如果$\forall x_i,y_j,t_i,t_j’$,都有$F(x_1,…,x_n,y_1,…,y_m;t_1,…,t_n,t_1’,…,t_m’)=F_X(x_1,…,x_n,t1,…,t_n)F_Y(y_1,…,y_m,t_1’,…,t_m’)$
那么称两个随机过程 相互独立

独立增量过程

独立增量过程

如果$\forall t_0<t_1<…<t_n$，都满足 $X(t_1)-X(t_0),…,X(t_n)-X(t_{n-1})$相互独立，称为 独立增量过程

齐次独立增量过程（平稳独立增量过程）

$X(t)-X(s)$的分布只与$t-s$有关

定理：\(\{ X(t),t\geq 0\}\)是独立增量过程，且$X(0)=0$,那么$R_X(s,t)=\sigma_X^2[\min(s,t)]$
（证明）不妨假设$t>s$，
$R(s,t)=E(X(s)X(t))-EX(s)EX(t)$（定义）
$=E((X(s)-X(0))(X(t)-X(s)+X(s)))-EX(s)EX(t)$（恒等变形）
$=E(X(s)-X(0))(X(t)-X(s))+EX^2(s)-EX(s)EX(t)$（期望对乘法的结合律） $=E(X(s)-X(0))E(X(t)-X(s))+EX^2(s)-EX(s)EX(t)$（独立增量过程的定义）
$=E(X^2(s))-(E(X(s)))^2=Var(X(s))$（期望的运算定律）

泊松过程

强度为 $\lambda$ 的泊松过程满足3条：

1. $N(0)=0$
2. 是独立增量过程
3. 在t时间内发生的次数服从泊松分布。$\forall s,t\geq 0$，有 $N(t+s)-N(s) \sim \pi(\lambda t)$

维纳过程

满足3条:

1. 是独立增量过程
2. $\forall 0\leq t_0<t,w(t)-w(t_0)\sim N(0,\sigma^2(t-s))$
3. $w(0)=0$

定理：
\(\{ w(t),t\geq 0\}\)是维纳过程，那么

1. ${ w(t)}$是正态过程
2. $w_1(t)=Cw(\dfrac{t}{C^2})$也是维纳过程

平稳过程

二阶距过程

如果$\forall t,E(X^2(t))$ 存在，称为 二阶距过程

宽平稳过程

满足三个条件：1. 是二阶距过程。2. $E(X(t))=m$与t无关 3. $cov(X(t),X(t+\tau))=K(\tau)$ 与t无关

严平稳过程

对于$\forall t_i,h>0$，都满足$(X(t_1),…,X(t_n))$和$(X(t_1+h),…,X(t_n+h))$的联合分布完全一样。

更新过程

$X_k$是独立同分布的正随机变量序列，
定义$S_n=\sum\limits_{k=1}^n X_k$
定义$N(t)=\max{n\mid n\geq 0,S_n\leq t}$

称$N(t)$是更新过程。

更新过程常用于描述设备的更换。

计数过程

（又称点过程）

$N(t)$表示时间$[0,t]$内，某一事件发生的总次数，称$N(t)$是计数过程。

例如，

• $N(t)$ 是某个商店0到t时间内的累计总顾客数量，它就是计数过程。
• $N(t)$ 是某个商店t时刻逗留的顾客数，它就不是计数过程

泊松过程是一种特殊的更新过程，更新过程是一种特殊的计数过程。

泊松过程

泊松过程的定义1

1. $N(n)$ 是计数过程
2. $N(n)$ 取值为非负整数
3. 当 $0 \leq s \lt t$，满足 $N(s)\leq N(t)$

泊松过程的定义2: 强度为 $\lambda$ 的泊松过程满足3条：

1. $N(0)=0$
2. 是独立增量过程。也就是说，$\forall t_0<t_1<…<t_n$，满足 $N(t_1)-N(t_0), …, N(t_n)-N(t_{n-1})$相互独立
3. 在t时间内发生的次数服从泊松分布。$\forall s,t\geq 0$，有 $N(t+s)-N(s) \sim \pi(\lambda t)$ （也就是说 $P[N(t+s) - N(s) =n] = e^{-\lambda t} \dfrac{(\lambda t)^n}{n!}$）

泊松分布的定义3：

1. $N(0)=0$
2. 不但是独立增量过程，而且是平稳过程
3. \(P\{N(t+h)-N(t)=1\}=\lambda h +o(h)\) 成立
4. \(P\{N(t+h)-N(t) \geq 2\}=o(h)\) （事情总是一件一件发生的，瞬间发生多件事情的可能性极小）

现实中哪些事情符合泊松过程呢？

1. 到t时刻为止，到达某商店的顾客总数
2. t时刻为止，婴儿出生总数

泊松分布的性质1

假设事件A是一个强度为 $\lambda$ 的泊松过程 $N(t)$，如果每次A事件都以概率 p 被记录下来，形成随机过程 $M(t)$，那么 $M(t)$ 是强度为 $\lambda p$ 的泊松过程。

证明：

1. M(0)=0 显然成立
2. 由于 N(t) 是平稳独立增量过程，所以 M(t) 也是平稳独立增量过程
3. 只需要验证 $M(t)～\pi(\lambda pt)$，证明：\(P\{M(t)=m\}=P\{M(t)=m \mid N(t)=m+n\} P\{N(t)=m+n\}\)，然后展开暴力计算

泊松分布的性质2

引入另一个随机过程 \(\{ T_n,n=1,2,3,... \}\) 其含义是第 n 个事件发生的时刻。

• 显然 $T_0=0$

引入另一随机过程 $X_n=T_n-T_{n-1}$，也就是第 n-1 次到第 n 次发生的时间间隔。

定理1：$X_n$ 服从参数为 $\lambda$ 的指数分布，且相互独立

证明：

n=1 的情况。
事件 $X_t>t$ 等价于事件 $N(t)=0$，也就是说，$[0,t]$ 内没有事件发生。
因此， \(P\{X_t>t\}=P\{N(t)=0\}=e^{-\lambda t}\)

n 的情况。
对于“某个事件”，先记一些变量：$N(u)=n-2, N(s)=n-1, N(s+t)=n$
计算 \(P\{X_n>t \mid X_{n-1}=s\}\)
=\(P\{N(s+t)=N(s) \mid N(s)=n-1,N(u)=n-2\}\)
=\(P\{N(s+t)-N(s)=0 \mid N(s)-N(u)=1,N(u)=n-2\}\)（等价转化）
=\(P\{N(s+t)-N(s)=0\) （独立增量性） =$e^{-\lambda t}$ （泊松过程的性质）

从上面的推导可得：

1. \(P\{X_n>t \mid X_{n-1}=s\}\) 与 s 无关 ，因此是独立事件
2. 服从指数分布

定理2: $T_n \sim Ga(n,\lambda)$
证明：

1. $T_n=\sum X_i$
2. $X_i \sim Ga(1,\lambda) $
3. Gamma 分布有可加性，加总后得到结论

由以上定理引出 泊松过程的定义4：

1. $N(t)$ 是计数过程
2. 事件发生的间隔 $X_1, X_2, …$ 相互独立同分布，服从强度为 $\lambda$的指数分布

定理3 已知 $N(t)=n$ 的条件下 $(T_1, T_2,…, T_n)$ 的联合概论密度函数是 $f(t_1, t_2, …, t_n) = \dfrac{n!}{t^n}, 0<t_1<t_2<…<t_n<t$

更新过程

上面提过，泊松过程有这种定义：事件发生的间隔 $X_i$ 独立、同分布，且是同样的指数分布。更新过程不要求是指数分布，而是独立同分布的非负随机过程。

【定义】更新过程 $(X_i,i=1,2,…,n)$ 是独立同分布的非负随机变量，记 $T_n = \sum\limits_{i=1}^n X_i$，把 $N(t) = \sup(n:T_n\leq t)$ 定义为 更新过程。

马尔可夫过程

对$\forall t_1<…<t_n<t,A\subset R$，都满足，
$P{X(t_{n+1})\in A\mid X(t_1)=x_1,…,X(t_n)=x_n }=P{ X(t_{n+1})\in A \mid X(t_n)=x_n}$，
称之为马尔科夫过程

【定义】转移概率 \(P\{X_{n+1}=j \mid X_n=i \}\) 定义为转移概率，它与 i,j,n 有关

• 一个马尔可夫链，如果初始分布 $P(X_0=t_0)$ 和转移概率都给定，其统计特性就完全确定了。

【定义】时齐马尔可夫链 转移概率\(P\{X_{n+1}=j \mid X_n=i \}\) 只与 i,j 有关，与 n 无关，

• 对于时齐马尔可夫链，对应一个状态转移矩阵。
• 其元素 $p_{ij}$ 是状态的转移概率。

案例：

1. 一维随机游走：一个点每秒行动一次，每次 p 概率移动 +1，q概率移动 -1，r 概率不懂。
2. 带吸收壁的随机游走：在 0, 1, 2, …, n 内随机游走，当碰到 0 或 n 后，不再移动。也称为 赌徒输光问题，赌徒的本金到达 n 之前归零的概率。
3. 带反射壁的随机游走：类似2，但是碰到 0 或 n 后，会以概率 1 返回到 1 或 n-1

【定理】C-K方程 定理的严格表达就不写了，其意思是，从 n 时刻到 m 时刻的状态转移，是符合矩阵积计算的。

【定义】互通关系 $p_{ij}^{m}$ 代表 用了 m 个步骤，从状态 i 转移到状态 j 的概率。如果存在 $m,n\geq 0$ 使得 $p_{ij}^m>0, p{ji}^n>0$ 那么称为 i j 是互通的，记为 $i\leftrightarrow j$。

• 互通是一种等价关系：
  • 自返性： $i\leftrightarrow i$
  • 对称性：如果 $i\leftrightarrow j$，那么 $j\leftrightarrow i$
  • 传递性：如果 $i\leftrightarrow j, j\leftrightarrow k$，那么 $i\leftrightarrow k$

【定义】不可约 如果只存在一个等价类，那么称为马尔可夫过程是 不可约的

• 我的理解：每个状态之间都是互通的，因此不能分解成为2个独立的马尔可夫过程。

【定义】常返 对于某一个状态i，从状态 i 最终能回到 状态 i 的概率记为 $f_i$。如果 $f_i=1$，叫做 状态 i 是 常返态。如果 $f_i<1$ 成为 非常返态（或瞬态）

• 对于瞬态 i， 停留 n 次的概率是 $f_i^{n-1}(1-f_i)$，这是个几何分布，平均停留次数是 $1/(1-f_i)$ 是有限值
• 显然，对于常返态，平均停留次数是无限的
• 综上，有 【定理】 状态i 是常返的，当且仅当处于 i 状态的次数是无穷的。
• 【推论】 一个有限状态马尔可夫链不可能所有状态都是瞬态
• 【推论】 如果 i 是常返态，状态 i 和状态 j 互通，那么 j 也是常返态。
• 【推论】 有限状态不可约马尔可夫链的所有状态都是常返态

鞅

$\forall t\in T,E(\mid X(t)\mid)<\infty$
$E(X(t_{n+1})\mid X(t_1),…,X(t_n))=E(X(t_n))$
称这个随机过程为 鞅

随机微积分

ITO引理的证明

$\Delta s=\dfrac{\partial s}{\partial x} \Delta x +\dfrac{\partial s}{\partial t} \Delta t+\dfrac{\partial^2 s}{\partial x \partial t} \Delta x \Delta t +\dfrac{\partial^2 s}{\partial t^2} \Delta t^2$ ⇔(前提：s(x,t)高阶连续) $ds=\dfrac{\partial s}{\partial x} dx + \dfrac{\partial s}{\partial t} dt$