|
离散马尔科夫链（Discrete Markov Chain） 是一种数学模型，用于描述一个系统在有限或可数状态空间中随机转移的过程。它具有一个核心特性：无记忆性（Markov性），即系统下一个状态只依赖于当前状态，而与过去的状态无关。
一、定义设状态空间为 S={s1,s2,...,sn}S = \{s_1, s_2, ..., s_n\}S={s1,s2,...,sn}，离散马尔科夫链是一个满足以下条件的随机过程 {Xt}t=0∞\{X_t\}_{t=0}^\infty{Xt}t=0∞： P(Xt+1=sj∣Xt=si,Xt−1=st−1,...,X0=s0)=P(Xt+1=sj∣Xt=si)P(X_{t+1} = s_j \mid X_t = s_i, X_{t-1} = s_{t-1}, ..., X_0 = s_0) = P(X_{t+1} = s_j \mid X_t = s_i)P(Xt+1=sj∣Xt=si,Xt−1=st−1,...,X0=s0)=P(Xt+1=sj∣Xt=si)这个公式表示：系统从状态 sis_isi 转移到 sjs_jsj 的概率只依赖当前状态 sis_isi，与此前如何到达无关。
二、转移概率矩阵（Transition Matrix）用一个矩阵 PPP 表示所有状态之间的转移概率： P=[p11p12⋯p1np21p22⋯p2n⋮⋮⋱⋮pn1pn2⋯pnn]P = \begin{bmatrix}p_{11} & p_{12} & \cdots & p_{1n} \\p_{21} & p_{22} & \cdots & p_{2n} \\\vdots & \vdots & \ddots & \vdots \\p_{n1} & p_{n2} & \cdots & p_{nn}\end{bmatrix}P=p11p21⋮pn1p12p22⋮pn2⋯⋯⋱⋯p1np2n⋮pnn其中 pij=P(Xt+1=sj∣Xt=si)p_{ij} = P(X_{t+1} = s_j \mid X_t = s_i)pij=P(Xt+1=sj∣Xt=si)，且每行之和为 1： ∑j=1npij=1\sum_{j=1}^n p_{ij} = 1j=1∑npij=1
三、常见概念初始分布：描述系统初始时刻处于各个状态的概率向量 π(0)\pi^{(0)}π(0) 状态分布演化：π(t)=π(0)Pt\pi^{(t)} = \pi^{(0)} P^tπ(t)=π(0)Pt 稳态分布（Stationary Distribution）：若存在 π\piπ 满足 πP=π\pi P = \piπP=π，则称为稳态分布 吸收状态：一旦进入该状态就无法离开（如 pii=1p_{ii} = 1pii=1） 遍历性（Ergodicity）：系统长时间运行后能遍历所有状态，并收敛到稳态分布
四、简单例子假设有两个状态 A,BA, BA,B，转移矩阵为： P=[0.90.10.50.5]P = \begin{bmatrix}0.9 & 0.1 \\0.5 & 0.5\end{bmatrix}P=[0.90.50.10.5]初始状态是 π(0)=[1,0]\pi^{(0)} = [1, 0]π(0)=[1,0]，则第二步的状态分布为： π(1)=π(0)P=[1,0][0.90.10.50.5]=[0.9,0.1]\pi^{(1)} = \pi^{(0)} P = [1, 0] \begin{bmatrix} 0.9 & 0.1 \\ 0.5 & 0.5 \end{bmatrix} = [0.9, 0.1]π(1)=π(0)P=[1,0][0.90.50.10.5]=[0.9,0.1]
| 
京公网安备 11010602010207号
( 京ICP证041102号，京ICP备09075138号-9 )
狗仔卡
发表于 2025-5-12 18:16
变色卡
楼主
