马尔可夫链

定义

状态空间中经过从一个状态到另一个状态的转换的随机过程

$$P(X_{n+1}=x\mid X_1=x_1,X_2=x_2,\dots ,X_n=x_n)=P(X_{n+1}=x\mid X_n=x_n)$$

状态空间

$X_i$ 可能的值构成了状态空间 $S$

马尔可夫性质

定义

给定当前状态 $X_n=x_n$，下一个状态 $X_{n+1}$ 的条件概率仅依赖于当前状态 $X_n$，与之前的状态无关

理解：根据上面给出的数学定义，已知：$X_1=x_1,X_2=x_2,\dots ,X_n=x_n$，但 $X_{n+1}=x$ 仅需知道 $X_n=x_n$ 的状态

转移矩阵

定义

转移矩阵描述了在一个有限状态空间 $S$ 上的马尔可夫链 $X_t$

待完善