不可约马尔可夫链(irreducible Markov chain)是一种
马尔可夫链。指
状态空间E是惟一闭集的马尔可夫链,这又相当于E不含两个不相交的非空闭集。这时,对应的转移概率矩阵也称为不可约的。
设{Xt(w),t∈T}是一个
马尔可夫过程,如果T={0,1,2,…},且其状态空间是有限集合或可列集合,则称此过程 为马尔可夫链。按状态空间所含状态的情况, 又分为可列(状态的)马尔可夫链和有限(状 态的)马尔可夫链。马尔可夫链是最简单的马尔可夫过程。
马尔可夫链的状态,可以指在物理化学 中一原子的某一能量水平;可以指在民意测 验中投票人各种可能的思想状态;可以指在 布朗运动中微粒在三维空间的位置等。如果 用不同的整数来表示这些状态,则状态空间可以看作是全体或部分整数组成的集合。