则称随机试验序列{Ei，i=0，1，2，…}为马尔可夫链。

显然，上面的马尔可夫链的两种描述实 质上是完全相同的。

对于马尔可夫链，描述它概率性质最重 要的是它在时刻m的一步转移概率pij(m)： pij(m)=P(Xm+1=j|Xm=i) (i，j∈I) 它表示在时刻m，Xm取值i的条件下，于下一 时刻转移到j的概率。一般地，在时刻m的k 步转移概率pij(m)：

注意，pij(m)=pij(m)。由马尔可夫性可知：

这就是切普曼——柯尔莫哥洛夫方程。

如令矩阵P(m)=(Pijm，(i，j∈I， m=0，1，2…)，P(m)称为马尔可夫链在时 刻m的n步转移矩阵，于是切普曼——柯尔莫哥洛夫方程可简洁地表示成如下矩阵形式：

于是，由全部一步转移概率可得所有的转移概率，从而当初始分布P(X0=i)=pi已知 时，马尔可夫链{Xn}的所有有限维分布也就知道了。

如果在各个时刻的一步转移概率都相同 pij(m)=pij，则称转移概率具有时间齐次性 或齐次性，有时称平稳性。此时马尔可夫链称 为齐次马尔可夫链，其切普曼——柯尔莫哥 洛夫方程为：

记一步转移矩阵为p=(pij)，n步转移矩阵为 p(n)=pij(n)，则切普曼—柯尔莫哥洛夫方程的矩阵形式为：

于是：

因此对齐次马尔可夫链，由初始分布和一步转移概率就可得所有的有限维分布。

马尔可夫链在统计物理，生物遗传，传染病传播，化学高分子链，经济数学等方面应用广泛。

状态空间是描述系统运动的一种抽象空间。指以系统的状态变量为轴所张成的空间，亦即系统所有可能状态的集合。具体为一般系统定义中能够用于表示时间系统S⊂X×Y演化规则ρ-={ρt∶C×Xt→Y-t}和={φtt′∶C×Xtt′→C}的状态C的集合。这时，可称S为状态空间C中的动态系统。

状态空间的点称为代表点或相点，系统运动轨迹(动力学方程的每个解)亦为状态空间的一个点集合，称为轨线.独立状态变量个数称为状态空间的维数，通常为非零整数0，1，2，…特别地，2维状态空间称为状态平面。用状态空间描述系统运动，可以把解析问题转化为较直观的几何问题来处理，有时比较方便。

通常希望寻找为实现同一时间系统S所需的最小状态空间，这时得到的动态系统描述称为最小实现(参见“最小实现”)。

俄国数学家。生于梁赞，卒于圣彼得堡。1878年毕业于圣彼得堡大学，后留校工作。1884年获物理数学博士学位。1886年成为教授。1896年当选为圣彼得堡科学院院士。1905年退休，同年，圣彼得堡大学授予他功勋教授称号。马尔可夫的主要贡献在概率论、数论、函数逼近论和微分方程等方面。在概率论方面，他深入研究并发展了切比雪夫的矩方法，使中心极限定理的证明成为可能。他还推广了大数律和中心极限定理的应用范围。在1906—1912年间，马尔可夫发表了一系列论著，提出并研究了一种能用数学分析方法研究自然过程的一般图式，后来这种图式被称为马尔可夫链。他的研究方法和重要发现推动了概率论的发展，特别是促进了概率论新分支——随机过程论的发展。随机过程论在现代科学中具有广泛而重要的应用。一类重要的随机过程又叫马尔可夫过程。马尔可夫所创建的概率论的研究方向，改变了概率论的内容，促使它成为与自然科学和技术直接有关的最重要的数学方法之一。在数论中，他解决了求已知行列式的极值二次式的难题。在数学分析中，发展了力矩理论、函数逼近论和连分式的解析理论及其应用。在数理统计和数的几何等方面也做出了创造性的贡献。他共发表70多种论著，其中《有限差分学》和《概率演算》已被视为经典著作。其子(小)马尔可夫也是著名数学家。