最小均方算法，简称LMS算法，是一种最陡下降算法的改进算法， 是在维纳滤波理论上运用速下降法后的优化延伸，最早是由 Widrow 和 Hoff 提出来的。 该算法不需要已知输入信号和期望信号的统计特征，“当前时刻”的权系数是通过“上一 时刻”权系数再加上一个负均方误差梯度的比例项求得。 其具有计算复杂程度低、在信号为平稳信号的环境中收敛性好、其期望值无偏地收敛到维纳解和利用有限精度实现算法时的平稳性等特性，使LMS算法成为自适应算法中稳定性最好、应用最广的算法。

主要在增加很少运算量的情况下能够加速其收敛速度，这样在自适应均衡的时候就可以很快的跟踪到信道的参数，减少了训练序列的发送时间，从而提高了信道的利用率。

1955-1966 期间，美国斯坦福大学的Widrow 和Hoff在为美国通用公司研制天线的过程中，提出了基本Least Mean Square Algorithm，即所谓LMS算法。LMS算法的准则是使均方误差达到最小，即期望信号与滤波器实际输出之差的平方的期望值达到最小，并且依据这个准则来修改权系数向量W（n），这被称为MSE准则。Widrow 和Hoff提出了求解Wopt的近似方法，习惯上称为Widrow-HoffLMS算法。

根据小均方误差准则以及均方误差曲面，自然的我们会想到沿每一时刻均方误差的陡下降在权向量面上的投影方向更新，也就是通过目标函数ξ（k）的反梯度向量来反复迭代更新。由于均方误差性能曲面只有一个极小值，只要收敛步长选择恰当，不管初始权向量在哪，后都可以收敛到误差曲面的小点，或者是在它的一个邻域内。这种沿目标函数梯度反方向来解决小化问题的方法，我们一般称为速下降法，表达式如下：

基于随机梯度算法的小均方自适应滤波算法的完整表达式如下：

LMS自适应算法是一种特殊的梯度估计，不必重复使用数据，也不必对相关矩阵和互相关矩阵进行运算，只需要在每次迭代时利用输入向量和期望响应，结构简单，易于实现。虽然LMS收敛速度较慢，但在解决许多实际中的信号处理问题，LMS算法是仍然是好的选择。

随机梯度LMS算法的性能前人有过大量研究，按照前一章所提到的自适应滤波性能指标，假设输入信号和期望信号具有联合平稳性，详细讨论基于横向FIR结构的滤波器的标准LMS算法的四个性能：

只有在输入信号具有严格稳定的统计特性时，权向量的优解是不变的。否则，将会随着统计特性的变化而变化。自适应算法则能够通过不断的调整滤波器权向量，使权向量接近优解。因此，自适应算法在平稳条件下的性能表现可以认为是非平稳条件下的一种特殊情况。如果在平稳条件下，自适应算法能够快速，平稳的逼近权向量的优值，那么在非平稳条件下，该算法也能很好的逼近时变的权向量优解。

影响性能的因素

经过对LMS算法的性能分析，可知衡量其性能的指标主要有收敛速度，稳态误差和计算复杂度等。因此在设计自适应滤波器时就必须考虑自适应滤波算法是否能够具有快速的收敛速度，较低的稳态误差与计算复杂度，但是这些指标之间常常存在着矛盾的。例如，收敛速度和稳态误差是成反比，有些改进算法的优异性能也通常相对的增加计算复杂度。因此我们需要在这些参数中寻找一个平衡，大程度的提高算法的性能。影响自适应算法性能参数，主要有步长因子，滤波器阶数和滤波器权系数的初始值。