岭回归(英文名:ridge regression, Tikhonov regularization)是一种专用于共线性数据分析的有偏估计回归方法,实质上是一种改良的
最小二乘估计法,通过放弃最小二乘法的无偏性,以损失部分信息、降低精度为代价获得
回归系数更为符合实际、更可靠的回归方法,对病态数据的拟合要强于
最小二乘法。
岭回归,又称脊回归、吉洪诺夫正则化(Tikhonov regularization),是对
不适定问题(ill-posed problem)进行回归分析时最经常使用的一种正则化方法。
对于有些矩阵,矩阵中某个元素的一个很小的变动,会引起最后计算结果误差很大,这种矩阵称为“病态矩阵”。有些时候不正确的计算方法也会使一个正常的矩阵在运算中表现出病态。对于
高斯消去法来说,如果主元(即对角线上的元素)上的元素很小,在计算时就会表现出病态的特征。
回归分析中常用的
最小二乘法是一种无偏估计。对于一个适定问题,X通常是列满秩的
当X不是列满秩时,或者某些列之间的
线性相关性比较大时, 的行列式接近于0,即 接近于奇异,上述问题变为一个不适定问题,此时,计算 时误差会很大,传统的最小二乘法缺乏稳定性与可靠性。
随着 的增大, 各元素 的绝对值均趋于不断变小,它们相对于正确值 的偏差也越来越大。 趋于无穷大时, 趋于0。其中, 随 的改变而变化的轨迹,就称为岭迹。实际计算中可选非常多的 值,做出一个岭迹图,看看这个图在取哪个值的时候变稳定了,那就确定 值了。