正则化(regularization)，是指在线性代数理论中，不适定问题通常是由一组线性代数方程定义的，而且这组方程组通常来源于有着很大的条件数的不适定反问题。大条件数意味着舍入误差或其它误差会严重地影响问题的结果。

正则化：代数几何中的一个概念。

就是给平面不可约代数曲线以某种形式的全纯参数表示。

即对于PC^2中的不可约代数曲线C，寻找一个紧Riemann面C*和一个全纯映射σ:C*→PC^2,使得σ(C*)=C

设C是不可约平面代数曲线，S是C的奇点的集合。如果存在紧Riemann面C*及全纯映射σ:C*→PC^2,使得

则称(C*,σ)为C的正则化。不至于混淆的时候，也可以称C*为C的正则化。

正则化的做法，实际上是在不可约平面代数曲线的奇点处，把具有不同切线的曲线分支分开，从而消除这种奇异性。

反问题有两种形式。最普遍的形式是已知系统和输出求输入，另一种系统未知的情况通常也被视为反问题。许多反问题很难被解决，但是其他反问题却很容易得到答案。显然，易于解决的问题不会比很难解决的问题更能引起人们的兴趣，我们直接解决它们就可以了。那些很难被解决的问题则被称为不适定的。一个不适定问题通常是病态的，并且不论是简单地还是复杂地改变问题本身的形式都不会显著地改善病态问题。另一方面，病态问题不一定是不适定的，因为通过改变问题的形式往往可以改善病态问题。在严格的数学意义上，我们通常不可能对不适定问题进行求解并得到准确解答。然而，通过使用我们的先验知识，我们通常有希望能够得到一个接近准确解答的答案。

求解不适定问题的普遍方法是：用一组与原不适定问题相“邻近”的适定问题的解去逼近原问题的解，这种方法称为正则化方法。如何建立有效的正则化方法是反问题领域中不适定问题研究的重要内容。通常的正则化方法有基于变分原理的Tikhonov 正则化、各种迭代方法以及其它的一些改进方法，这些方法都是求解不适定问题的有效方法，在各类反问题的研究中被广泛采用，并得到深入研究。

=−α∇J()

系数w的更新公式为：

= − −λ = (1−λ/m)−

可见，正则化后的迭代算法和没有正则化的迭代形式非常像，唯一的差别在与每次迭代都要多减去一个λ 。相当于如果当前 已经比较大了，那么，w要先多减去一点，然按梯度方向进行迭代。

另外，上式的正则化项与m成反比，也就是说，样本数越大，过拟合的问题越小，正则化的作用越弱。

=−()∇J()

引入l2-norm正则项后，一阶导数和Hessian矩阵如下所示：

∇J=−λ

H=()+λ/m

与梯度下降法类似，正则化在牛顿法中也是起到惩罚大的的作用。另外，由于加了正则化项，原来不可逆的Hessian矩阵也变的可逆了。