在线性方程的求解或是数据曲线拟合中，利用
最小二乘法求得的解则被称为最小二乘解。最小二乘法（又称最小平方法）是一种数学
优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。其他一些优化问题也可通过最小化能量或最大化熵用
最小二乘法来表达。
定义
可能无解。即任意一组 都可能使
我们设法找到 使 最小，这样的 称为方程组的
最小二乘解。这种问题叫做
最小二乘问题。
代数条件
下面利用欧式空间的概念来表达
最小二乘法，并给出最小二乘解所满足的代数条件。
令 ， ， ，
用距离的概念， 就是 ，最小二乘法就是找到 使Y和B的距离最短。
把A的各列向量分别记为 ，由它们生成的子空间为 ，Y就是 中的向量。于是最小二乘法可以叙述为：
找到X使得 就是在 中找到一向量Y，使得B到它的距离比到子空间 中其它向量的距离都短。
设 使所要求的向量，则 必须垂直于子空间 。为此，只须且必须 ，由矩阵乘法，上述可写成矩阵相乘的式子，即：
而 按行正好排列称矩阵 。上述一串等式合起来便是：
或
这就是最小二乘解所满足的代数方程，它是一个线性方程，系数矩阵是 ，常数项是 ，这种线性方程总是有解的。
示例
已知某种材料在生产过程中的废品率y与某种化学成分x有关。下表中记载了某工厂生产中y与相应x的几次数值：
要求：找出y与x的一个近似公式。
解：若把表中数值画成图来看，可以发现，它的变化趋势近于一条直线，因此，我们决定选取x的一次式ax+b来表达。当然最好能选到适合的a,b，使得下面的等式：
都成立。实际上是不可能的。任何a,b代入上述各式都会发生误差。于是想找a,b使得上面各式的误差的平方和最小，即寻找a,b，使
最小。这里的讨论是误差的平方即二乘方，故称为
最小二乘法。
将上述数值用矩阵来表示，即为：
，
最小二乘解a,b所满足的方程是：
解得： （取三位有效数字）