以直线模型 为例，其加权的剩余平方和为：

对上式分别求a和b的偏导数，得到标准方程组：

对上述方程解出a和b，就得到加权最小二乘法直线模型。应用加权最小二乘法，W的取值不同，解出的a，b也不同，因此W值取多少，需要经分析后确定。

假设用作Ω对角线值倒数的个体方差未知，且不能被轻易估计，但已知它们是结果变量均值的一个函数： 。那么，如果结果变量的期望值E[Yi]=μ和关系函数的形式f()是已知的，这就是一个非常直观的估计过程。不幸的是。尽管方差结构与均值函数的相关性非常普遍，但是相对来说，我们不太知道这一相关的确切形式。

这个问题的一个解决方法是迭代地估计权重，在每一轮估计中用均值函数提升估汁。因为 ，因此系数估计 提供了一个均值估计，反过来也是一样。因此算法用渐进提升的权重来迭代估计这些量。过程如下：

1．为权重设定起始值，一般等于1(也就是没有权重的回归)：1/vi(1)=1，并且构建对角线矩阵Ω，防止以零做除数。

2．以现有的权数用加权最小二乘法估计β。第j个估计是： 。

3．用新估计的均值向量1/vi(j+1)=VAR(μi)更新权数。

4．重复第二步和第三步直到收敛(也就是 足够接近于0)。

在满足指数族分布的一般条件下，迭代加权最小二乘的程序得到似然函数的众数，然后产生未知系数向量 的最大似然估计。进一步地．由 产生的矩阵与 的方差矩阵按照预期成概率收敛。

因为我们在广义线性模型中确定了一个明确的连接函数，所以多元正态方程的形式可以修改为包括这一嵌入的转化：

很明显，在线性模型的情况下，当连接仅仅是恒等函数时，上述方程就可以简化。对于广义线性模型，IWLS操作的总体策略相当简单：用费歇得分的牛顿--莱福逊算法反复地应用于修正的上述常规方程。对于精辟细致的分析和这一操作的扩展，读者可以参看格林(Green．1984)和德尔皮诺(del Pino，1989)的论述。

考虑各个观测数据误差分布的不同，定义加权目标函数

式中W是加权矩阵，为S×S阶对称正定矩阵。

将 代入式(1)，并令

可解得加权最小二乘估计

加权矩阵W的取法值得讨论。可以证明，如果ε是具有零均值的平稳随机过程，且与叉 、 无关，则 是无偏估计，但不是有效估计和一致估计。W取特定值时， 才能成为有效估计。

设a是 估计的真值，估计误差 的协方差矩阵

将 代入到式(3)中，得

将式(5)代入到式(4)中，整理得

其中

式中C是残差ε的协方差矩阵。

可以证明，若取加权矩阵

则是Aw范数最小，记为AMV。式(8)代入(6)，得

此时系统参数加权最小二乘估计 为有效估计，称为马尔可夫估计，记为 。式(8)代入式(3)，得马尔可夫估计为：

因为马尔可夫估计是无偏有效估计，所以一般加权最小二乘法均指马尔可夫估计。此外，如果残差ε为独立、同分布、均值为零的随机矢量，设方差为σ2，即

式中I为单位矩阵。

易知最小二乘法估计误差协方差A与马尔可夫估计误差协方差AMV相等，即A=AMV。因此，选用权矩阵

此时，马尔可夫估计 与最小二乘法估计 相等，即 。

通过最小二乘法拟合线性趋势方程。

将表中数据代入公式

得： ，解得a=66.95，b=8；所得趋势方程为：

比较两种估计方法的结果(具体数据见下表)，可以看出，加权最小二乘法的近期误差比远期误差小，这就是加权最小二乘法的优势所在。