有偏估计(biased estimate)是指由样本值求得的
估计值与待估参数的
真值之间有系统误差,其
期望值不是待估参数的真值。在
统计学中,
估计量的
偏差(或偏差函数)是此估计量的
期望值与估计参数的
真值之差。偏差为零的估计量或决策规则称为
无偏的。否则该估计量是有偏的。在统计学中,“
偏差”是一个函数的客观陈述。
偏差是相对于
中位数来衡量,而非相对于均值(
期望值),在这种情况下为了与通常的
均值无偏性区别,称作
中值无偏。偏差与
一致性相关联,一致估计量都是收敛并且渐进无偏的(因此会收敛到正确的值),虽然一致序列中的个别估计量可能是有偏的(只要偏差收敛于零)。
当其他量相等时,
无偏估计量比有偏估计量更好一些,但在实践中,并不是所有其他统计量的都相等,于是也经常使用有偏估计量,一般偏差较小。当使用一个有偏估计量时,也会估计它的偏差。有偏估计量可能用于以下原因:由于如果不对总体进一步假设,
无偏估计量不存在或很难计算(如
标准差的
无偏估计);由于估计量是中值无偏的,却不是均值无偏的(或反之);由于一个有偏估计量较之无偏估计量(特别是收缩估计量)可以减小一些
损失函数(尤其是
均方差);或者由于在某些情况下,无偏的条件太强,而这些无偏估计量没有太大用处。此外,在非线性变换下均值无偏性不会保留,不过中值无偏性会保留;例如
样本方差是总体方差的无偏估计量,但它的平方根
标准差则是总体标准差的有偏估计量。
设我们有一个参数为实数 的
概率模型,产生观测数据的概率分布 ,而统计量 是基于任何观测数据 下 的
估计量。也就是说,我们假定我们的数据符合某种未知分布 (其中 是一个固定常数,而且是该分布的一部分,但具体值未知),于是我们构造估计量 ,该估计量将观测数据与我们希望的接近 的值对应起来。因此这个估量的(相对于参数 的)
偏差定义为
其中 表示分布 的
期望值,即对所有可能的观测值 取平均。由于θ对于条件分布 是可测的,就有了第二个等号。
随机变量的
样本方差从两方面说明了估计量偏差:首先,自然估计量(naive estimator)是有偏的,可以通过比例因子校正;其次,
无偏估计量的
均方差(MSE)不是最优的,可以用一个不同的比例因子来最小化,得到一个比无偏估计量的MSE更小的有偏估计量。
具体地说,自然估计量就是将离差平方和加起来然后除以 ,是有偏的。不过除以 会得到一个
无偏估计量。相反,MSE可以通过除以另一个数来最小化(取决于分布),但这会得到一个有偏估计量。这个数总会比 大,所以这就叫做收缩估计量,因为它把无偏估计量向零“收缩”;对于正态分布,最佳值为 。
是有偏的原因源于样本均值是的普通最小二乘(OLS)估计量这个事实: 是令 尽可能小的数。也就是说,当任何其他数代入这个求和中时,这个和只会增加。尤其是,在选取 就会得出,