异常值
统计术语
异常值(outlier)是指一组测定值中与平均值的偏差超过两倍标准差的测定值,与平均值的偏差超过三倍标准差的测定值,称为高度异常的异常值。
定义
异常值outlier:一组测定值中与平均值的偏差超过两倍标准差的测定值。与平均值的偏差超过三倍标准差的测定值,称为高度异常的异常值。在处理数据时,应剔除高度异常的异常值。异常值是否剔除,视具体情况而定。在统计检验时,指定为检出异常值的显著性水平α=0.05,称为检出水平;指定为检出高度异常的异常值的显著性水平α=0.01,称为舍弃水平,又称剔除水平(reject level)。
判断处理
1、依据标准
《计数抽样检验程序》(GB2828)、《正态样本异常值的判断和处理》(GB4883)。
2、异常值定义
异常值是指样本中的个别值,其数值明显偏离它(或他们)所属样本的其余观测值。
3、异常值的种类
(1)可能是总体固有的随机变异性的极端现,属同一总体;
(2)可能是试验条件和方法的偶然偏离,不属同一总体。
4、判断异常值的统计学原则
(1)上侧情形:异常值为高端值;
(2)下侧情形:异常值为低端值;
(3)双侧情形:异常值在两端可能出现极端值。
5、判断异常值的规则
(1)标准差已知——奈尔(Nair)检验法;
(2)标准差未知——格拉布斯(Grubbs)检验法和狄克逊(Dixon)检验法。
6、格拉布斯(Grubbs)检验法
(1)计算统计量
μ=(X1+X2+…+Xn)/n
s=(∑(Xi-μ)/(n-1))½(i=1,2…n)
Gn=(X(n)-μ)/s
式中μ——样本平均值
s——样本标准差
Gn——格拉布斯检验统计量
(2)确定检出水平α,查表(见GB4883)得出对应n,α的格拉布斯检验临界值G1-α(n)。
(3)当Gn>G1-α(n),则判断Xn为异常值,否则无异常值。
(4)给出剔除水平α’的G1-α’(n),当当Gn>G1-α’(n)时,Xn为高度异常值,应剔除。
在回弹法检测砼强度中的应用
将测区混凝土强度换算值按从小到大的顺序排列f1、f2、…fn,计算格拉布斯检验统计量:
Gn=(fn-m)/s
Gn’=(m-f1)/s
式中m——测区混凝土强度换算值的平均值
s——测区混凝土强度标准差
取检出水平α为5%,剔除水平α’为1%,按双侧情形检验,从附表中查得检出水平α对应格拉布斯检验临界值G0.975,剔除水平α’对应格拉布斯检验临界值G0.995。
若Gn>Gn’,且Gn>G0.975,则判断fn为异常值,否则,判断无异常值;
若Gn>Gn’,且Gn>G0.995,则判断fn为高度异常值,可考虑剔除;
若Gn’>Gn,且Gn’>G0.975,则判断f1为异常值,否则,判断无异常值;
若Gn’>Gn,且Gn’>G0.995,则判断f1为高度异常值,可考虑剔除;
分析异常值出现原因,判断异常值是否舍弃。不得随意舍去异常值,应检查异常值出现是否系材料或施工质量变化等原因所致。若检出了一个异常值,对除去已检出异常值后余下得数值继续用格拉布斯检验法检验,直到不能检出异常值为止。
参考资料
最新修订时间:2023-12-23 16:28
目录
概述
定义
判断处理
参考资料