统计结论效度是指由统计方法适切性所引起的统计结论有效性的程度,它主要反映统计量与总体参数之间的关系。用不同的统计方法计算统计量,不同的统计量能否代表其总体参数的程度是不同的,这就体现了不同的统计结论效度。
统计结论效度,实际上是
内部效度的特例,他们都涉及研究本身所获因果关系结论的可靠性问题。一项研究设计良好,控制了无关变量的干扰,就可能保证自变量和因变量关系明确,让研究有内部效度;但是,若统计方法运用不当,则也不能获得一个可靠的因果关系的结论。因此,统计结论效度,可以视为内部效度的一部分。
研究的统计结论效度主要取决于两个方面的
条件:一是数据的质量,数据分析程序是效度是以数据的质量为基础的;二是统计检验的假设,数据分析中所采有和的各种统计方法都有其明确的统计检验假设,一项研究中统计检验假设不明或者被违犯,就会显著的降低统计结论效度。
(1)统计功效低。统计功效又称为统计检验能力,在统计学上定义为不犯Ⅱ类错误的概率(1-β)。当样本小而且α值定得较低时,犯Ⅱ类错误的可能性增加;如果这时α值定得较高,又容易犯Ⅰ类错误。这些都会影响研究的统计结论效度。
(2)违反统计检验的假设。在采用不同检验时,应了解其特定的基本假设并解决有关的问题。例如,对于顺序量表所测得的数据应运用非参数统计方法进行分析;许多统计检验方法要求数据呈正态分布,应注意数据的这一特征,以免违反统计检验的假设,影响研究的统计结论效度。
(4)实验处理实施的可靠性。由于研究者之间的差异或同一研究者在不同时间采用了不同方式实施实验处理,使实验处理不够标准化,这会增大差误变异并减少发现真实差异的可能性,进而降低统计结论效度。
(6)被试的随机异质性。被试的异质性会降低统计结论效度,也会损害研究的外部效度。这可以通过选择相同同质的被试和采用“
被试内设计”的方法来解决。
明白了上述影响统计结论效度的因素,也就是有了相应的改善之道。如必须保证数据的质量,严格遵循各种统计检验方法的基本假设和适用条件,不违规选用统计程序;适量增大样本的容量;忠实的报告研究结果。