显著性检验（significance test）就是事先对总体（随机变量）的参数或总体分布形式做出一个假设，然后利用样本信息来判断这个假设（备择假设）是否合理，即判断总体的真实情况与原假设是否有显著性差异。或者说，显著性检验要判断样本与我们对总体所做的假设之间的差异是纯属机会变异，还是由我们所做的假设与总体真实情况之间不一致所引起的。 显著性检验是针对我们对总体所做的假设做检验，其原理就是“小概率事件实际不可能性原理”来接受或否定假设。

显著性检验即用于实验处理组与对照组或两种不同处理的效应之间是否有差异，以及这种差异是否显著的方法。

常把一个要检验的假设记作H0,称为原假设（或零假设） (null hypothesis) ，与H0对立的假设记作H1，称为备择假设(alternative hypothesis) 。

⑴ 在原假设为真时，决定放弃原假设，称为第一类错误，其出现的概率通常记作α；

⑵ 在原假设不真时，决定不放弃原假设，称为第二类错误，其出现的概率通常记作β；

(3)α+β 不一定等于1。

通常只限定犯第一类错误的最大概率α， 不考虑犯第二类错误的概率β。这样的假设 检验又称为显著性检验，概率α称为显著性水平。

最常用的α值为0.01、0.05、0.10等。一般情况下，根据研究的问题，如果放弃真假设损失大，为减少这类错误，α取值小些 ；反之，α取值大些。

为什么要进行显著性检验？进行显著性检验是为了消除第一类错误和第二类错误。通常情况下，α水平就是第一类错误。第一类错误是原假设为真却被错误拒绝的概率。第二类错误()是原假设为误却被错误接受的概率或是备择假设为真却被拒绝的概率。如果P值小于某个事先确定的水平，理论上则拒绝原假设，反之，如果P值大于某个事先确定的水平，理论上则不拒绝原假设。常用的显著性水平是0.05，0.01和0.001。不同的水平各有优缺点。水平越小，判定显著性的证据就越充分，但是不拒绝错误原假设的风险，犯第二类错误的可能性就越大，统计效力就越低。选择水平不可避免地要在第一类错误和第二类错误之间做出权衡。如果犯第一类错误造成的后果不严重，比如在试探性研究中，我们可以将α水平定得高一些，如0.05或0.1。如果研究样本很小，为了提高统计效力，我们在某些研究中也不妨提高α水平。但是，如果犯第一类错误造成的后果很严重，比如我们要基于某项研究发现决定是否在全国推行某项教学改革，我们则需要将α水平定得低一些，如0.01或0.001。

显著性检验的基本原理是提出“无效假设”和检验“无效假设”成立的几率（P）水平的选择。所谓“无效假设”，就是当比较实验处理组与对照组的结果时，假设两组结果间差异不显著，即实验处理对结果没有影响或无效。经统计学分析后，如发现两组间差异是抽样引起的，则“无效假设”成立，可认为这种差异为不显著（即实验处理无效）。若两组间差异不是由抽样引起的，则“无效假设”不成立，可认为这种差异是显著的（即实验处理有效）。

“无效假设”成立的机率水平

检验“无效假设”成立的机率水平一般定为5%，其含义是将同一实验重复100次，两者结果间的差异有5次以上是由抽样误差造成的，则“无效假设”成立，可认为两组间的差异为不显著，常记为p>0.05。若两者结果间的差异5次以下是由抽样误差造成的，则“无效假设”不成立，可认为两组间的差异为显著，常记为p≤0.05。如果p≤0.01，则认为两组间的差异为非常显著。

显著性检验的基本思想可以用小概率原理来解释。

1、小概率原理：小概率事件在一次试验中是几乎不可能发生的，假若在一次试验中小概率事件事实上发生了。那只能认为该事件不是来自我们假设的总体，也就是认为我们对总体所做的假设不正确。

2、观察到的显著水平：由样本资料计算出来的检验统计量观察值所截取的尾部面积。这个概率越小，反对原假设，认为观察到的差异表明真实的差异存在的证据便越强，观察到的差异便越加理由充分地表明真实差异存在。

3、检验所用的显著水平：针对具体问题的具体特点，事先规定这个检验标准。

4、在检验的操作中，把观察到的显著性水平与作为检验标准的显著水平标准比较，小于这个标准时，得到了拒绝原假设的证据，认为样本数据表明了真实差异存在。大于这个标准时，拒绝原假设的证据不足，认为样本数据不足以表明真实差异存在。

5、检验的操作可以用稍许简便一点的作法：根据所提出的显著水平查表得到相应的值，称作临界值，直接用检验统计量的观察值与临界值作比较，观察值落在临界值所划定的尾部内，便拒绝原假设；观察值落在临界值所划定的尾部之外，则认为拒绝原假设的证据不足。

显著性检验的一般步骤或格式，如下：

1、提出零假设和备择假设

H0：______

H1：______

同时，与备择假设相应，指出所作检验为双尾检验还是左单尾或右单尾检验。

2、构造检验统计量，收集样本数据，计算检验统计量的样本观察值。

3、根据所提出的显著水平 ，确定临界值和拒绝域

4、计算检验统计量的值。

5、作出检验决策。

把检验统计量的样本观察值和临界值比较，或者把观察到的显著水平与显著水平标准比较；最后按检验规则作出检验决策。当样本值落入拒绝域时，表述成:“拒绝原假设”，“显著表明真实的差异存在”；当样本值落入接受域时，表述成：“没有充足的理由拒绝原假设”，“没有充足的理由表明真实的差异存在”。另外，在表述结论之后应当注明所用的显著水平。

适用于计量资料、正态分布、方差具有齐性的两组间小样本比较。包括配对资料间、样本与均数间、两样本均数间比较三种，三者的计算公式不能混淆。（处理时不用判断分布类型就可以使用t检验）

应用条件与t检验大致相同，但t′检验用于两组间方差不齐时，t′检验的计算公式实际上是方差不齐时t检验的校正公式。

应用条件与t检验基本一致，只是当大样本时用U检验，而小样本时则用t检验，t检验可以代替U检验。

用于正态分布、方差齐性的多组间计量比较。常见的有单因素分组的多样本均数比较及双因素分组的多个样本均数的比较，方差分析首先是比较各组间总的差异，如总差异有显著性，再进行组间的两两比较，组间比较用q检验或LST检验等。

是计数资料主要的显著性检验方法。用于两个或多个百分比(率)的比较。常见以下几种情况：四格表资料、配对资料、多于2行乘以2列资料及组内分组X2检验。

用于计数资料。是当实验组或对照组中出现概率为0或100%时，X2检验的一种特殊形式。属于直接概率计算法。

非参数统计方法

符号检验、秩和检验和Ridit检验

三者均属非参数统计方法，共同特点是简便、快捷、实用。可用于各种非正态分布的资料、未知分布资料及半定量资料的分析。其主要缺点是容易丢失数据中包含的信息。所以凡是正态分布或可通过数据转换成正态分布者尽量不用这些方法。

Hotelling检验

用于计量资料、正态分布、两组间多项指标的综合差异显著性检验。

在试验 、检测的数据处理过程中 ，时常会出现两种或者多种不同的试验结果。对数据进行比较分析时 ，不能仅凭两个结果的不同就作出结论 ，而是要进行统计学分析 ，对数据进行差异显著性检验。显著性检验就是事先对总体(随机变量 )的参数或总体分布形式作出一个假设 ，然后利用样本信息来判 断这个假设(原假设 )是否合理，即判断总体的真实情况与原假设是否存在显著差异。这时我们要做两种检验 ，一种是检验数据是否是属于母体内抽取的样本，即检验总体参数与样本统计量之间是否存在着显著的差异 ；另一种是检验数据的统计 量是 否存在着显著的差异 。差异显著性检验就是要判定造成差异的原因，即差异是由于误差或偶然因素引起的或两者确实本身存在着差异。

显著性检验是针对我们对总体所作的假设做检验 ，其原理就是 “小概率事件实际不可能性原理”来接受或否定假设 。所谓 “显著”，就是指两种或多种处理试验结果之间，本身确实存在差异。如果是 “不显著”，就说明它们之间的差异是 由抽样或偶然 的因素引起的，不是真正有实际差异存在。

在数理统计中一般以概率 (P)5%作为显著评定标准 ，即在100次试验中，由于偶然因素造成差异的可能性在5次以上 ，其差异被认为是不显著 。 如果两者差异在概率为5%的范围内，出现这样概率的机会非常小而出现了 ，那么我们就认为此差数具有 显著差异程度。有时我们认为 5%太低 ，则可提高到1%作 为显著评定标准 ，若两者的差异在概率为1%的范围内，那么我们就认为这个差数具有极显著的差异程度。