逐步回归分析方法的基本思路是自动从大量可供选择的变量中选取最重要的变量，建立回归分析的预测或者解释模型。其基本思想是:将自变量逐个引入，引入的条件是其偏回归平方和经检验后是显著的。同时，每引入一个新的自变量后，要对旧的自变量逐个检验，剔除偏回归平方和不显著的自变量。这样一直边引入边剔除，直到既无新变量引入也无旧变量删除为止。它的实质是建立“最优”的多元线性回归方程。

逐步回归是一种线性回归模型自变量选择方法，其基本思想是将变量一个一个引入，引入的条件是其偏回归平方和经验是显著的。同时，每引入一个新变量后，对已入选回归模型的老变量逐个进行检验，将经检验认为不显著的变量删除，以保证所得自变量子集中每一个变量都是显著的。此过程经过若干步直到不能再引入新变量为止。这时回归模型中所有变量对因变量都是显著的。

逐步回归法选择变量的过程包含两个基本步骤：一是从回归模型中剔出经检验不显著的变量，二是引入新变量到回归模型中，常用的逐步型选元法有向前法和向后法。

向前法：向前法的思想是变量由少到多，每次增加一个，直至没有可引入的变量为止。具体步骤如下。

步骤1:对 p 个回归自变量 分别同因变量 Y 建立一元回归模型

计算变量 ，相应的回归系数的 F 检验统计量的值，记为 ，取其中的最大值 ，即

对给定的显著性水平 ，记相应的临界值为 ， ，则将 引入回归模型，记 为选入变量指标集合。

步骤2:建立因变量 Y 与自变量子集 的二元回归模型（即此回归模型的回归元为二元的），共有 个。计算变量的回归系数 F 检验的统计量值，记为 ，选其中最大者，记为 ，对应自变量脚标记为 ，即

。

对给定的显著性水平 ，记相应的临界值为 ， 则变量 引入回归模型。否则，终止变量引入过程。

步骤3:考虑因变量对变量子集 的回归重复步骤2。

依此方法重复进行，每次从未引入回归模型的自变量中选取一个，直到经检验没有变量引入为止。

向后法与向前法正好相反，它事先将全部自变量选入回归模型，然后逐个剔除对残差平方和贡献较小的自变量。

后退法：与前进法相反,开始时先拟合包含所有自变量的回归方程,并预先指定留在回归方程中而不被剔除的自变量的假设检验标准。然后按自变量对应变量Y的贡献大小从小到大进行检验,对无统计学意义的自变量依次剔除。每剔除一个自变量,都要重新计算并检验尚未被剔除自变量对应变量Y的贡献并决定是否剔除对模型贡献最小的自变量。重复上述过程,直到回归方程中的自变量均符合留在方程中的给定标准,没有自变量可被剔除为止。在整个过程中只考虑剔除自变量,自变量一旦被剔除,则不再考虑引入回归方程。

逐步回归分析的实施过程是每一步都要对已引入回归方程的变量计算其偏回归平方和（即贡献），然后选一个偏回归平方和最小的变量，在预先给定的水平下进行显著性检验，若显著则该变量不必从回归方程中剔除，这时方程中其他几个变量也都不需要剔除（因为其他几个变量的偏回归平方和都大于最小的一个更不需要剔除）。相反，如果不显著，则该变量需要剔除，然后按偏回归平方和由小到大地依次对方程中其他变量进行检验。将对影响不显著的变量全部剔除，保留的都是显著的。接着再对未引入回归方程中的变量分别计算其偏回归平方和，并选其中偏回归方程和最大的一个变量，同样在给定水平下作显著性检验，如果显著则将该变量引入回归方程，这一过程一直持续下去，直到在回归方程中的变量都不能剔除而又无新变量可以引入时为止，这时逐步回归过程结束。