如何区分协方差分析与半偏差相关分析的差别？

zshtom007 @ 2011-08-22:

庄主你好，想请教下协方差分析（ANCOVA）和半偏相关分析（semi-partial correlation）的差异，谢谢！

庄主 @ 2011-08-23:

ANCOVA是一种检验多个自变量（分别为定类水平和定距水平）对一个因变量（定距水平）影响的方法、其结果体现为一系列的F-值以及相应的df值、p-值；semi-partial correlation是在扣除了其他（定距水平）自变量的影响之后、一个自变量与一个因变量（均为定距水平）之间的相关系数（即一个统计量）。因此，两者不是直接可比的。请进一步说明你的变量或模型，以便我理解你到底想问什么？

zshtom007 @ 2011-09-12:

谢谢庄主回答。我想问的是，ANCOVA的思想是控制掉covariate对因变量的影响后，考察其它自变量对因变量的影响。可以有方差解释百分比的指标。而semi-partial correlation的思想也是控制掉某一自变量对因变量的影响后，求另外一个因变量和自变量的相关系数，也可有与以上方差解释百分比对应的r-square指标。

我是想问着这种控制covariate的思想之间有什么差别？

庄主 @ 2011-09-24:

终于明白你的问题。你问的其实就是ANOVA(Analysis of Variance，方差分析)与回归分析的异同。我曾在几个前贴里提到过，方差分析是心理学、教育学的主打武器，而后者则是社会学、政治学等学科的基本工具，但是两者的数学基础相同、估算结果也一样。

不错，你问的是ANCOVA(Analysis of Covariance，协方差)，但它只是方差分析从只含定类水平的自变量到也容许定距水平的自变量（习惯上被叫为covariate或协变量）的扩展而已。经典的回归分析只含定距水平的自变量，但通过将定类变量转换成dummy或哑变量，回归分析也可以同时包含定距和定类的自变量。因此，协方差分析和回归分析所能解决的分析问题及其结构完全一样：检验一组定距或定类的自变量对一个定距水平的因变量的联合和独立影响。

先说多个自变量对一个因变量的联合影响。这种影响在方差（或协方差）分析中是通过分解Sum of Squares（离差总和）的来源而实现的，即将离差总和分解成由自变量造成（组间离差）和由误差造成（组内离差）两部分，前者除以离差总和即为自变量的联合影响（即你说的“方差解释百分比”）。而在回归分析里，自变量的联合影响是直接通过回归模型的R²来反映的，但事实上R²也是通过计算被解释的离差除以总离差而得知的。所以，尽管方差分析与回归分析使用的术语不同，两者检验自变量的联合影响的方法及其结果是完全一样的。

再说各个自变量对一个因变量的独立影响。你肯定知道，如果各个自变量之间没有任何相关关系（如控制实验的数据一般如此），那么它们对因变量的影响一定是独立的；而这些独立影响之和，就是上面讲的联合影响。但是，观测而得的自变量（包括实验中的协变量）之间通常是有相关关系的，所以就产生了在自变量之间存在相关关系的条件下，如何计算各自的独立影响的问题。可以说，这是数据分析中最常见也是最容易令人迷惑的问题之一。其纠结之处在于以如何扣除（即“控制”）其它自变量的干扰影响？方差分析和回归分析两个阵营内，各有好几种看法，区别都在于把哪些离差放进计算公式到分子里、哪些离差放进分母。我无意在此一一叙述，否则只会将大家弄得更加迷惑，而只讨论一下你提到的回归分析中的semipartial correlation（半偏差相关系数）。这是我知道的各种计算独立影响指标中最“干净”或最保守的指标。简单说来，它的平方值描述了因变量的离差中纯粹来自某自变量的部分（即既独立于该自变量与其它自变量的相关关系、也独立于该因变量与其它自变量的相关关系），因此，它的值小于任何其它相似指标（如partial correlation）。

协方差分析一般会报告partial eta squared，它的根号值与回归中partial correlation相等，但与semipartial correlation有所不同。如果你需要知道后者，可以根据协方差分析的结果手工计算，当然更省事的方法是放到回归分析里去计算。