台灣吳同學 @ 2009-11-13:
老師您好,我是台灣的學生,對您的統計解釋相當有興趣。最近我遇到了一個問題,我嘗試把他說清楚,希望您可以幫我解惑。
在我的logit model裡頭,有兩個類別變數，分別為性別與教育程度。其中,性別是男女二分變數(男=1,女=0),而教育程度則分為低,中,高三類(中=0).我的依變數是收入,分為低與高兩種(低=0).假設,我想探討性別與教育程度的交互作用(性別X教育程度),我的交互作用項只能把1.男X低教育和2.男X高教育放入模型中,請問我的交互作用項在這時候的參照類是什麼?是1.男X中教育? 還是2.女X中教育?
另外,也想知道要如何解讀交互作用項B和EXP(B)的意義。希望您能看得懂我的問題,謝謝!
庄主 @ 2009-11-15:
吴同学，从统计上来说你的问题并不难，但要解释清楚却简短不了，而且有点绕弯弯（所以提醒读者随手做些推算验证，以免绕不出来）。我把这类问题叫做technically simple but practical not trivial (技术上很容易但操作上不简单)，往往会被人疏忽或轻视，所以不容易找到答案。如你问的，实质上是一个“如何解读回归分析中交互项的系数？”的问题，对此我已写过好几个帖子（如“如何在回归分析中检验和解读交互影响？”）。但是，你由于下面谈到的若干误解而对这个问题产生困惑，也许已问过其他人或查过其它参考文献，但却不得而知。
我觉得你的困惑可能有三个来源混合而成：第一，你的因变量(dependent variable)不是收入本身、而是高收入与低收入之比例的对数，但无论你根据什么理由来如此构建因变量，你的问题与因变量性质无关，也就是说交互项的对照组问题在包括OLS、GLS、Logit、Probit、Logistic等等所有回归分析中是一样的。所以有关如何解读回归分析交互影响的文献（包括我自己的有关帖子）都是直接相关的。
第二，你的两个自变量都是nominal scale (名目变量) 而不是更常见的interval scale (等距变量)，而且你用了dummy coding（哑变量编码）方法，但你对这种编码的原理了解不够（很多人都有同样问题），所以无法将如何解读定距变量交互影响的文献转换成你的答案。
第三，也许是最重要的，是你将交互影响等同于main effects（主效应）影响了。此话怎讲？你知道一个名目自变量转换成哑变量之后，其回归系数描述的是该哑变量取值为1的“研究组”与取值为0的“对照组”之间在因变量Y的平均值上的差别。这种理解完全正确。但是，你将其推广到对交互项系数的理解上去了，所以会问该系数是跟哪个对照组在比较？
为了有助其他读者理解你的问题，我用以下公式来表述你的回归模型：
Y = b0 + b1M + b2H + b3L + b4MH + b5ML (1)
其中，Y是因变量的平均值（注意：为了写作方便，本文没有按惯例在Y上加一横杆来代表平均值），M是性别（因为Male=1，所以命名为M），H是高教育程度（High），L是低教育程度（Low），MH是你说的“男X高教育”的交互项，ML是“男X低教育”的交互项。b0是在性别和教育两个变量中同时担任对照组（即同时取值为0）的FM（女性中等教育）组的均值，b1是男女差别（即性别的主效应，注意：这句话在有交互影响条件下有问题的，见后面的简单讨论）、b2是高教育与中教育的差别（高教育主效应，注意：这句话在有交互影响条件下也是有问题的，见后面的简单讨论）、b3是低教育与中教育的差别（低教育主效应）、b4是性别与高教育的交互影响、b5是性别与低教育的交互影响。
上面这段话中，大都分都是常识，唯一需要加以讨论的是什么叫做“性别与高（或低）教育的交互影响”。以b4为例，它反映的是“性别对高等-中等教育程度之间差别的影响”、或倒过来说，是“高教育对男女之间差别的影响”（这两种说法是等价的）。也就是说，b4描述的是高和中教育组之间的差别大小、在男性和女性之间是否相同；或者，男女之差的差别大小在高和中两组之间是否相同。这个意思，中文里说确实有点绕弯弯，用英文表述则相当清楚: b4 indicates whether the difference between the highly-educated and moderately educated groups is constant (uniform, equivalent, invariant, etc.) for men and women, respectively; or whether the difference between men and women is constant (…) for highly educated and moderately educated people, respectively.
这是问题的核心：主效应系数（b1-b3）反映的是组间差别，所以有研究组和对照组；但是交互项系数（b4-b5）反映的是组间差别的差别（difference between diffrences between groups, or difference between group-differences)，所以没有主效应系数意义上的对照组。也就是说，b4或b5反映的不是两个组之间是否有差别，而是两个组间差别之间是否有差别，所以不需要有、也不可能只有一个对照组。
问题解决了吗？应该还没有。我希望大家能够记住两句话：一、交互项系数反映的是交互影响而不是组间差别（即“交互影响不等于组间差别”）；二、组间差别又是与（显著的）交互影响直接有关的。为了说明第二句话，我们来看看在交互项显著的条件下组间差别是如何计算的。我们可以根据模型1，写出计算你的六个组（= 2个性别组 x 3个教育组）的平均值Y的公式：（请大家拿出纸和笔来，将0和1值分别代入模型1，以复核实下述公式。光看不练，也许越看越迷糊。）
| 男高(MH): | YMH=b0 + b1x1 + b2x1 + b3x0 + b4x1x1 + b5x1x0 = b0 + b1 + b2 + b4 | (2) |
| 男中(MM): | YMM=b0 + b1x1 + b2x0 + b3x0 + b4x1x0 + b5x1x0 = b0 + b1 | (3) |
| 男低(ML): | YML=b0 + b1x1 + b2x0 + b3x1 + b4x1x0 + b5x1x1 = b0 + b1 + b3 + b5 | (4) |
| 女高(FH): | YFH=b0 + b1x0 + b2x1 + b3x0 + b4x0x1 + b5x0x0 = b0 + b2 | (5) |
| 女中(FM): | YFM=b0 + b1x0 + b2x0 + b3x0 + b4x0x0 + b5x0x0 = b0 | (6) |
| 女低(FL): | YFL=b0 + b1x0 + b2x0 + b3x1 + b4x0x0 + b5x0x1 = b0 + b3 | (7) |
模型2-7告诉我们如何计算六个组的平均值。为了便于计算它们之间的差别（更重要的是洞察它们之间的结构性关系），我们将模型2-7按以下方式重新安排一下：
表一、性别与教育程度交叉组的回归系数比较
| M（男性） | F（女性） | |
| H（高教育） | b0 + b1 + b2 + b4 (2) | b0 + b2 (5) |
| M（中教育） | b0 + b1 (3) | b0 (6) |
| L（低教育） | b0 + b1 + b3 + b5 (4) | b0 + b3 (7) |
根据表一，我们可以很轻松地（目测）算出各组的差别。基于共有六组，共有 6 x 5 / 2 = 15对组组比较，我们用以下的矩阵形式来表示，以省些空间：
表二、组间差别之计算方法
| MH | MM | ML | FH | FM | |
| MM | b2+b4 | ||||
| ML | b2+b4–b3-b5 | -b3-b5 | |||
| FH | b1+b4 | b1–b2 | b1+b3+b5-b2 | ||
| FM | b1+b2+b4 | b1 | b1+b3+b5 | b2 | |
| FL | b1+b2+b4-b3 | b1-b3 | b1+b5 | b2-b3 | -b3 |
| |||||
由表二可知，只有三对组间差别是直接由回归系数告知的 (MM - FM = b1, FH – FM = b2, FM – FL = –b3；注意，这里的b1只反映中等教育程度上男女之间的差别、而不是所有教育程度上的男女差别；b2和b3只反映女性中不同教育程度的差别、而不是所有人中不同教育程度的差别，这就是我前面提到的对主效应系数的一般解释“在有交互影响条件下有问题的”的原因)，而且三者均只涉及主效应系数。另有两对组间差别是由两个主效应系数的组合而成 (MM – FL = b1 – b3, FH – FL = b2 – b3)。其它10对组间差别均涉及主效应和交互项系数的组合。其中尤其是MH - MM的差别，需要同时用到b4和b5两个交互项系数。
这个练习说明什么？既说明交互项系数不等于组间差别、又说明（大部分）组间差别与交互项系数有关系。具体说来，这种“关系”，是附加在主效应系数的基础上产生的，也就是说交互项系数是对一对主效应关系的adjustment（调整）。其调整程度（微调或巨调）则有b4或b5取值决定。
现在，问题解决了吗？也许有些读者还是有点迷糊，觉得名目变量交互分析好麻烦。对的，这就是我一开始说的“技术上容易操作上难”的道理。推而广之，凡涉及名目变量的多元分析（如loglinear modeling、multinomial logistic regression、等等），没有一样不是技术上容易操作上难的。大家要有充分的心理准备。
在本例中，将问题变得相对简单（或容易？）一些的一种方法是不用哑变量编码、而用effects coding（效应编码？）或 contrast coding（配对编码？）。前者用+1定义研究组、-1定义对照组；后者则按一定的限定条件（恕不赘言）来设定任意两组或两集合组（如本例中高教育对中低教育）的比较。由两个效应编码变量构成的交互项反映了在该两个变量上取值为+1的研究组与所有组的（未加权）均值（虽然不一定等于样本均值、但接近“平均”的意思）之差别（如在本例中，可以是男性高教程度与样本“平均”的差别）；由两个配对编码变量构成的交互项则反映了被特定配对的两组或两集合组之间的差别（在这种条件下，交互项系数可以等于组间差别了）。当然，这两种编码（尤其是后者）比哑变量编码在操作上复杂很多、但好处是解读时简单。如果有意学习（或者经常要做）名目变量多元分析的读者，应该花时间分别学一下。（当然，必须说明，不够使用哪种编码方法，交互项的显著性结果是完全一样的。它们的差别只存在于SPSS或其它统计程序输出结果中的系数值，而不同的系数值都是可以互相换算的。）
结束前，为完整起见，需要说明，这里虽然只讨论两个名目变量之间的交互项，其原则可以直接推广到三个或更多个名目变量之间的交互项。
最后，你问如何解读“交互作用項B和EXP(B)”，上面已经讨论了b4-b5的解读。Exp(b)的解读与其相仿，唯一区别在于后者的临界点为1而前者为0，如Exp(b4) > 1或Exp(b5) > 1 反映教育程度的差别在男性中大于女性；相反，如Exp(b4) < 1或Exp(b5) < 1则反映教育程度的差别在男性中小于女性。
Posts
