如何解读这个调查报告？

ANY @ 2009-08-19:

今年XX单位做了一个YY方面的调查，报告出炉后争议很大。我呢，虽没参与争议之中，因专业之故，很是关注。就我个人意见，我非常不理研究者组使用RDD法抽取了647人来代表全体北京人口，给各媒体排名。我极其质疑它使用的抽样技术。我认为非概率抽样中的配额抽样可能更适合做这个调查。

庄主 @ 2009-08-20 答: 我没看到那个报告。请进一步说明清楚，你质疑的是样本量太小、还是RDD（随机电话号码抽样）原则、或者其它问题？

你建议用配额抽样，我可以肯定地说配额抽样一定不适合。

ANY问：

我首先质疑的是调查组的抽样方法。我和研究者联系，希望得到更多细节，比如是随机拨号法，还是集群拨号法，但无法得到。 刚巧收到了回复，说：“抽样方法采用的是RDD，先通过不等概抽样（pps）确定前面四位局号，后面四位是随机选号（北京电话号码是8位），抽样是座机。”在此之前的争议中，有人怀疑的是647个样本来代表2000多万北京人的代表性。

庄主答：

你的怀疑和批判精神值得提倡。当然，如果对抽样基本原理有比较清楚的理解，则可以避免在怀疑和批判时犯常识性错误。

第一、样本大小涉及的是调查结果的精确度问题、而与代表性无关。样本越大、结果越精确，反之亦然。精确度有公式可以计算，即抽样误差。当N = 647而可信度 = 95%时，抽样误差 = ±3.8%。这个精确度是否足够？答案取决于具体的研究问题。如果被排序的两个媒体之间相差8%或更大，那么它们的高低是可靠的；反之则不然。

第二、抽样误差与总体大小无关。所以无论北京人口是2千万还是2亿，样本为647的抽样误差大小是不变的。

第三、样本的代表性取决于抽样是否随机、而与样本大小无关。如果一个非随机样本N=10000，虽然其抽样误差 < ±1.0%，但仍然没有代表性。一个没有代表性的大样本比一个精确度低的小样本更无价值。

ANY问：如果是抽取座机号码的话，我现在也高度怀疑样本的代表性。因为有很多在北京的人，终其一生不用座机。据经验推测的话，许多有北京户口的人也不见得使用座机。而上一次人口普查是把大量北漂计入了北京人口的。把大量无座机电话的人排除在总体之外，这意味着什么呢？而这是为什么我觉得配额抽样更好的缘故。

庄主答：

同意。如果上述调查的RDD是严格执行的话，那么其代表的是北京有座机的家庭人口。也就是说，该调查的Study Population（研究总体）是北京有座机的家庭人口、而不是北京所有家庭人口。研究者在报告时应该说明这一点。当然，研究总体限于“北京有座机的家庭人口”的一个调查是否有价值，即取决于其与北京所有家庭人口之比（你知道到底有多少人被排除之外的吗？）、也取决于研究目的。如果有关媒体（或广告商）更关心有座机家庭人口，那么也是无可非议的。商业调查毕竟不是民意测量。

配额抽样不是随机抽样，调查结果毫无价值。现在考考你：为什么配额不是随机抽样？

ANY问：

研究者用盖洛普1932年用1000个样本代表美国人预测了总统选举来证明其647人样本有代表性。我觉得这是个外行的支持。

庄主答：

你觉得我上面的回答是否已经解决了这个问题？如无，我再啰嗦几句。

ANY问：

问卷是看不到的。我个人看法，即使是RDD法，考虑分众化和个人媒介使用的多样性，问卷设计应当是一套很复杂的问卷。

庄主答：

抽样、问卷设计和调查（即问答过程）代表了每项调查的三个主要误差来源：抽样误差、工具误差和测量误差。每一项都要小心处理，并应在报告（或技术附件中）详细透露。如抽样方法、问卷原文、调查过程（尤其是最后一步的个人是如何被抽取的），以便读者对其研究结果的质量作出自己的判断。

ANY问：

我的问题纯出于专业上的兴趣。我非常想弄清楚这个问题。再次感谢您！

庄主答：

我是出于同样的原因而回答你的问题。