给SSCI期刊投稿应该先投后改还是先改后投？

P @ 2009-08-20:

您怎么看下面两位SCI/SSCI期刊审稿人的对话？有人也建议过我先送出去审，拿到意见再修改。

甲：投稿又撤稿，特别是给出修改建议之后再撤稿，有点不厚道。我遇到很多次，写的审稿意见不比文章短，从字词到如何布局，那些内容如何做，都写到审稿意见里。善意地给了revise & resubmit的意见。实际上，按照标准，reject一句话就是了。可是，过几个月后发现发表在另外一个杂志上。这种做法可以理解，但是不厚道，至少应该想办法感谢审稿人。

乙：我审稿也通常善意地给revise & resubmit的意见，很累，有些投稿者把审稿人当成论文加工把关人，不厚道。于是也慢慢的拒绝审一些稿件，或者直接reject。

庄主 @ 2009-08-22：

我看了之后的第一个感觉就是我们有些同胞真聪明，知道如何玩这个游戏！但是事实上，将草草急就章的文章投出去，往往拿不到什么真正有价值的反馈。上面乙某说的就是一例。我亦是如此。刚开始做审稿人时，不分良莠，每篇文章都写较详尽的修改意见。记得最多一次密密麻麻用单行写了5页，应该有3000字吧（但跟别人相比，还不算很长，下面引述的研究中最长的意见有6000多字呢）。但后来慢慢地就变得区别对待了，仍然愿意给“好”文章（不仅理论和方法好，而且写得通顺）提建设性意见、而对“差”文章（或者理论/方法差，或者写作差、包括完全不顾APA style规则的，），则草草几句“锯”了。

前不久读了Russell Neuman等人在JOC上发表的“传播研究中的七宗罪”一文，得知上述乙某和我的做法确实是大部分审稿人的习惯。Newman等分析了JOC的审稿人给100余篇投稿（包括采纳和拒绝的）写的具体意见，其中表四（见左）的数据展现的是审稿人对每篇来稿定的“罪名”数目。粗粗一看，被拒绝的稿件（白条）的罪名数少于被发表的稿件（黑条），如被发表的文章每篇平均有16条“表述不清”的罪名而被拒绝的文章每篇则有7条此类罪名。但是，这并不说明被拒的文章写得更好。恰恰相反，那些文字是too bad to be rescued（朽木不可雕），审稿人懒得多费心思。

Neuman等还做了一个多元回归分析，发现审稿人给每篇投稿写的意见长短是预测该文是否被采纳的重要指标之一。具体而言，意见每多1000字，有关文章的发表率就提高9%！所以，当你收到投稿的反馈时，如果是数十的批评，应该暗暗庆幸，该文很有希望。

以下是Neuman等的原文(下划线是我加的)：

“We find a dramatically larger number of negative comments on average for accepted papers, especially on the dimensions of clarity, methodology, and completeness. On closer examination, it turns out to make sense in terms of the psychology of the hard-working volunteers called upon to provide the reviews. If the overall importance and theoretical integration of a submission is weak, the reviewers simply do not bother to spend a lot of time with constructive but negative comments on such things as clarifying an argument and strengthening the methodological presentation. On papers likely to be published, reviewers may go to greater length to indicate how the authors might be more complete and clear in their presentation.” (p. 229)

“This appears to be the academic journal review equivalent to the hoped-for thick envelope from a favored college to which one has applied—the more the reviewers say, positive and negative, the more interest in the submitted paper. So we examined the cross-tabulation of the total number of reviewer words and the likelihood of publication and ran a rudimentary linear least squares and determined that roughly for every additional 1,000 words of reviewer comments (including all dimensions), one’s chance of acceptance increases approximately 9%.” (p. 229).

Reference

Neuman, W. R., Davidson, W., Joo, S. H., Park, Y. J., & Williams, A. E. (2008). The seven deadly sins of communication research. Journal of Communication, 58, 220–237.

如何解读这个调查报告？

ANY @ 2009-08-19:

今年XX单位做了一个YY方面的调查，报告出炉后争议很大。我呢，虽没参与争议之中，因专业之故，很是关注。就我个人意见，我非常不理研究者组使用RDD法抽取了647人来代表全体北京人口，给各媒体排名。我极其质疑它使用的抽样技术。我认为非概率抽样中的配额抽样可能更适合做这个调查。

庄主 @ 2009-08-20 答: 我没看到那个报告。请进一步说明清楚，你质疑的是样本量太小、还是RDD（随机电话号码抽样）原则、或者其它问题？

你建议用配额抽样，我可以肯定地说配额抽样一定不适合。

ANY问：

我首先质疑的是调查组的抽样方法。我和研究者联系，希望得到更多细节，比如是随机拨号法，还是集群拨号法，但无法得到。 刚巧收到了回复，说：“抽样方法采用的是RDD，先通过不等概抽样（pps）确定前面四位局号，后面四位是随机选号（北京电话号码是8位），抽样是座机。”在此之前的争议中，有人怀疑的是647个样本来代表2000多万北京人的代表性。

庄主答：

你的怀疑和批判精神值得提倡。当然，如果对抽样基本原理有比较清楚的理解，则可以避免在怀疑和批判时犯常识性错误。

第一、样本大小涉及的是调查结果的精确度问题、而与代表性无关。样本越大、结果越精确，反之亦然。精确度有公式可以计算，即抽样误差。当N = 647而可信度 = 95%时，抽样误差 = ±3.8%。这个精确度是否足够？答案取决于具体的研究问题。如果被排序的两个媒体之间相差8%或更大，那么它们的高低是可靠的；反之则不然。

第二、抽样误差与总体大小无关。所以无论北京人口是2千万还是2亿，样本为647的抽样误差大小是不变的。

第三、样本的代表性取决于抽样是否随机、而与样本大小无关。如果一个非随机样本N=10000，虽然其抽样误差 < ±1.0%，但仍然没有代表性。一个没有代表性的大样本比一个精确度低的小样本更无价值。

ANY问：如果是抽取座机号码的话，我现在也高度怀疑样本的代表性。因为有很多在北京的人，终其一生不用座机。据经验推测的话，许多有北京户口的人也不见得使用座机。而上一次人口普查是把大量北漂计入了北京人口的。把大量无座机电话的人排除在总体之外，这意味着什么呢？而这是为什么我觉得配额抽样更好的缘故。

庄主答：

同意。如果上述调查的RDD是严格执行的话，那么其代表的是北京有座机的家庭人口。也就是说，该调查的Study Population（研究总体）是北京有座机的家庭人口、而不是北京所有家庭人口。研究者在报告时应该说明这一点。当然，研究总体限于“北京有座机的家庭人口”的一个调查是否有价值，即取决于其与北京所有家庭人口之比（你知道到底有多少人被排除之外的吗？）、也取决于研究目的。如果有关媒体（或广告商）更关心有座机家庭人口，那么也是无可非议的。商业调查毕竟不是民意测量。

配额抽样不是随机抽样，调查结果毫无价值。现在考考你：为什么配额不是随机抽样？

ANY问：

研究者用盖洛普1932年用1000个样本代表美国人预测了总统选举来证明其647人样本有代表性。我觉得这是个外行的支持。

庄主答：

你觉得我上面的回答是否已经解决了这个问题？如无，我再啰嗦几句。

ANY问：

问卷是看不到的。我个人看法，即使是RDD法，考虑分众化和个人媒介使用的多样性，问卷设计应当是一套很复杂的问卷。

庄主答：

抽样、问卷设计和调查（即问答过程）代表了每项调查的三个主要误差来源：抽样误差、工具误差和测量误差。每一项都要小心处理，并应在报告（或技术附件中）详细透露。如抽样方法、问卷原文、调查过程（尤其是最后一步的个人是如何被抽取的），以便读者对其研究结果的质量作出自己的判断。

ANY问：

我的问题纯出于专业上的兴趣。我非常想弄清楚这个问题。再次感谢您！

庄主答：

我是出于同样的原因而回答你的问题。