收集数据

第 3 章 · 收集数据

样本、实验与偏差

数据能告诉你什么,取决于数据是如何收集的。好的样本能让你代表整个总体发言;好的实验能让你说明因果关系。

图中是一所有 200 名学生的学校,每人一个小球。深色的是有驾照的学生:共 87 人,占比 0.435。做调查的人并不知道这个数,只能询问一个样本。

计算机随机抽取 20 名学生(红色),他们中有驾照的比例 p̂ 落到点图上。每个样本的结果都不同,但这些结果会聚集在真实值附近。

本章讲的是如何获得可信的数据:如何选择测量对象,样本可能在哪些地方出错,如何设计实验,以及每种研究能得出哪些结论。

3.1 · 统计学简介

我们收集的数据说的是真话吗?

数据是有变异的。从同一总体中抽取的两个随机样本会给出不同的结果,而统计学就是研究这种变异的学问。

40 个容量为 20 的样本,得到的 p̂ 值从 0.25 到 0.60 不等。没有哪个样本做错了:这就是抽样变异性,即随机样本的偶然变异。这些值以 0.434 为中心,接近真实值 0.435,它们的标准差为 0.107。

所以,一个样本的结果只是估计值,不是真相。相信一个数之前,先问问它是怎么得到的:

前两个问题是本章的内容。最后一个是本课程其余部分的内容:结果是否大于随机变异可能产生的程度。

3.2 · 研究设计导论

总体、样本与普查

总体是你想了解的整个群体。样本是你实际测量的那一部分。

要准确说明总体:“本校全部 200 名学生”,而不是“青少年”。结论只能推广到被抽样的那个总体。

普查测量总体中的每一个成员。对一所学校来说可以做到;对一个国家来说既慢又贵,对有些问题甚至不可能(把每个灯泡都测到烧坏,就没有可卖的了)。选得好的样本更便宜、更快,通常也足够好。

参数是描述总体的数;统计量描述样本,用来估计参数:

参数通常未知且固定;统计量已知,并随样本而变。比例用 p 和 p̂;均值用 μ 和 x̄。

推广。只有当样本是从该总体中随机抽取的,结果才能从样本推广到总体。随手找来的人的数据,只能描述这些人。

3.2 · 观察性研究与实验

只观察,或动手干预

观察性研究记录研究对象已有的行为,不做任何改变。实验则有意施加一种处理,并测量响应。

考试前喝咖啡有帮助吗?同样的 24 名学生被分了两次组。深色小球表示睡眠 8 小时或以上。

上图:观察性研究。学生自己选择。疲倦的学生会去喝咖啡,所以咖啡组 12 人中有 3 人休息充足,另一组 12 人中有 9 人。如果两组成绩不同,是咖啡的作用还是睡眠的作用?我们无法判断。

睡眠是一个混杂变量:它与解释变量(咖啡)相关,又影响响应变量(成绩),所以这两种影响无法分开。

下图:实验。由随机洗牌决定分组,睡眠没有发言权:两组休息充足的分别有 7 人和 5 人。随机分配往往能使其他所有变量在各组之间保持平衡,无论是你知道的还是不知道的变量。

因此,观察性研究可以显示关联,但永远不能证明因果关系。回顾性研究查看过去的记录;前瞻性研究则向前跟踪研究对象,并边进行边记录。抽样调查也是观察性研究。

全章的规则:要推广到总体,需要随机抽样;要得出因果结论,需要随机分配。

3.3 · 随机抽样与数据收集

简单随机样本

容量为 n 的简单随机样本(SRS)的抽取方式,使总体中每一组 n 个个体成为样本的机会都相同。

使用随机数表:

1. 编号:给每名学生一个不同的三位数编号,从 001 到 200。
2. 读取:每次读三位数字。
3. 跳过 000、大于 200 的数以及重复的数,直到选出 20 名学生。

最先选出的 7 名学生是 149, 048, 179, 026, 028, 064, 131。沿着随机数表继续读下去,115 组三位数字就能选出全部 20 名。这个样本中 20 人里有 9 人有驾照:p̂ = 0.45。

使用随机数生成器:生成 1 到 200 的整数,忽略重复的数,直到得到 20 个。或者把每个名字写在相同的纸条上,在帽子里充分混合后抽取 20 张。

对人的抽样是不放回的:一名学生一旦被选中,就不能再被选。有放回抽样则把每个人放回去,所以可能被抽到两次。

在简单随机样本中,每名学生被选中的概率是 n/N = 20/200 = 0.1。不过,个体机会均等还不够:下一页的方法让每名学生有相同的 0.1,但并非每一组 20 人都可能成为样本。

3.3 · 分层抽样、整群抽样和系统抽样

随机,一步一步来

其他随机方法分阶段利用随机性。每种方法都可能比简单随机样本(SRS)成本更低,或更精确。

分层随机抽样。把总体分成由相似个体组成的若干组,即层;从每层各抽取一个 SRS,再合在一起。这里的层就是年级,每个年级抽 5 名学生。

层内个体应相似,层与层之间应有差异,这里的年级就是如此。这样每个年级都能在样本中占到应有的份额,估计值在不同样本间的变化也比同样大小的 SRS 更小。这个样本得到 p̂ = 0.35。

整群抽样。把总体分成若干组,通常按位置划分(教室、街道、箱子):即群。随机选出几个群,对其中的每个个体都调查。这里从 25 个班会小组中选了 3 个,其中的 24 名学生全部调查:p̂ = 0.417。当每个群内部都很混杂、像总体的缩小版时,整群抽样效果最好;它的好处是成本低,每个群只需走访一次。

不要混淆:分层抽样是从每一层中抽一部分;整群抽样是从部分群中抽全部。

系统随机抽样。在名单上每隔 k 个取一个个体,起点在前 k 个中随机选取。这里 k = 200/20 = 10,起点是 8:第 8, 18, 28、……、198 号学生,得到 p̂ = 0.35。这种方法很快捷,只要名单没有每隔 k 位就重复的规律,就没有问题。

3.4 · 抽样中可能出现的问题

偏差的种类

如果一种抽样方法系统性地偏向某些结果,它就是有偏的:在多次抽样中,它的统计量总是朝同一方向偏离参数。

学校门户网站只列出 10 到 12 年级,9 年级还没有在上面。实际抽取样本所依据的名单叫抽样框,总体中有一部分不在其中,就是覆盖不足。在这份名单上,150 人中有 85 人有驾照,即 0.567,而全校是 0.435,所以由它抽出的样本会高估这个比例。

无回答是指被选中的人却不回答;自愿回答是指从未被选中的人却自己来回答。

考试时,要指出是哪种偏差,说明它在这个情境中如何产生,并说明它使估计值偏向哪个方向、为什么。

3.4 · 偏差与变异性

偏离目标,以及分散

偏差和变异性是两种不同的缺陷。偏差是方法的缺陷;抽样变异性则是每个随机样本都有的。

每种方法抽取四十个样本,参数 p = 0.435,以蓝色表示:

上图:以 p 为中心:无偏,但结果分散。中图(红色):从门户名单中抽取,中心在 0.60 附近。每个样本都向同一方向偏离,这就是偏差。下图:样本量为 80,中心在 p,离散程度不到样本量为 20 时的一半。

更大的随机样本能降低变异性,但对偏差毫无作用:从门户名单中抽取 80 名学生,中心照样在 0.567 附近,只是更集中。消除偏差要靠更好的方法;减小变异性要靠更大的样本。

一个常见错误:“样本太小,所以有偏差”。小的随机样本是变异大,而不是有偏差。

3.5 · 实验设计导论

实验单元、处理、因子与响应变量

实验是有意对研究对象施加某种处理,并测量他们的反应。

咖啡因能加快反应速度吗?24 名志愿者各服下一粒药丸,等待一段时间,然后在灯亮时按一下按键。

有两个因素时,处理就是各水平的组合:咖啡因(有、无)与睡眠(4 h、8 h)会产生 2 × 2 = 4 种处理。

志愿者被随机打乱,分成两组,每组 12 人:这是完全随机设计。对照组服用安慰剂;它显示没有处理时会发生什么。平均反应时间:咖啡因组 235.1 ms,安慰剂组 260.8 ms。

这些志愿者并不是从任何总体中随机抽取的:实验几乎总是使用愿意参加的人。这限制了结果可推广的范围(3.7)。

3.5 · 实验设计的原则

比较、随机分配、控制、重复

一个设计良好的实验基于四条原则。

1. 比较。至少有两种处理,或一种处理加一个对照组。没有不服咖啡因时的反应时间,服用后的反应时间就说明不了什么。

2. 随机分配。靠随机方式把实验单位分配到各处理。它使影响响应的其他变量(睡眠、年龄、练习)在各组之间保持均衡,因此剩下的差异要么来自处理,要么来自随机性,而不是混杂。

3. 控制。让每个单位的其他条件都保持相同:相同的时间段、相同的屏幕、相同的说明。这样可以消除变异和混杂的来源。

4. 重复。每组有足够多的单位,使组间的随机差异趋于相互抵消。每组只有一名志愿者,什么结果都可能出现。

安慰剂与盲法。人们只要被“处理”就会有反应:这就是安慰剂效应。安慰剂是外观与真正处理相同的假处理,使两组的期望一致。在单盲实验中,受试者(或测量者)不知道谁接受了哪种处理;在双盲实验中,两者都不知道。

描述随机分配(常见的考试题):把志愿者编号为 1 到 24,将号码写在相同的纸条上,放进帽子里混匀,抽出 12 张;这些人服用咖啡因,其余的服用安慰剂。要说明怎么做、用什么做,以及谁得到哪种处理。

3.6 · 选择实验设计

完全随机设计与随机区组设计

完全随机设计把所有单位随机分配到各处理。随机区组设计先把相似的单位分入区组,再在每个区组内随机分配。

经常喝咖啡的人可能对再多一剂几乎没有反应。如果碰巧他们大多落在咖啡因组,效果就会显得更小。所以按咖啡习惯分区组:

每个区组都是一个小的完全随机实验,处理在每个区组内部进行比较。由咖啡习惯引起的变异被排除在比较之外,因此处理效应的估计更精确。

应按你预期会影响响应的变量分区组。区组之于实验,就像分层之于抽样:先把相似的单位分组,再在每组内部使用随机性。区组在随机分配之前形成,而且区组不是处理。

“能控制的要控制,不能控制的分区组,其余的随机化。”

3.6 · 配对设计

两个一组的区组

配对设计是在非常相似的单位配成的对子上比较两种处理,或让同一个单位接受两种处理。

这里 12 名志愿者各测试两次,分别在不同的日子服用一种药丸后进行。由抛硬币决定顺序:7 人先服咖啡因,5 人先服安慰剂。人们会因练习而变快,所以固定顺序会把咖啡因的效应和练习的效应混在一起;随机化顺序可以使二者得到平衡。

分析使用的是差值,即安慰剂减去咖啡因,每位志愿者一个:均值 11.2 ms,标准差 14.7 ms。每位志愿者都充当自己的对照,所以人与人之间反应时间的巨大差异就被消除了。

配对也可以是两个匹配得很接近的单位:双胞胎、一块地的两半、两个分数相同的学生。这时由抛硬币决定对子中哪一个接受哪种处理。

3.7 · 推断与实验

这个差异在统计上显著吗?

如果处理组之间的差异大到不能合理地仅用随机分配的偶然性来解释,这个差异就是统计显著的。

在咖啡因实验中(3.5):

即使咖啡因毫无作用,两组各 12 人也会有一点差异,这取决于谁碰巧被分到哪一组。差异有多大?假设每位志愿者无论服哪种药丸,反应时间都相同。把这 24 个时间重新随机分成两组,每组 12 个,再求均值之差。重复 100 次。

仅凭偶然,得到的差异从 -25.2 到 19.7 ms,中心接近 0;在 100 次中有 none 次与 25.7 ms 一样大。所以这么大的差异仅由偶然产生的可能性很小:它在统计上显著,并为咖啡因能缩短与这些志愿者类似的人的反应时间提供了有说服力的证据。

显著的意思是“不太可能是偶然”,而不是“大”或“重要”。而差异不显著,也不能说明处理没有效果;可能只是研究规模太小,看不出来。

3.7 · 推断的范围

研究设计允许你得出什么结论

随机抽样让你能推广到样本所来自的总体。随机分配让你能得出因果结论。二者各司其职。

咖啡因实验(亮色):志愿者,随机分配。咖啡因导致了更快的反应,但只适用于与这些志愿者类似的人。

驾照调查:全校的简单随机样本,不施加处理。样本的比例估计全校的比例;与因果无关。

让学生自己选择的咖啡研究(3.2):两者都没有。它只显示这些学生中存在关联,而睡眠可能解释这种关联。

常见错误:声称对志愿者做的随机实验适用于所有人;声称一项大型随机调查能得出因果关系。大样本不能代替随机分配,随机分配也不能代替随机抽样。