比例的推断

第 6 章 · 比例的推断

p 的区间估计与检验

样本比例用来估计总体比例。推断则说明我们能在多大程度上信任它。

图中,从一座城市中随机抽取 50 个样本,每个样本含 500 名成年人,该市支持新建自行车道的比例为 p = 0.60。图中已知 p,而真实的调查永远无从得知。

每个样本给出自己的 p̂(圆点),以及围绕它的 95% 置信区间(线段)。竖线表示 p。50 个区间中有 47 个覆盖了它;3 个以红色标出,没有覆盖。

本章先构建这些区间,并说明“95% 的置信度”指什么、不指什么。然后换个角度:显著性检验要问的是,如果所声称的 p 值成立,这个样本是否令人意外,以及这一决策可能犯哪些错误。最后,把同样两种工具用于两个比例之差。

6.1 · 为什么是正态?

p̂ 的抽样分布

样本比例随样本不同而变化。当样本足够大时,它们的分布近似正态,因此可以用正态模型判断哪些结果不寻常。

图中,从 p = 0.1 的总体中随机抽样,每个样本的 p̂ 落入直方图:左边样本量为 20,右边为 200。红色曲线是正态模型。

p̂ 以 p 为中心:它是无偏估计量。其离散程度随 n 增大而缩小:n = 20 时 σ 为 0.067,n = 200 时为 0.021。样本量变为 10 倍,离散程度缩小为原来的 1/√10。

大计数条件。当 np ≥ 10 且 n(1 − p) ≥ 10 时,分布形状近似正态。n = 20 时,np = 2:直方图右偏并堆积在 0 附近,正态曲线有 6.8% 的面积落在 0 以下,而 p̂ 不可能取到那里。n = 200 时,np = 20,n(1 − p) = 180:曲线拟合良好。

10% 条件。σ 的公式假定各观测相互独立。不放回抽样时,只要样本不超过总体的 10%,这一点就近似成立。

例。n = 200 时,p̂ ≥ 0.15 的可能性有多大?z = (0.15 − 0.1)/0.0212 = 2.36,P(Z ≥ 2.36) = 0.0092。样本比例比 0.1 高出这么多,仅凭偶然是非常罕见的。

6.2 · 构建置信区间

统计量 ± (临界值)(标准误)

置信区间给出 p 的一个合理取值范围:样本的 p̂,加减一个误差范围。

在某城市随机抽取 500 名成年人:290 人支持新建自行车道,所以 p̂ = 290/500 = 0.580。p 的单样本 z 区间为:

95% 对应 z* = 1.960:标准正态分布中间 95% 的部分位于 −1.960 与 1.960 之间。标准误用 p̂ 代替未知的 p。误差范围为 z* × SE = 0.043。

为什么有效。在 95% 的样本中,p̂ 落在 p 的 1.96σ 之内(蓝色带)。只要如此,以 p̂ 为中心、两侧各 1.96 个 SE 的区间就会覆盖 p。图中,样本 6 落在带外,它的区间没有覆盖。

在考试中,要写出所用方法,检验条件,完成计算,并结合情境写出区间。

6.2 · 误差范围与样本量

抽样前确定 n

误差范围随 n 增大而缩小,但很慢:按 1/√n 缩小。设计调查时,先确定误差范围,再解出 n。

p* 是对 p 的猜测值。若没有任何信息,取 p* = 0.5:此时 p*(1 − p*) = 0.25,为最大值,所以无论 p 实际是多少,求得的 n 都足够。

例。要使 95% 置信度下的误差范围至多为 0.03:

所以 n = 1068。一律向上取整:取 1067 时误差范围会略大于 0.03。若预调查的估计值为 p* = 0.2,则 683 就够了(蓝色曲线)。

误差范围减半需要四倍的样本量:n 在平方根之下。

误差范围只包含随机抽样的偶然变异,不反映覆盖不全、无回答或诱导性问题造成的偏差。

6.3 · 解释置信区间

95% 的置信度是什么意思,又不是什么意思

区间是对 p 的陈述。置信水平是对生成该区间的方法的陈述。

区间。“我们有 95% 的把握认为,从 0.537 到 0.623 的区间覆盖了该市支持自行车道的全体成年人的真实比例。”要结合情境指明参数。

置信水平。“如果我们多次随机抽取 500 人的样本,并由每个样本构建 95% 区间,那么约 95% 的区间会覆盖真实比例。”图中,50 个里有 47 个覆盖;3 个红色的没有覆盖,而且没有任何迹象预先提醒我们。

不是:“p 介于 0.537 和 0.623 之间的概率为 95%。”p 是固定的,这个区间要么覆盖它,要么不覆盖。它也不是指 95% 的成年人,或 95% 的样本比例。

论证一个结论。区间内的每个值都是 p 的合理取值。

合理不等于得到证明:区间并不能表明 p = 0.60,只是说明不能排除 0.60。

6.3 · 置信水平与区间宽度

置信度越高,区间越宽;数据越多,区间越窄

置信水平越高,需要的 z* 越大,区间也就越宽。样本越大,标准误越小,区间也就越窄。

都来自同一个 p̂ = 0.58。图中红色区间依次经过从 80.0% 到 99.5% 的各个水平;蓝色区间的样本量是前者的四倍,误差范围为其一半。

99% 的区间更常覆盖 p,但提供的信息更少。既要高置信度又要窄区间,就需要更大的样本。

置信水平在收集数据之前选定;它不是某个具体区间正确的概率。水平和 n 都不会改变区间的中心:p̂。

6.4 · 设立检验

假设与条件,含 p₀

显著性检验用来判断样本是否给出了令人信服的证据,来反驳关于 p 的某个声明。

一家手机厂商声称,其手机在两年内需要维修的比例为 25%。一个消费者团体怀疑实际比例更高。在厂商手机的一个随机样本中,共 400 部,其中 118 部需要维修:p̂ = 0.295。

其中 p 是该厂商所有手机在两年内需要维修的比例。原假设 H₀ 是“与 0.25 没有差异”这一声明;备择假设 H_a 是该团体希望找到证据支持的结论。假设针对的是参数 p,绝不是 p̂,并且要在看到数据之前确定。

当问题带有方向时,H_a 是单侧的(> 或 <);只要有差异就算数时,则是双侧的(≠)。

大计数条件用的是 p₀,而不是 p̂:检验计算的是 H₀ 成立时会发生什么。图中从 p = 0.25 抽取了 200 个容量为 400 的样本;它们聚集在正态曲线周围,曲线的中心为 0.25,标准差为 0.0217。

6.5 · 解释 p 值

如果 H₀ 成立,结果有多出人意料

p 值是在假设 H₀ 成立时,得到至少与观测统计量一样极端(方向与 H_a 一致)的统计量的概率。

图中,以 p = 0.25 抽取的 200 个样本中,有 5 个达到或超过 0.295:比例为 0.025,与正态模型给出的 0.019 很接近。

结合情境:“假设该厂商所有手机中有 25% 需要维修,那么在 400 部手机的随机样本中,仅凭偶然得到样本比例为 0.295 或更高的概率是 0.019。”

p 值小,说明如果 H₀ 成立,这样的数据很少见:这是反对 H₀ 的证据。p 值大,说明这样的数据是 H₀ 常常产生的:没有反对它的证据。

不是:H₀ 为真的概率,也不是结果由偶然产生的概率。p 值是在假设 H₀ 成立的前提下计算的。

对于双侧的 H_a,要计算两侧尾部:p 值是 |z| 之外面积的两倍。

6.6 · 得出检验结论

把 p 值与 α 比较

在看数据之前,先选定显著性水平 α。如果 p 值小于 α,就拒绝 H₀;否则,不能拒绝 H₀。

在 α = 0.05 时:0.019 < 0.05,所以拒绝 H₀。“因为 p 值 0.019 小于 α = 0.05,我们拒绝 H₀。我们有令人信服的证据表明,该厂商所有手机中有超过 25% 在两年内需要维修。”

在 α = 0.01 时:0.019 > 0.01,所以不能拒绝 H₀。“我们没有令人信服的证据表明需要维修的手机超过 25%。”

切勿说“接受 H₀”:没有找到反对某个声明的证据,并不能证明它是真的。

用检验统计量也能得到同样的结论:当 z 超出临界值时拒绝。α = 0.05 单侧时 z* = 1.645,0.01 时为 2.326。图中 α 从 0.005 变到 0.1;蓝色区域在 z* 之外,当它越过 z = 2.08 时,结论就会翻转。

p 值低于 α 的结果,称为在该水平上统计显著。显著不等于大,也不等于重要。

6.7 · 错误与功效

第一类错误、第二类错误与检验功效

检验可能以两种方式出错。它的功效是正确拒绝一个错误的 H₀ 的概率。

结合情境:第一类错误是断定超过 25% 的手机需要维修,而实际上是 25%;厂商被冤枉。第二类错误是漏掉了真实存在的超出部分;用户继续为维修付费。

假设真实情况是 p = 0.3。在 α = 0.05 时,当 p̂ > 0.2856 时检验拒绝原假设。取 n = 400:

功效会提高,如果样本更大(曲线变窄,如图所示)、α 更大(在 α = 0.1 且 n = 400 时,0.834),或者真实的 p 离 p₀ 更远。降低 α 会减少第一类错误,但会增大 β:在固定的 n 下,两者此消彼长。

6.8 · 差值的区间估计

p̂₁ − p̂₂,来自两个独立样本

要比较两个比例,先估计它们的差:(p̂₁ − p̂₂) ± z* × SE。

独立随机样本:400 名青少年和 500 名成年人,其中 248 名青少年和 255 名成年人说自己主要通过社交媒体获取新闻。p̂₁ = 0.62,p̂₂ = 0.51,差为 0.11。

相加的是方差,而不是标准误:两个独立估计量之差的波动比其中任何一个都大。

要说明哪个是第 1 组。顺序决定符号:成年人减去青少年会得到 (-0.175, -0.045)。

6.9 · 论证关于差值的结论

0 是 p₁ − p₂ 的一个合理取值吗?

如果 0 在区间之外,数据就给出了令人信服的证据,表明两个比例不同。如果 0 在区间之内,则没有。

结合情境:“我们有 95% 的把握认为,从 0.045 到 0.175 的区间包含了主要通过社交媒体获取新闻的比例的真实差(青少年减成年人)。”

区间内每个值都大于 0,所以有令人信服的证据表明,青少年中这样做的比例高于成年人:高出大约 4.5 到 17.5 个百分点。

一项较小的研究。同样的 p̂,来自 100 名青少年和 100 名成年人,得到 (-0.027, 0.247)(蓝色)。0 在区间之内:差为 0 是合理的,所以这些数据没有给出令人信服的证据表明存在差异。

这并不是说没有差异的证据:该区间也允许差异大到 0.25。更大的样本会使区间变窄。

完全为负的区间,是 p₁ < p₂ 的证据。包含 0 的区间,与在 α = 1 − C 下的双侧检验不能拒绝原假设,结论相同。

6.10 · 设立双样本检验

H₀:没有差异,以及合并比例

双样本 z 检验用来判断两个样本比例之间的差是否大于偶然所能产生的差。

在一项实验中,300 名志愿者被随机分组:150 人收到短信提醒,150 人没有。提醒组中有 87 人接种了流感疫苗(0.58),其他人中有 66 人接种(0.44)。

其中 p₁ 和 p₂ 分别是有提醒和没有提醒时接种流感疫苗的真实比例。

合并。H₀ 说两个比例相同,所以检验用两组合在一起来估计这个共同的值,即合并(联合)比例。图中两组合并,接种的人数在两组之间被拉平:

6.11 · 进行双样本检验

z、p 值,以及结合情境的结论

检验统计量用标准误来衡量观测到的差异,其中标准误由 p̂_c 计算。

p 值 = P(Z ≥ 2.43) = 0.0076,即图中的红色尾部。

结论。“因为 p 值 0.0076 小于 α = 0.05,所以我们拒绝 H₀。我们有令人信服的证据表明,短信提醒会提高像这些志愿者一样的人接种流感疫苗的比例。”

随机分配使结论可以说明因果关系。志愿者不是随机样本,所以结论只适用于与他们相似的人。

检验时要合并样本,因为 H₀ 假设 p₁ = p₂。区间估计不要合并,因为它没有这样的假设。