斜率的推断

第 9 章 · 斜率的推断

这个趋势是真实的吗?

最小二乘直线描述的是一个样本。推断要问的是:这条直线能说明整个总体的直线是什么样。

一位老师随机选出 18 名学生,记录每人为一次考试学习的小时数和所得成绩。总体来看,学习时间越长,成绩越高。但这一趋势是真实的,还是这么小的样本也可能偶然出现?

这幅图构建了一个答案已知的总体。黑线是它的总体回归直线:每个学习小时数对应的平均成绩。在每个 x 处,成绩围绕这条直线呈正态分布(蓝色曲线)。每位学生的成绩都取自其学习小时数处的那条曲线。

红线是由样本拟合出的直线:斜率 b = 2.247,而总体的斜率为 β = 2.5。实际中 β 永远未知,我们只有 b。

本章先给出模型,说明 b 如何随样本而变,检验各项条件,构建 β 的置信区间,检验 β = 0 是否成立,再从计算机输出中读出这些结果,最后学习如何在本课程的所有方法中选出合适的一种。

9.1 · 总体回归模型

每个 x 处的 y 都服从正态分布

斜率的推断基于一个模型:在每个 x 值处,响应变量 y 服从正态分布,以一条直线为中心,且离散程度相同。

α、β 和 σ 是参数:分别是总体回归直线的截距和斜率,以及 y 围绕该直线的标准差,对每个 x 都相同。样本用统计量来估计它们:

β 是全校学生中,每多学习一小时,平均成绩的变化量。这里 β = 2.5:学习 3 小时时均值为 57.5,学习 5 小时时为 62.5。

s 由残差估计 σ,除以 n − 2,因为先估计了两个数(a 和 b):

本章每个检验背后的问题是:这些点是否真的呈直线排列,还是即使 β 为 0,也会偶然出现像 b 这样的斜率?

9.1 · 样本斜率各不相同

b 的抽样分布

同一总体的另一个样本会给出另一条直线、另一个斜率。所有可能样本的斜率构成 b 的抽样分布。

图中保持同样的 18 个学习小时数,重新抽取成绩,共 100 次。每条拟合直线(先红后灰)围绕真实直线的倾斜略有不同,每个斜率都落入点图中。

当模型成立时,b 的抽样分布为正态分布,以 β 为中心(b 是无偏估计量),标准差为

其中 σ_x 是 x 值的标准差(除以 n)。这 100 个斜率的均值为 2.47,标准差为 0.83,与 2.5 和 0.81 很接近。

什么会使 b 的变异更小:围绕直线的散布更小(σ 更小)、x 的分布更分散(σ_x 更大)以及样本更大。让 x 值分散开,比让它们挤在一起更能确定一条直线。

σ 未知,因此用 s 代替,并用 s_x√(n − 1) 代替 σ_x√n。这样就得到斜率的标准误,用它标准化后得到自由度为 n − 2 的 t 分布:

9.2 · 推断的条件

LINER:线性、独立、正态、等标准差、随机

只有模型拟合良好,区间和检验才可信。在做任何计算之前,先用数据检验五个条件。

对这 18 名学生:残差图(中)是围绕 0 的无规律带状,既无曲线也无扇形,所以满足线性和等标准差条件。残差直方图(右)只有一个峰,没有明显偏态;最大残差为 21.2,约为 2.2 s,不算极端离群点。学生是随机样本,且 18 ≤ 该校 950 名学生的 10%。

常见错误。正态性要检验残差,而不是 x 或 y。这里没有“n ≥ 30”这样的规则,可以让偏态的残差图过关。残差图呈曲线,说明斜率不是合适的概括:任何区间都无法补救。

9.2 · 读懂回归输出

Coef、SE Coef、T、P、S 和 R-Sq

软件会把回归结果打印成标准表格。本章需要的每个数都在其中。

Coef(系数)。Constant(常数项)行给出截距 a;以解释变量命名的那一行给出斜率 b:

Hours 的 SE Coef 为 SE_b = 0.883。T = Coef/SE Coef = 2.55:这是检验 H₀: β = 0 的检验统计量。P = 0.022 是它的双侧 P 值。

S = s = 9.834:实际成绩与预测成绩通常相差约 9.8 分。R-Sq = r²:成绩变异中有 28.8% 可由小时数的线性模型解释。于是 r = +√0.288 = 0.537,与斜率一样为正。

解释斜率:每多学习一小时,预测成绩平均增加约 2.247 分。

常见错误。Constant 行的 T 和 P 检验的是 α = 0,这很少是值得问的问题。S 不是 SE_b。本课程不需要 R-Sq(adj)。

9.2 · 斜率的置信区间

b ± t*·SE_b,自由度为 n − 2

β 的置信区间,就是样本斜率加减误差范围。

计算。当 n = 18 时,df = 16,置信水平为 95% 的 t* = 2.120。由输出结果:

结论。我们有 95% 的把握认为,从 0.375 到 4.119 的区间包含了该校学生考试成绩与学习时间的总体回归直线的斜率。也就是说,学习时间每多一小时,平均成绩提高 0.38 到 4.12 分。

置信水平描述的是方法:在重复抽样中,用这种方法得到的区间约有 95% 包含 β。右图中,25 个样本得到的 25 个区间里有 24 个包含 β。而某一个具体的区间,要么包含 β,要么不包含。

图中置信水平从 80% 变到 99%:水平越高,所需的 t* 越大,区间越宽。在 99% 时,t* = 2.921,区间为 (−0.332, 4.826)。

完整的答案要写出所用的方法(斜率的 t 区间),检验条件,完成计算,并结合情境得出结论。

9.3 · 用区间来论证结论

所声称的斜率在合理取值范围内吗?

置信区间内的值都是 β 的合理取值。区间之外的声称值,则是反对该声称的证据。

存在线性关系吗?如果 β = 0,平均成绩不随学习时间变化:不存在线性关系。0 不在 95% 区间 (0.375, 4.119) 内,而且区间内的每个值都是正数。所以数据提供了令人信服的证据表明 β > 0:在总体中,学习时间越长,平均成绩越高。

在 99% 水平下,区间为 (−0.332, 4.826)。它包含 0,所以在该水平下 0 是合理的:证据还不足以排除不存在关系的可能。

一个声称。一家辅导机构称,每多学习一小时平均可提高 5 分。5 高于两个区间,所以数据提供了令人信服的证据反对这一声称:真实斜率看起来更小。

C% 的区间与显著性水平 α = 1 − C 的双侧检验是一致的:当且仅当 β₀ 在区间之外时,检验拒绝 β = β₀。区间说明得更多:斜率合理的大小是多少。

常见错误。区间内的值只是合理的,并没有被证明:“0 在区间内,所以没有关系”是错的。“β 在区间内的概率是 95%”也是错的:β 是固定的;95% 是该方法的捕获率。

9.4 · 建立斜率的检验

H₀: β = 0,备择假设是你想要证明的结论

斜率的显著性检验要问:样本斜率与假设值(通常是 0)相差是否太大,不能归因于偶然。

假设针对的是总体斜率 β,而不是 b:

H₀: β = 0 表示不存在线性关系:在每个 x 处,y 的均值都相同。要结合情境定义 β:“该校所有学生考试成绩与学习时间的总体回归直线的斜率”。H_a 要根据题意在看数据之前选定。

老师想知道成绩与学习时间是否存在线性关系,所以 H_a: β ≠ 0,α = 0.05。所用方法是斜率的 t 检验,条件与 LINER 相同,已在 9.2 中检验。

为什么需要检验。右图是 H₀ 成立的世界:真实直线是水平的,样本取自这条直线,学习时间和散布程度都与我们的数据相同。它们拟合出的直线依然会因偶然而倾斜。在 200 个这样的样本中,有 3 个的斜率和我们的一样陡,即 2.247,方向不限。如果 H₀ 成立,我们的斜率就是少见的。

H₀ 也可以是其他值 β = β₀,例如某个声称的斜率;此时检验方法相同,只需用 β₀ 代替 0。

9.5 · 进行斜率的检验

t = (b − β₀)/SE_b,P 值由 t 分布得出

检验统计量表示样本斜率与假设斜率相差多少个标准误。

其中 df = n − 2 = 16。输出结果给出 T = 2.55,它由未经舍入的 b 和 SE_b 算出;用哪个都可以。

P 值是在 H₀ 成立时,得到至少这样极端的 t 的概率。H_a 是双侧的,所以两侧尾部都要计入:P = 2P(t ≥ 2.55) = 0.022,与输出结果一致。图中,9.4 的零假设样本把它们的 t 值落在 t 曲线上;200 个中有 4 个,即 0.020,落在红色尾部。

解释。假设总体中学习时间与成绩之间不存在线性关系,仅凭偶然得到样本斜率与 0 的距离至少像 2.247 这样远的概率为 0.022。

结论。因为 P = 0.022 < α = 0.05,拒绝 H₀。有令人信服的证据表明,该校学生的学习时间与考试成绩之间存在线性关系。

常见错误。绝不能说“接受 H₀”:只能说不拒绝它。P 值不是 H₀ 为真的概率。此外,这些学生是自己选择学习时间的:这是观察性研究,只能说明存在关联,不能说明多学习导致成绩更高。只有随机化实验才能支持因果关系。

9.5 · 单侧检验、其他声称与错误

输出的 P 值不是答案时

输出结果中的 T 和 P 回答的是一个问题:对 β = 0 的双侧检验。其他问题还需要多做一小步。

单侧检验。对于 H_a: β > 0,P 值只取一侧尾部。当 b 在 H_a 预测的那一侧时,把输出的 P 值减半:0.022/2 = 0.0110。当 b 在另一侧时,P 值是 1 减去该值,没有支持 H_a 的证据。

另一个 β₀。要检验辅导机构的声称,即 H₀: β = 5,H_a: β < 5,需要手算 t:

当 df = 16 时:有很强的证据表明真实斜率小于 5,这与 9.3 中的区间一致。

检验与区间一致。P = 0.022 < 0.05,且 95% 区间不含 0。P = 0.022 > 0.01,且 99% 区间包含 0。

错误。这里的第一类错误是:总体中并无线性关系,却断定学习时间与成绩线性相关;其概率为 α。第二类错误是:错过了确实存在的关系。样本量更大、x 的分布更分散、α 更大,都会使第二类错误更不容易发生。

9.6 · 选择推断方法

让方法与问题相匹配

Every procedure in the course answers one kind of question. Three questions about the data pick it out.

1. What was measured? A category for each individual (proportions, counts), a number (means), or two numbers for each individual (a slope). 2. How many samples or groups, and are they paired? 3. Estimate or test? “How large…” or “estimate…” asks for an interval; “is there convincing evidence…” for a test.

Clues in the wording: “proportion”, “percent” → z; “mean”, “average” → t; “relationship” between categorical variables → χ²; between quantitative variables → the slope.

Common mistakes. Paired data analysed as two samples (the same people measured twice are paired). Homogeneity and independence confused: it depends on the design, several samples or one. A correlation question needs the slope test, not a χ² test.