探索双变量数据

第 2 章 · 探索双变量数据

散点图与最小二乘直线

对每个个体测量两个量:其中一个能否说明另一个,又能说明多少?

法医学家可以根据一块骨头估计一个人的身高。图中画出了 14 名成年人的股骨(大腿骨)长度与身高的关系。个子越高的人股骨越长,各点都靠近一条直线。

该选哪条直线?穿过这些点的一条试探直线与每个点之间都有一个残差,以红色表示。把每个残差平方(红色方块)并求出面积之和。随着试探直线转动,总面积也在变化;最小二乘直线就是使总面积最小的那一条:这里是 ŷ = 49.8 + 2.64x,总面积为 126 cm²。

本章先讲分类变量(双向表、条形图、条件百分比),再描述散点图,用相关系数 r 度量线性相关,拟合并检验最小二乘直线,最后讨论一个异常点或一条曲线会对它产生什么影响。

2.1 · 这两个变量有关系吗?

是规律,还是偶然?

当知道其中一个变量的值就能对另一个变量的值有所了解时,这两个变量是相关的。

统计学从关于变异的问题开始。股骨更长的成年人通常更高吗?学生上学的方式是否取决于住在哪里?每个问题都把在同一批个体上测得的两个变量配成一对。

数据总会有变异,所以仅凭偶然也可能出现某种规律。这张图就是来检验这一点的。左边是真实的数据对,r = 0.95。右边是把相同的 14 个身高随机地在相同的 14 个股骨长度之间反复重排。重排会破坏任何真实的联系,所以剩下的规律都是偶然产生的。

下方是 40 次重排各自的相关系数。它们散布在 0 附近,最远的是 −0.81。而真实的 0.95 超出了所有这些:仅凭偶然,难以解释如此强的规律。

这就是整门课程推理方式的缩影:问问仅凭偶然会产生什么结果,再看数据是否像它。后面的单元会把它变得精确。

2.2 · 两个分类变量

双向表与条形图

双向表统计两个分类变量各种组合中的个体数。

300 名学生被问到住在哪里以及通常怎样上学:

边缘的合计是边际计数:每个变量单独的计数。无论住在哪里,300 名学生中有 108 名乘车上学。

并列条形图(左)画出计数。它们容易读,但当各组大小不同时难以比较:郊区学生有 120 名,而农村学生只有 80 名,所以计数会产生误导。

分段条形图(右)解决了这个问题:每组是一根高度为 100% 的条,按本组学生的占比分段。农村学生乘车的比例为 55%,城市学生为 16%。马赛克图(2.3)还让每根条的宽度与该组的大小相匹配。

根据问题选择用哪个变量来分条。要比较各地的出行方式,就为每个地区画一根条。

2.3 · 联合、边际与条件

三种相对频率

相对频率是用计数除以某个总数。除以哪个总数,决定了它的含义。

• 联合频率:一个单元格除以表的总数。300 名学生中有 44 名住在农村且乘车上学:44/300 = 14.7%。
• 边际频率:一行或一列的合计除以表的总数。所有学生中乘车上学的占 108/300 = 36%。
• 条件频率:一个单元格除以它所在行或列的合计。农村学生中,乘车上学的占 44/80 = 55%。乘车上学的学生中,住在农村的占 44/108 = 40.7%。

后两者并不相同:“农村学生中乘车的比例”和“乘车学生中农村的比例”除以的总数不同。要看“中”字前面或“给定”之后所指的那一组:那一组的合计就是分母。

马赛克图能同时呈现这三种频率。每一列的宽度是该地区的边际占比;每一块的高度是该地区内的条件占比;所以每一块的面积就是联合占比。农村乘车这一块占整个马赛克图的 14.7%。

2.3 · 分类变量之间的关联

比较条件分布

当一个变量的条件分布随另一个变量的类别不同而不同时,这两个分类变量就存在关联。

每个地区以及全体学生的出行方式条件分布:

如果出行方式与居住地无关,每一行都会与“全体”那一行一致,分段条形图的分割高度也会相同。但事实并非如此:乘车比例从城市的 16% 升到郊区的 40% 和农村的 55%,而步行或骑车的比例则从 48% 降到 8%。学生的居住地与上学方式之间存在关联。

要比较百分比,而不是计数。郊区有 48 名学生乘车,多于农村的 44 名,但郊区学生乘车的比例反而更小。

数据中的关联不等于因果。住在农村本身未必导致乘车:到学校的距离是表中没有的变量,可能解释了其中很大一部分。第 8 章将检验这样的差异是否可能由随机性造成(χ² 检验)。

2.4 · 散点图

方向、形状、强度与异常特征

散点图展示同一批个体上测得的两个定量变量,每个个体对应一个点。

解释变量放在 x 轴上:它可能用来解释或预测。响应变量放在 y 轴上:即结果。这里股骨长度用来解释身高。

从四个方面,结合情境描述散点图:

• 方向:正相关(x 越大,y 也越大)、负相关,或都不是。
• 形状:线性、曲线,或成簇。
• 强度:各点与该形状的贴近程度:强、中等或弱。
• 异常特征:离群点、间隙、聚簇。

这里:这些成年人的股骨长度与身高之间存在强的、正的线性关联,没有明显的离群点。小图显示了其他模式:较弱的负相关、明显的曲线,以及无关联。

2.5 · 相关系数

用一个数表示线性关联的强度

相关系数 r 衡量两个定量变量之间线性关联的方向和强度。

把每个变量标准化:z_x 和 z_y 表示一个值与均值相差多少个标准差。经过均值的两条直线把图分成四个象限。右上或左下的点,乘积 z_xz_y 为正,对应红色矩形;左上或右下的点,乘积为负,对应蓝色矩形。

把带符号的面积相加,再除以 n − 1。对于股骨数据,14 个乘积之和为 12.305,12.305/13 = 0.947。几乎所有面积都是红色:强的正相关。

r 介于 −1 和 1 之间。符号表示方向,大小表示强度:接近 ±1 时各点接近一条直线,接近 0 时没有线性模式。要结合情境解释:r = 0.95 说明股骨长度与身高之间存在强的、正的线性关联。

考试时,用计算器求 r;要理解它的含义。

2.5 · r 没有说明的事

只反映线性、对离群点敏感、不代表因果

r 只概括直线型的模式。一定要先看散点图。

• 只反映线性。红色的图呈很强的曲线关系,但 r = −0.02。r 接近 0 表示没有线性关联,而不是没有关联。r 很大也不能证明直线就是合适的形式。
• 没有单位。任一变量改变单位,r 都不变:股骨长度换成英寸,r 仍为 0.947。交换 x 和 y 也不会改变它。
• 不具抗干扰性。和均值一样,r 可能被一个离群点大幅改变(2.9)。
• 不代表因果。强相关并不意味着改变 x 会改变 y。可能有潜在变量同时影响两者(冰淇淋销量和溺水人数都在夏季高温时上升),也可能因果方向相反。只有设计良好的实验(第 3 章)才能说明因果。

四幅小图:强、正、线性,r = 0.97;中等、负、线性,r = −0.71;强、曲线型,r = −0.02;无关联,r = 0.01。

2.6 · 线性回归模型

用 x 预测 y 的直线

回归直线用来建模响应变量 y 如何随解释变量 x 变化,并在给定 x 时预测 y。

ŷ(y-hat)是预测值,不是观测值:要写上帽子。b 是斜率,a 是 y 轴截距。结合情境写出模型:预测身高 = 49.8 + 2.64(股骨长度)。

预测。股骨长度为 45.0 cm 时,ŷ = 49.8 + 2.64(45.0) = 168.5 cm。这是模型给出的、该股骨长度的成年人的平均身高;其中任何一个人都可能更高或更矮。

外推是在数据的 x 范围之外做预测,这里的范围是 39.0 到 49.8 cm。直线在那里没有依据:形式可能改变。儿童 30 cm 的股骨,得到 ŷ = 128.9 cm,而模型只是用成年人建立的。在图中,只要点超出数据范围,就会变成灰色。

2.7 · 残差

直线没能解释的部分与残差图

残差是观测值减去预测值:表示点在直线上方或下方多远。

股骨长度为 46.9 cm 的那位成年人身高为 180.1 cm。直线预测为 173.5 cm,所以残差为 180.1 − 173.5 = 6.6 cm:比预测高 6.6 cm。残差为负表示直线高估了。对于最小二乘直线,残差之和为 0。

残差图把每个残差对 x(或对 ŷ)作图。在图中,每个残差从散点图落到下方的图上:直线被放平成 0。

• 没有模式,围绕 0 均匀散布:线性模型是合适的。股骨数据就是这样。
• 残差呈曲线:关系不是线性的;另一种形式会拟合得更好(2.9)。
• 呈扇形,离散程度随 x 增大:x 较大时预测不够精确。

残差图比散点图更清楚地显示剩余的模式,因为直线的趋势已被去除。

2.8 · 最小二乘回归

使残差平方和最小的直线

最小二乘回归直线是使残差平方和尽可能小的直线。

右侧是每个斜率(每条过均值点的直线)对应的残差平方和:一条抛物线,在 b = 2.64 处最低。任何其他斜率的总和都更大。

所以这条直线总是经过 (x̄, ȳ) = (44.02, 165.91),且斜率的符号与 r 相同。x 增加一个标准差,预测 y 增加 r 个标准差:小于一个,这就是“回归到均值”。

解释。斜率:股骨长度每增加 1 cm,预测身高约增加 2.64 cm。截距:股骨长度为 0 cm 的成年人,预测身高为 49.8 cm;这是外推,在这里没有意义,截距常常如此。

用 x 对 y 回归会得到另一条直线。要用解释变量预测响应变量,而不是反过来。

2.8 · r² 与 s

直线拟合得多好,以及通常偏差多大

两个数可以说明这条直线的预测有多准:决定系数 r² 和残差的标准差 s。

统计软件会这样输出回归直线:

S = 3.2393   R-sq = 89.6%

Constant 一行给出 a,解释变量一行给出 b:ŷ = 49.8 + 2.64x。(SE Coef 在第 9 章讲。)

r² = 89.6%:没有这条直线时,身高相对 ȳ 的偏差平方和为 1210 cm²;用直线拟合后为 126。直线消除了其中的 1 − 126/1210 = 89.6%。放到情境中:身高变异中约有 89.6% 可以由股骨长度的线性模型解释。

s = 3.24 cm,由残差算出(除以 n − 2):

放到情境中:实际身高与直线预测的身高通常相差约 3.2 cm。蓝色带状区域是 ŷ ± s。

2.9 · 离群点、杠杆点与强影响点

一个点能对直线造成什么影响

一个异常点,可能让回归结果大变,也可能几乎没有影响。关键看它在哪里。

• 回归中的离群点是残差很大的点:远高于或远低于直线。
• 高杠杆点的 x 值远离 x̄,有能力使直线倾斜。
• 强影响点是去掉后会明显改变斜率、截距或相关系数的点。高杠杆点往往是强影响点。

红点被加到 14 名成年人的数据中并可移动。灰线是不含该点时的直线:

在最右侧且在直线上:高杠杆,但对斜率没有影响,甚至使 r 变大。在最右侧且在直线下方:它把斜率从 2.64 拉到 1.76,是强影响点。在 x̄ 附近且远高于直线:它是离群点,使 r 降到 0.846,但几乎不改变斜率。

不要随意删除异常点。先检查是否有误;如果数据属实,就分别报告含该点和不含该点的拟合结果。

2.9 · 变换为直线

对数把指数增长变成直线

散点图呈曲线时,对变量做变换可以使它变成线性;这时就能用最小二乘直线来建模。

每小时对一份细菌培养物计数,共 10 小时。计数向上弯曲:每小时是乘以一个倍数,而不是加上一个数。即使 r = 0.900,直线拟合依然很差:残差图呈明显的曲线。

对计数取对数。指数增长就变成线性:图在两者之间切换。以 t 为横轴,log₁₀(计数) 是一条直线,r = 0.998,残差没有规律。

预测时需要把变换还原。当 t = 8.5 小时:log₁₀(计数) = 1.594 + 0.1626(8.5) = 2.976,所以计数 ≈ 10^2.976 = 946。斜率表明,预测计数每小时乘以 10^0.1626 = 1.454。

其他曲线需要其他变换:log y 对 log x 可使幂函数模型 y = ax^b 变直;平方根或倒数可能使另一些曲线变直。应选择残差图没有规律的那种变换。