探索单变量数据

第1章 · 探索单变量数据

形状、中心与离散程度

统计学是从数据中学习的科学,而数据是会变化的。

一个班的 40 名学生回答了两个问题:你怎么去学校,以及路上要多少分钟?图中每个球代表一名学生,落在数轴上他们通勤时间的位置。

没有哪两个早晨是一样的。时间从 8 分钟到 56 分钟不等,其中约四分之三不超过 26 分钟。这种规律,即哪些值会出现、出现得多频繁,就是该变量的分布。

在这些点的下方,直方图把同样的时间按 5 分钟一组来计数,再下面的累积图则把它们累加起来。

本章先说明变量的种类,再用表格和图形把它们画出来,从形状、中心和离散程度来描述分布,并分别用数值来度量,最后介绍最有用的模型:正态分布。

1.1 · 统计学简介

我们能从数据中学到什么?

数据是关于个体的信息;变量是个体之间会变化的某种特征。

这里的个体是 40 名学生。红色的球是第 5 名学生:乘 bus 出行,用时 29 分钟。一名学生是数据集中的一行;每个变量是一列。

统计问题预期其答案会有变异。“学生 5 去学校要多久?”只有一个答案。“这个班的学生去学校要多久?”有 40 个答案,问的是它们的分布。

变异无处不在,所以数据中的规律可能是真实的,也可能只是偶然。统计学就是要把两者区分开。它提出的问题始终是一样的:测量了谁,测量了什么,如何测量,以及能对谁得出什么结论。

这 40 个答案描述的是这个班。若要得出关于全校学生的结论,需要从他们中抽取随机样本(第 3 章)。

1.2 · 变异的语言

分类变量与定量变量

分类变量把每个个体归入某个组。数值变量给每个个体一个可以计数或测量的数。

学生怎么出行(步行、骑车、公交、汽车)是分类变量。通勤时间(分钟)是数值变量:可以对它做算术运算,它的取值落在数轴上。

图中同样的 40 个球在两种视图之间移动。在数轴上,每个球位于它的时间处;按出行方式排序后,它们分成四组。个体没有变,变的只是我们观察的变量。

数值变量分为离散变量(可以一一列出的计数:兄弟姐妹的数量)和连续变量(区间上的测量值:时间、身高)。

注意。数字并不总是数值变量。邮政编码或球衣号码只是给组做标记;它们的平均数没有意义,所以是分类变量。数值变量可以通过分组变成分类变量:“超过 20 分钟,是或否。”

1.3 · 用表格表示分类变量

频数与相对频数

频数表列出每个类别及其计数。相对频数表把每个计数表示为占总数的比例。

相对频数之和为 1(或 100%),四舍五入造成的误差除外。它们使大小不同的群体可以相互比较:25 人的班级和 2000 人的学校,乘公交的比例都可以是 35%。

结合情境。40 名学生中有 14 名,即比例 14/40 = 0.350,乘公交上学:这是这个班最常见的上学方式。

分类变量中最常见的类别是它的众数。两个分类变量合在一起的表,即双向表,在第 2 章介绍。

1.4 · 用图形表示分类变量

条形图与饼图

条形图用条形表示每个类别,条形的高度是频数或相对频率。饼图则按比例给每个类别分配圆的一个扇形。

条形图中的条形彼此分开,因为类别之间没有刻度,它们的顺序可以自行选择。按高度排序,最大的类别就一目了然。

饼图扇形的角度 = 相对频率 × 360°:乘公交车的扇形是 0.350 × 360° = 126°。只有当各类别构成一个整体、且每个个体恰好属于一个类别时,才能用饼图。

描述分类变量的分布。指出频率最高和最低的类别,用比例作比较,并结合情境:“35%的学生乘公交车上学,多于其他任何方式;17.5%的学生步行。”

误导性图表。纵轴不从零开始的条形图会夸大差异。用图画表示,或同时改变面积和深度而不只是高度的 3D 饼图也会如此。先看刻度,再看形状。

1.5 · 用图表示定量变量

点图、茎叶图、直方图与累积图

定量变量的图把它的分布画在数轴上:数值在哪里,如何聚集,如何分散。

点图在每个数值上方为每个个体画一个点。茎叶图把每个数值分成茎(这里是十位)和叶(个位):

图例:1 | 4 表示 14 分钟。两者都保留了每一个数值。

直方图统计落在等宽区间(即组)内的数值个数,这里每组宽 5 分钟;条形相互紧贴,因为刻度是连续的。恰为 15 的时间归入 15 到 20 这一组。不同的组宽会改变图形,所以要选既能显示形状、又不掩盖细节的组宽。

累积图在每组的右端点处画出小于该点的数值所占的比例。它可以用来读百分位数:班里 70% 的人用时少于 25 分钟,图线在中位数处越过 0.5,约为 17 分钟。

1.6 · 描述定量变量的分布

形状、中心、离散程度与异常特征

描述一个分布,要说明它的形状、中心、离散程度和任何异常特征,并始终结合数据的情境。

形状。对称:两侧大致互为镜像。右偏:向较大的值有一条长尾。左偏:向较小的值有一条长尾。偏态按尾部命名,而不是按峰的位置。还要数一数峰的个数:单峰、双峰(两个聚集区,常是两个群体混在一起),或均匀(没有明显的峰)。

异常特征。间隙(没有数值的一段)、聚集,以及离群值:远离其余数值的值。

这个班的描述。通勤时间的分布是单峰、右偏的,峰值在 10 到 15 分钟之间。中位数约为 17 分钟,时间范围从 8 到 56 分钟。38 到 56 分钟之间有一个间隙,56 分钟可能是离群值。

这里要用“约”和“大致”这样的词:形状是目测判断的。1.7 和 1.8 会用数值刻画中心和离散程度,并给出判定离群值的规则。

1.7 · 汇总统计量:中心

均值、中位数,以及哪个更稳健

均值是所有数值之和除以个数。中位数是把数值按大小排序后位于中间的那个值。

班里九人的时间按顺序排列:8, 8, 8, 9, 12, 13, 14, 26, 29。均值为 127/9 = 14.1 分钟。中位数是 9 个值中的第 5 个,即 12 分钟。个数为偶数时,中位数是中间两个数的平均值。

均值是平衡点。把这些数值放在一根横梁上:它在 x̄(红色)处保持平衡,两侧的距离相互抵消。中位数(蓝色)只看个数:两侧各有一半的数值。

抗干扰性。在图中,29 分钟的通勤时间移到了 59。均值随之变为 17.4 分钟;中位数仍是 12。中位数对极端值具有抗干扰性(稳健);均值则没有。

所以在右偏的分布中,均值被拉向尾部,高于中位数:对全班来说,x̄ = 19.4,中位数是 17。左偏时,均值低于中位数。对于偏态分布或含有离群值的分布,应报告中位数。

1.7 · 汇总统计量:离散程度

极差、IQR 与标准差

标准差衡量各数值与均值之间的典型距离。

离差(红色)之和为零;它们的平方和为 506.89。除以 n − 1 = 8 得到方差 s² = 63.36,再开平方:s = 7.96 分钟。

结合情境解释:这九个通勤时间与均值 14.1 分钟之间的典型差异约为 8.0 分钟。只有当所有数值都相同时,s 才为 0;和均值一样,它也不具有抗干扰性。

极差是最大值减最小值。四分位数 Q₁ 和 Q₃ 分别是下半部分和上半部分数据的中位数(n 为奇数时不含中位数本身);四分位距 IQR = Q₃ − Q₁,是中间一半数据的离散程度,具有抗干扰性。第 p 百分位数是有 p% 的数据低于它的那个值。

对全班来说:极差 48,IQR 26 − 11 = 15,s = 10.4 分钟。

1.7 · 单位变换

给每个值加上或乘以一个数

给每个数值加上同一个常数,会平移中心,但不改变离散程度。给每个数值乘以同一个常数,中心和离散程度都会乘以这个常数。

十天的最高气温(°C),按 F = 1.8C + 32 换算成 °F。图中分两步完成:每个值 × 1.8(圆点彼此拉开),再 + 32(它们一起移动)。

对于 y = a + bx(b > 0):中心和位置的度量(均值、中位数、四分位数、百分位数)变为 a + b × 原值。离散程度的度量(极差、IQR、标准差)乘以 b,与 a 无关。方差乘以 b²。形状不变。

常见错误:把标准差加上 32。给每个值加同一个数,是把它们一起平移;它们之间的距离,以及与均值的距离,都保持不变。

1.8 · 汇总统计量的图形表示

箱线图与 1.5 × IQR 规则

箱线图画出五数概括:一个从 Q₁ 到 Q₃ 的箱子,一条位于中位数的线,以及延伸到不是离群值的最小值和最大值的须。

1.5 × IQR 规则。如果一个值比 Q₁ 低或比 Q₃ 高出 1.5 × IQR 以上,它就是离群值:

没有任何时间低于 −11.5;56 高于 48.5,所以它是离群值,单独画出。右须止于 38,这是不属于离群值的最大时间。有些人用的另一条规则:与均值相差超过 2 个标准差,这里即高于 40.2。

箱线图能显示偏态:这里右须更长,中位数更靠近 Q₁,所以时间是右偏的。它看不出其余信息:间隙、峰的个数和 n。数据的每一个四分之一(而不是长度的每一个四分之一)大约包含四分之一的数值。

1.9 · 比较定量变量的分布

并排比较形状、中心、离散程度与离群值

比较分布时,把它们画在同一个刻度上,结合情境,用比较性的语言比较形状、中心、离散程度和异常特征。

形状。乘公交车的通勤时间大致对称。开车的通勤时间右偏,有一个 56 分钟的离群值(高于 Q₃ + 1.5 × IQR = 55)。

中心。公交车通勤时间的中位数 26 分钟,比开车通勤时间的中位数 12 分钟长 14 分钟。

离散程度。开车通勤时间的差异更大:IQR 为 18 分钟,而公交车为 8;极差为 48,而公交车为 21。

分布偏斜或有离群值时,比较中位数和 IQR。罗列一串数字不算比较:要说明哪个更大。用于比较的图有:并排点图、并列箱线图、背靠背茎叶图,以及在同一刻度上叠放的直方图。

1.10 · 正态分布

经验法则与 z 分数

正态分布是对称的、单峰的钟形分布。它由均值 μ 和标准差 σ 确定,记作 N(μ, σ)。

成年女性的身高近似服从 N(163, 7),单位为 cm。直方图表示其中 200,其面积画成 1,上面叠加了正态曲线。μ 和 σ 描述的是模型或总体;x̄ 和 s 描述的是数据(这里分别为 163.7 和 6.9 cm)。

经验法则。在任何正态分布中,约 68% 的值落在 μ 的 1σ 范围内,95% 落在 2σ 范围内,99.7% 落在 3σ 范围内。

z 分数。标准化分数表示一个值与均值相差多少个标准差,以及在哪个方向:

身高 175 cm 的女性,比平均身高高 1.71 个标准差。z 分数可以比较不同尺度上的值;标准化后得到均值为 0、标准差为 1 的分布,即标准正态分布。

1.10 · 正态分布的计算

面积、百分位数,以及由百分位数求值

在正态模型中,某个区间内值所占的比例,就是曲线下该区间上方的面积。

低于某个值。身高低于 170 cm 的女性占多大比例?

约 84.1% 的女性身高低于 170 cm:170 cm 大约处于第 84 百分位数。高于它的比例为 1 − 0.841 = 0.159。

在两个值之间。P(155 < X < 170) = P(-1.14 < Z < 1.00) = 0.715。

由百分位数求值。第 90 百分位数的左侧面积为 0.90,对应 z = 1.282:

按考试要求写出解题过程:说明分布及其参数,标出边界和所求面积(画草图),给出 z 分数或计算器命令并标明输入(normalcdf:下限 155,上限 170,μ = 163,σ = 7),并结合情境作答。

1.10 · 正态模型合理吗?

检验数据是否近似正态

在对数据使用正态模型之前,先检查数据看起来是否正态。许多实际分布并不是正态的。

画出数据。正态模型要求点图或直方图大致对称、单峰,且没有离群值。

检验经验法则。数一数落在均值 1、2、3 个标准差内的值有多少。身高数据给出 73.0%, 94.5%, 99.5%,接近 68、95、99.7。

看正态概率图。每个值都与数据若恰好正态时它应有的 z 分数相对应作图。正态数据接近一条直线,身高数据就是如此。偏态数据会弯曲:通勤时间在右端向上弯曲,这是长长的右尾。

只用经验法则可能会产生误导。通勤时间中有 72.5% 落在均值的一个标准差之内,接近 68%。但 x̄ − 2s = 19.4 − 2(10.4) = −1.4 分钟,这是不可能的时间:正态模型会认为约有 2.3% 的通勤时间低于它。当均值与下限 0 的距离不足两个标准差时,要怀疑数据右偏。