概率与随机变量 · AP Statistics

第 4 章 · 概率与随机变量

机会,可数出来

随机现象无法逐次预测,但在大量重复中却有规律可循。概率就是研究这种长期规律的数学。

图中每个小球穿过 10 排钉子。在每个钉子处,小球向左或向右的机会均等,所以没人能说出下一个球会落在哪里。

然而 240 个小球堆积出的形状是可以预测的。红色标记是每个格子的期望高度,在任何小球落下之前就已算出。中间三格应容纳 65.6% 的小球;实际是 240 个中的 164 个,即 68.3%。

本章先讨论一个规律何时只是偶然,再用模拟估计概率,然后建立组合概率的法则:补事件、“或”、“且”、条件概率与独立性。接着把结果变成数。随机变量有带均值和标准差的分布,它们按固定方式组合。有两种分布反复出现:二项分布(图中的钉板)和几何分布。

4.1 · 随机与非随机的模式

这只是偶然吗?

随机过程靠偶然产生结果。连续出现和聚集是它的正常产物,所以随机数据中的规律不一定意味着什么。

图中一个方格是公平硬币抛 50 次的结果,另一个是人为了显得随机而写下的。人们会回避连续出现,这反而暴露了它:

	真实抛掷	编造的
heads	19	25
H ↔ T 切换次数	25	35
最长连续段	5	3

公平硬币每抛一次,下一次与之不同的概率为 1/2,所以典型的切换次数约为 24.5。编造的序列切换了 35 次;真实的切换了 25 次。

单靠偶然,这种情况有多常见?在 10,000 组模拟中,每组公平抛 50 次(柱形),有 82% 出现了 5 次或以上的连续。最长连续不超过 3 的只有 2.0%。连续 5 次反面是很普通的。编造的序列才是不寻常的。

所以篮球运动员的连续命中,或一个城镇里集中出现的病例,本身并不能说明什么。先问一问:随机偶然产生这样的规律有多常见?这个问题贯穿本课程的其余部分。

4.2 · 用模拟估计概率

长期相对频率

某个结果的概率,是它在极长的一系列重复中出现的比例。

大数定律。随着随机过程重复的次数越来越多,某个结果的相对频率会越来越接近它的概率。图中第 1 次实验在前 10 次掷骰中出现 4 个 6(0.400),在 50 次中出现 14 个(0.280),在 600 次中出现 95 个(0.158)。每次实验开头都会上下波动,最后稳定在 1/6 ≈ 0.167 附近。

这只是对长期而言的结论。骰子没有记忆:一连几次没掷出 6 之后,下一次掷出 6 的可能性也不会更大。早期的偏差不会被“补回来”,而是被后面大量的投掷淹没。

模拟是模仿随机过程来估计概率:

1. 说明如何用随机数模仿一次试验。2. 说明记录什么。3. 进行大量试验。4. 取相对频率作为估计值。

例。掷骰子四次,至少出现一个 6 的概率是多少?一次试验:取四个 1 到 6 的随机整数,各代表一次掷骰。记录其中是否有 6。前 6 次试验:

trial	1	2	3	4	5	6
rolls	2 2 4 4	5 5 1 4	5 4 5 6	2 1 4 6	6 6 2 4	5 2 5 3
掷出六点?	no	no	yes	yes	yes	no

在 1000 次试验中,有 539 次出现 6:估计值为 0.539。精确值(4.3)是 1 − (5/6)⁴ = 0.518。试验次数越多,平均而言估计值越接近它。使用随机数表时,用 1–6 代表骰子的各面,跳过 0、7、8 和 9。

4.3 · 概率初步

样本空间、事件与对立事件

随机过程的样本空间 S 是其所有可能结果的集合。事件是一些结果组成的集合,它的概率是 0 到 1 之间的数。

掷两个骰子。样本空间有 6 × 6 = 36 个结果,图中每个方块代表一个,它们等可能。当结果等可能时,

P(A) = \frac{\text{number of outcomes in } A}{\text{number of outcomes in } S}

事件 A“点数之和为 7”含有 6 个结果(红色):(1, 6)、(2, 5)、(3, 4)、(4, 3)、(5, 2)、(6, 1)。所以 P(A) = 6/36 = 0.167。顺序很重要:(1, 6) 和 (6, 1) 是不同的结果。

每个事件都满足 0 ≤ P(A) ≤ 1,且 P(S) = 1:S 中总有某个结果会发生。概率为 0 的事件绝不发生;概率为 1 的事件总会发生。

补事件 A^C 是 A 不发生的事件。A 与 A^C 没有共同的结果,合起来恰好充满 S,所以

P(A^C) = 1 - P(A) = 1 - \tfrac{6}{36} = \tfrac{30}{36}

求“至少一个”时,补事件是捷径。P(至少一个 6) = 1 − P(没有 6) = 1 − 25/36 = 11/36:数一数最上面一行和最右边一列的方块,共有 11 个。

4.4 · 互斥事件

不能同时发生的事件

当两个事件不可能同时发生时,它们互斥(不相交):P(A ∩ B) = 0。

记号:A ∩ B(“A 且 B”)表示两者都发生的事件;A ∪ B(“A 或 B”)表示至少一个发生的事件。在维恩图中,矩形是样本空间,这里的面积按比例绘制:每个区域的面积就是它的概率。

献血者的 ABO 血型是四种之一:

type	O	A	B	AB
probability	0.44	0.42	0.10	0.04

“A 型”和“B 型”这两个事件互斥:没有人同时是两种(AB 型自成一类)。它们的圆盘不重叠,所以面积直接相加:

\begin{aligned}P(A \cup B) &= P(A) + P(B) \\ &= 0.42 + 0.10 = 0.52\end{aligned}

图中的飞镖随机落点,所以落在某个区域的比例会趋近它的面积:落在 A 或 B 的比例趋近 0.52。其余部分,即 O 型或 AB 型,概率为 0.48 = 1 − 0.52。

只有事件互斥时,才能这样直接把概率相加。如果它们可能重叠,重叠部分就会被算两次(4.6)。

4.5 · 条件概率

已知 B 时 A 的概率

条件概率 P(A | B) 是在 B 已经发生的条件下 A 发生的概率。知道 B 发生后,样本空间缩小为 B。

一项调查询问了 500 名驾驶员,过去一个月是否曾在驾驶时发过短信:

	texted	没有	total
16–24	72	48	120
25 岁及以上	95	285	380
total	167	333	500

随机选一名驾驶员。设 T 为“发过短信”,Y 为“16–24 岁”。P(T) = 167/500 = 0.334。但如果已知该驾驶员是 16–24 岁,就只看那一行:

\begin{aligned}P(T \mid Y) &= \frac{P(T \cap Y)}{P(Y)} = \frac{72/500}{120/500} \\ &= \frac{72}{120} = 0.600\end{aligned}

右边的图分别显示每一行:年轻驾驶员中有 0.60 发过短信,年长驾驶员中则为 0.25。

顺序很重要。P(Y | T) = 72/167 = 0.431:在发过短信的驾驶员中,43.1% 是年轻人。分子相同;分母则是所给定的条件。

把定义变形,就得到乘法法则 P(A ∩ B) = P(B) · P(A | B):P(T ∩ Y) = 0.24 × 0.60 = 0.144 = 72/500。

4.5 · 树状图

沿分支相乘,跨分支相加

当随机过程分阶段发生时,树状图用分支表示每个阶段的结果。一条路径的概率是沿途各概率的乘积。

总体中有 4% 的人患有某种疾病。一项筛查检测对患者中 90% 的人呈阳性,对非患者中 10% 的人也呈阳性。第二阶段的分支是条件概率:0.9 就是 P(+ | 患病)。

path	probability	每 1000 人
有病,阳性	0.04 × 0.9 = 0.036	36
有病,阴性	0.04 × 0.10 = 0.004	4
无病,阳性	0.96 × 0.1 = 0.096	96
无病,阴性	0.96 × 0.90 = 0.864	864

有两条路径以阳性结果结束。它们互斥,所以概率相加:P(+) = 0.036 + 0.096 = 0.132。

某人检测呈阳性。他患病(C)的概率是多少?

P(C \mid +) = \frac{P(C \cap +)}{P(+)} = \frac{0.036}{0.132} = 0.273

只有约 27%。在 1000 人中,有 36 个真阳性和 96 个假阳性:这种病很少见,所以众多健康人中的少数误判,比病例还多。图中随机让 400 个人沿着树状图走下去;请观察红色和蓝色的叶节点。

4.6 · 独立事件与事件的并

加法法则,以及何时知道一个事件对另一个没有影响

如果得知其中一个事件已发生并不改变另一个事件的概率,即 P(A | B) = P(A),则事件 A 与 B 相互独立。

在某所学校,35% 的学生选修 AP Statistics(S),25% 选修 AP Biology(B),10% 两门都选。两个圆盘有重叠部分。

加法公式。P(S) 与 P(B) 相加时,重叠部分(红色)被算了两次,所以要减去一次:

\begin{aligned}P(S \cup B) &= P(S) + P(B) \\ &\quad - P(S \cap B) \\ &= 0.35 + 0.25 - 0.10 \\ &= 0.50\end{aligned}

所以两门都不选的占 0.50。对于互斥事件,P(A ∩ B) = 0,这条公式就变成 4.4 中的那一条。

检验独立性。P(S | B) = 0.10/0.25 = 0.40,但 P(S) = 0.35。得知一名学生选修生物,会使他选修统计的可能性变大,所以 S 与 B 不独立。换一种方式检验:若相互独立,P(S ∩ B) 应等于 P(S) · P(B) = 0.0875,而不是 0.10。

只有当事件相互独立时,乘法公式才化为 P(A ∩ B) = P(A) · P(B)。两枚分别掷出的骰子相互独立:P(都是六点) = 1/6 × 1/6 = 1/36。

不要混淆这两个概念。概率为正的互斥事件绝不独立:一个发生时,另一个的概率降为 0。在 4.5 中,P(发过短信 | 16–24 岁) = 0.600 ≠ P(发过短信) = 0.334,所以发短信与年龄组不独立。

4.7 · 随机变量与概率分布

用数表示结果

随机变量的取值是数值,取决于随机过程的结果。它的概率分布给出它所有可能的取值及其概率。

设 X 为某城镇中随机抽取的一户家庭拥有的汽车数。X 是离散型的:它取一列彼此分开的值。

x	0	1	2	3	4
P(X = x)	0.08	0.32	0.38	0.15	0.07
P(X ≤ x)	0.08	0.40	0.78	0.93	1.00

有效的分布要求每个概率都在 0 和 1 之间,且总和为 1。图中,柱形表示 P(X = x)。黑色阶梯表示累积概率 P(X ≤ x),即从左向右把柱形逐个加起来。

仔细读题中的措辞:

P(X ≥ 2),“至少两辆”:0.38 + 0.15 + 0.07 = 0.60,或 1 − P(X ≤ 1) = 1 − 0.40。
P(X > 2),“多于两辆”:0.22,不含 2。
P(1 ≤ X ≤ 3) = P(X ≤ 3) − P(X ≤ 0) = 0.93 − 0.08 = 0.85。

红点是随机抽取的家庭:表示到目前为止各个取值所占的比例。随着抽取次数增多,它们会趋近于柱形。这又是大数定律:概率分布就是取值的长期规律。

4.8 · 随机变量的均值与标准差

平衡点,以及与它的典型距离

随机变量的均值(期望)μ_X 是它的长期平均值。标准差 σ_X 是各取值与该均值的典型距离。

每个取值按其概率加权:

\begin{aligned}\mu_X &= \sum x_i P(x_i) \\ &= 0(0.08) + 1(0.32) + 2(0.38) \\ &\quad + 3(0.15) + 4(0.07) = 1.81 \\ \sigma_X &= \sqrt{\textstyle\sum (x_i - \mu_X)^2 P(x_i)} \\ &= \sqrt{1.0339} = 1.017\end{aligned}

均值是直方图的平衡点(红色楔形)。它不一定是 X 能取到的值:没有哪户家庭拥有 1.81 辆汽车。

结合情境。“如果随机抽取许多家庭,每户家庭的平均汽车数约为 1.81。”“随机抽取的一户家庭拥有的汽车数,通常与均值 1.81 相差约 1.02 辆。”

方差为 σ²_X = 1.0339。用简便公式可得相同结果:Σx²P(x) − μ² = 4.31 − 1.81² = 1.0339。

在坐标轴下方,黑色小球是到目前为止所抽取全部家庭的均值。它先来回摆动,然后稳定在 μ 附近:这就是关于均值的大数定律。

4.9 · 随机变量的组合

线性变换:Y = a + bX

给随机变量加上一个常数,会平移它的均值,而不改变离散程度。乘以一个常数,则均值和离散程度都乘以该常数。

转动一次转盘。X 是转盘停下时的数字,分布如下:

x	1	2	3	4
P(X = x)	0.4	0.3	0.2	0.1

μ_X = 2,σ_X = 1。玩一次要花 $7,奖金是该数字的 $3 倍。净收益为 Y = 3X − 7 美元。

\begin{aligned}\mu_{a+bX} &= a + b\mu_X \\ \sigma_{a+bX} &= |b|\,\sigma_X \\ \mu_Y &= 3(2) - 7 = -1 \\ \sigma_Y &= 3(1) = 3\end{aligned}

图中分两步完成。乘以 3,使各柱之间的距离变为 3 倍:均值和标准差都变为三倍。减去 7,使每根柱下移 7:均值移动,离散程度不变。两步都不改变柱的高度,所以形状保持不变。

结合情境。玩很多次后,玩家平均每次亏 $1。只有当 X ≥ 3 时玩家才赢钱:P(Y > 0) = 0.3。

方差乘以 b²:σ²_Y = 3² × 1 = 9。加上常数只改变中心(均值、中位数、四分位数);乘以常数既改变中心,也改变所有离散程度的度量(标准差、四分位距、极差)。

4.9 · 随机变量的和与差

均值相加;对于独立变量,方差相加

和的均值等于均值之和。当变量相互独立时,和的方差与差的方差都等于方差之和。

转动转盘(X,即上一页的变量),再掷一枚均匀的骰子(Y,均值 3.5,标准差 1.708)。转盘与骰子相互独立。它们的总和 T = X + Y 的分布用红色表示,由所有结果配对相加得到。

\begin{aligned}\mu_{X+Y} &= \mu_X + \mu_Y = 2 + 3.5 = 5.5 \\ \sigma^2_{X+Y} &= \sigma^2_X + \sigma^2_Y \\ &= 1.000 + 2.917 = 3.917 \\ \sigma_{X+Y} &= \sqrt{3.917} = 1.979\end{aligned}

标准差不能直接相加:1 + 1.71 = 2.71 太大了。它们的合成方式像直角三角形的边(见图右侧)。

差。D = Y − X 的均值为 3.5 − 2 = 1.5,方差仍为 σ²_X + σ²_Y,所以 σ_D = 1.979。减去一个随机量会增加变异性,而不会减少它。

均值法则对任何随机变量都成立。方差法则需要独立性。另外,两次转盘之和 X₁ + X₂ 不等于 2X:它的标准差是 √2 σ_X,而 2X 的标准差是 2σ_X。

正态变量。独立正态随机变量的和或差仍服从正态分布。接力赛两段分别用时 N(24, 1.5) 和 N(26.5, 2) 分钟。总用时服从 N(50.5, 2.5),其中 √(1.5² + 2²) = 2.5。P(总用时 < 48) = P(z < −1.00) = 0.1587。

4.10 · 二项分布简介

在 n 次试验中数成功次数

二项随机变量用于计数固定次数的独立试验中的成功次数,每次试验的成功概率相同。

检查四个条件(BINS):Binary(二元),每次试验不是成功就是失败;Independent(独立),各次试验相互独立;试验次数 Number 固定,为 n;Same(相同),每次试验的成功概率 p 相同。

在钉板上,每个钉子是一次试验,“向右”为成功:n = 10,p = 0.5。X 是向右的次数,即小球落入的格子。要落入第 6 格,小球必须在 10 个钉子中有 6 次向右。每条这样的路径的概率为 (1/2)¹⁰,这样的路径共有 C(10, 6) = 210 条:

\begin{aligned}P(X = x) &= \binom{n}{x}p^x(1-p)^{n-x} \\ P(X = 6) &= \tbinom{10}{6}(0.5)^{6}(0.5)^{4} \\ &= \tfrac{210}{1024} = 0.205\end{aligned}

第 6 格应得到 240 × 0.205 ≈ 49 的小球;实际得到 47。

结合情境。一名球员罚球命中率为 70%,投了 10 次,我们视为相互独立。X 是命中次数,服从二项分布,n = 10,p = 0.7。

P(X = 8) = C(10, 8)(0.7)⁸(0.3)² = 0.2335。
P(X ≥ 8) = 1 − P(X ≤ 7) = 1 − 0.6172 = 0.3828:“至少”要用对立事件的累积概率。

不是二项分布的情形:不放回地抽牌(各次试验不独立);数到第一次出现正面为止的抛掷次数(没有固定的 n:见 4.12)。

4.11 · 二项分布的参数

μ = np,σ = √(np(1 − p))

二项分布由两个参数 n 和 p 决定。它的均值和标准差可由这两个参数得出。

\mu_X = np \qquad \sigma_X = \sqrt{np(1-p)}

对这块钉板,μ = 10(0.5) = 5,σ = √(10 × 0.5 × 0.5) = 1.58。距均值一个 σ 以内的柱,即 4, 5, 6,占概率的 0.656。

这就是 4.9 中的运算法则的应用。X 是 10 次独立试验之和,每次试验以概率 p 取 1,否则取 0。一次试验的均值为 p,方差为 p(1 − p)。均值可以相加,方差也可以相加。

结合情境。对罚球而言,μ = 10(0.7) = 7,σ = √(10 × 0.7 × 0.3) = 1.45。“在许多组 10 次罚球中,她平均每组投进 7 个;投进的个数通常与 7 相差约 1.45。”

形状。当 p = 0.5 时,分布是对称的。当 p 接近 0 或 1 时,分布是偏斜的,n 越大偏斜越小。当 np ≥ 10 且 n(1 − p) ≥ 10 时,分布接近正态分布,第 5 单元会用到这一点。

10% 条件。不放回抽样会使各次试验相互依赖。如果样本不超过总体的 10%,这种依赖很小,二项模型仍然适用。

4.12 · 几何分布

直到第一次成功的试验次数

几何随机变量是在每次成功概率相同的独立试验中,数到第一次成功为止(含第一次成功)的试验次数。

某麦片品牌在 20% 的盒子里放了奖品。一盒一盒地打开,直到找到奖品;X 是打开的盒数。试验次数不固定,所以 X 不是二项变量。要在第 x 次试验(x = 1, 2, 3, …)首次成功,前 x − 1 次试验必须都失败:

\begin{aligned}P(X = x) &= (1-p)^{x-1}p \\ P(X = 3) &= (0.8)^{2}(0.2) = 0.128\end{aligned}

每根柱是前一根的 0.8 倍,所以分布总是右偏,最可能的取值总是 1。

P(X ≤ 3) = 1 − P(前 3 盒都没有奖品) = 1 − 0.8³ = 0.488。
P(X > 5) = 0.8⁵ = 0.328:前五盒全部失败。

\begin{aligned}\mu_X &= \frac{1}{p} = 5 \\ \sigma_X &= \frac{\sqrt{1-p}}{p} = \frac{\sqrt{0.8}}{0.2} = 4.47\end{aligned}

结合情境。“如果这个过程重复很多次,平均需要打开 5 盒才能找到奖品。”图中依次演示每一次试验:盒子一个个打开,直到出现红色的那一盒,然后小球标出这一次的 X。