Suy luận về tỉ lệ · AP Statistics

Chương 6 · Suy luận về tỉ lệ

khoảng tin cậy và kiểm định cho p

Một tỉ lệ mẫu ước lượng tỉ lệ tổng thể. Suy luận cho biết có thể tin vào nó đến mức nào.

Trong hình, 50 mẫu ngẫu nhiên gồm 500 người lớn được lấy từ một thành phố, nơi tỉ lệ p = 0.60 ủng hộ một làn đường dành cho xe đạp mới. Hình biết p; một cuộc khảo sát thực tế thì không bao giờ biết.

Mỗi mẫu cho ra p̂ riêng (một chấm) và một khoảng tin cậy 95% quanh nó (một thanh). Đường thẳng đứng là p. 47 trong 50 khoảng chứa nó; 3, màu đỏ, thì không.

Chương này xây dựng các khoảng đó và nói rõ “tin cậy 95%” có nghĩa và không có nghĩa là gì. Sau đó đảo ngược câu hỏi: một kiểm định ý nghĩa hỏi liệu mẫu có gây ngạc nhiên không nếu một giá trị p được nêu là đúng, và quyết định đó có thể mắc những sai lầm nào. Cuối cùng là hai công cụ tương tự cho hiệu của hai tỉ lệ.

6.1 · Vì sao lại là phân bố chuẩn?

phân bố mẫu của p̂

Tỉ lệ mẫu thay đổi từ mẫu này sang mẫu khác. Khi mẫu đủ lớn, phân phối của chúng xấp xỉ chuẩn, nên một mô hình chuẩn cho biết kết quả nào là bất thường.

Trong hình, các mẫu ngẫu nhiên được lấy từ một tổng thể có p = 0.1, và p̂ của mỗi mẫu rơi vào một biểu đồ tần suất: mẫu cỡ 20 ở bên trái, cỡ 200 ở bên phải. Đường cong đỏ là mô hình chuẩn.

\mu_{\hat p} = p \qquad \sigma_{\hat p} = \sqrt{\frac{p(1-p)}{n}}

p̂ có tâm tại p: nó là ước lượng không chệch. Độ phân tán của nó giảm khi n tăng: σ là 0.067 với n = 20 và 0.021 với n = 200. Mẫu lớn gấp 10 lần thì độ phân tán giảm √10 lần.

Điều kiện số lượng lớn. Dạng phân phối xấp xỉ chuẩn khi np ≥ 10 và n(1 − p) ≥ 10. Với n = 20, np = 2: biểu đồ lệch phải và dồn sát 0, và đường cong chuẩn có 6.8% diện tích nằm dưới 0, nơi p̂ không thể đạt tới. Với n = 200, np = 20 và n(1 − p) = 180: đường cong khớp tốt.

Điều kiện 10%. Công thức của σ giả định các quan sát độc lập. Khi lấy mẫu không hoàn lại, điều đó đủ gần đúng nếu cỡ mẫu không quá 10% tổng thể.

Ví dụ. Với n = 200, khả năng p̂ ≥ 0.15 là bao nhiêu? z = (0.15 − 0.1)/0.0212 = 2.36, và P(Z ≥ 2.36) = 0.0092. Một mẫu cao hơn 0.1 đến mức đó sẽ rất bất thường nếu chỉ do ngẫu nhiên.

6.2 · Xây dựng khoảng tin cậy

thống kê ± (giá trị tới hạn)(sai số chuẩn)

A confidence interval gives a range of plausible values for p: the sample’s p̂, plus and minus a margin of error.

A random sample of 500 adults in a city: 290 support a new bike lane, so p̂ = 290/500 = 0.580. A one-sample z interval for p:

\begin{aligned}\hat p &\pm z^*\sqrt{\frac{\hat p(1-\hat p)}{n}} \\ &= 0.580 \pm 1.960\sqrt{\frac{(0.58)(0.42)}{500}} \\ &= 0.580 \pm 0.043 = (0.537,\ 0.623)\end{aligned}

z* = 1.960 for 95%: the middle 95% of a standard normal lies between −1.960 and 1.960. The standard error uses p̂ in place of the unknown p. The margin of error is z* × SE = 0.043.

condition	check
Random	a random sample of adults
10%	500 ≤ 10% of the city’s 820,000 adults
Large counts	np̂ = 290 and n(1 − p̂) = 210, both ≥ 10

Why it works. In 95% of samples p̂ lands within 1.96σ of p (the blue band). Whenever it does, the interval reaching 1.96 SE either side of p̂ reaches back over p. In the figure, sample 6 lands outside the band, and its interval misses.

On the exam, name the procedure, check the conditions, do the arithmetic, and state the interval in context.

6.2 · Sai số biên và cỡ mẫu

chọn n trước khi lấy mẫu

Sai số biên giảm khi n tăng, nhưng chậm: như 1/√n. Để lập kế hoạch khảo sát, hãy chọn sai số biên trước, rồi giải tìm n.

\begin{aligned}&z^*\sqrt{\frac{p^*(1-p^*)}{n}} \le \text{ME} \\ &n \ge \Big(\frac{z^*}{\text{ME}}\Big)^2 p^*(1-p^*)\end{aligned}

p* là một giá trị ước đoán của p. Nếu không có, dùng p* = 0.5: khi đó p*(1 − p*) = 0.25, là giá trị lớn nhất của nó, nên n tìm được đủ dùng dù p hóa ra bằng bao nhiêu.

Ví dụ. Sai số biên tối đa 0.03 ở mức tin cậy 95%:

n \ge \Big(\frac{1.960}{0.03}\Big)^2(0.5)(0.5) = 1067.1

nên n = 1068. Luôn làm tròn lên: 1067 sẽ cho sai số biên lớn hơn 0.03 một chút. Với ước lượng từ một nghiên cứu thử p* = 0.2, 683 là đủ (đường cong xanh).

Giảm một nửa sai số biên cần mẫu lớn gấp bốn lần: n nằm dưới dấu căn bậc hai.

Sai số biên chỉ tính đến biến thiên ngẫu nhiên của việc lấy mẫu ngẫu nhiên. Nó không nói gì về chệch do bỏ sót, không phản hồi hay câu hỏi mang tính dẫn dắt.

6.3 · Diễn giải khoảng tin cậy

“tin cậy 95%” có nghĩa và không có nghĩa là gì

Khoảng tin cậy là một phát biểu về p. Mức tin cậy là một phát biểu về phương pháp tạo ra khoảng đó.

Khoảng tin cậy. “Chúng ta tin tưởng 95% rằng khoảng từ 0.537 đến 0.623 chứa tỉ lệ thật của tất cả người trưởng thành trong thành phố ủng hộ làn đường dành cho xe đạp.” Hãy nêu rõ tham số, trong ngữ cảnh.

Mức tin cậy. “Nếu ta lấy nhiều mẫu ngẫu nhiên cỡ 500 và từ mỗi mẫu xây dựng một khoảng tin cậy 95%, thì khoảng 95% các khoảng đó sẽ chứa tỉ lệ thật.” Trong hình, có 47 trong số 50 khoảng chứa tỉ lệ thật; 3 khoảng màu đỏ không chứa, và không có dấu hiệu nào báo trước cho ta.

Không phải: “có xác suất 95% để p nằm giữa 0.537 và 0.623.” p là một giá trị cố định; khoảng này hoặc chứa nó, hoặc không. Cũng không phải nói về 95% người trưởng thành, hay 95% các tỉ lệ mẫu.

Biện luận cho một khẳng định. Mọi giá trị nằm trong khoảng đều là giá trị hợp lí của p.

khẳng định	từ (0.537, 0.623)
đa số ủng hộ, p > 0.5	thuyết phục: mọi giá trị hợp lí đều lớn hơn 0.5
p = 0.60	hợp lí: nó nằm trong khoảng
p ≥ 0.65	không hợp lí: khoảng nằm dưới giá trị đó

Hợp lí không có nghĩa là đã được chứng minh: khoảng không cho thấy p = 0.60, chỉ cho thấy không thể loại trừ 0.60.

6.3 · Mức tin cậy và độ rộng

tin cậy cao hơn thì khoảng rộng hơn; thêm dữ liệu sẽ thu hẹp lại

Mức tin cậy cao hơn cần z* lớn hơn, nên khoảng rộng hơn. Mẫu lớn hơn làm giảm sai số chuẩn, nên khoảng hẹp lại.

mức	z*	sai số biên	khoảng
90%	1.645	0.036	(0.544, 0.616)
95%	1.960	0.043	(0.537, 0.623)
99%	2.576	0.057	(0.523, 0.637)
95%, n = 2,000	1.960	0.022	(0.558, 0.602)

Tất cả đều từ cùng một p̂ = 0.58. Trong hình, khoảng màu đỏ quét qua các mức từ 80.0% đến 99.5%; khoảng màu xanh có cỡ mẫu gấp bốn lần và sai số biên giảm một nửa.

Khoảng 99% chứa p thường xuyên hơn, nhưng cho biết ít hơn. Muốn vừa tin cậy cao vừa khoảng hẹp thì cần mẫu lớn hơn.

Mức tin cậy được chọn trước khi có dữ liệu; nó không phải xác suất để một khoảng cụ thể là đúng. Cả mức tin cậy lẫn n đều không làm thay đổi tâm của khoảng: p̂.

6.4 · Thiết lập một kiểm định

giả thuyết và điều kiện, với p₀

Kiểm định ý nghĩa thống kê hỏi xem mẫu có cho bằng chứng thuyết phục chống lại một khẳng định về p hay không.

Một hãng điện thoại nói rằng 25% số điện thoại của hãng cần sửa chữa trong vòng hai năm. Một tổ chức người tiêu dùng nghi ngờ tỉ lệ này cao hơn. Trong một mẫu ngẫu nhiên gồm 400 điện thoại của hãng, có 118 chiếc cần sửa chữa: p̂ = 0.295.

H_0\!: p = 0.25 \qquad H_a\!: p > 0.25

trong đó p là tỉ lệ của tất cả điện thoại của hãng cần sửa chữa trong vòng hai năm. Giả thuyết không H₀ là khẳng định “không khác biệt so với 0.25”; giả thuyết đối H_a là điều tổ chức hy vọng tìm được bằng chứng ủng hộ. Các giả thuyết nói về tham số p, không bao giờ nói về p̂, và được đặt ra trước khi thấy dữ liệu.

H_a là một phía (> hoặc <) khi câu hỏi có hướng, và là hai phía (≠) khi mọi sự khác biệt đều quan trọng.

điều kiện	kiểm tra
Ngẫu nhiên	một mẫu ngẫu nhiên các điện thoại của hãng
10%	400 ≤ 10% tổng số điện thoại của hãng
Số đếm lớn	np₀ = 100 và n(1 − p₀) = 300, cả hai ≥ 10

Điều kiện số đếm lớn dùng p₀, không dùng p̂: phép kiểm định tính xem điều gì sẽ xảy ra nếu H₀ đúng. Hình vẽ 200 mẫu cỡ 400 lấy từ p = 0.25; chúng tụ lại quanh đường cong chuẩn có tâm 0.25 và độ lệch chuẩn 0.0217.

z = \frac{\hat p - p_0}{\sqrt{\frac{p_0(1-p_0)}{n}}} = \frac{0.295 - 0.25}{0.0217} = 2.08

6.5 · Diễn giải giá trị p

đáng ngạc nhiên đến mức nào, nếu H₀ đúng

Giá trị p là xác suất, giả sử H₀ đúng, để có một thống kê ít nhất cũng cực đoan như thống kê quan sát được, theo hướng của H_a.

\text{p-value} = P(Z \ge 2.08) = 0.019

Trong hình, 5 trong số 200 mẫu lấy với p = 0.25 đạt 0.295 trở lên: tỉ lệ 0.025, gần với 0.019 của mô hình chuẩn.

Trong ngữ cảnh: “Giả sử 25% số điện thoại của hãng cần sửa chữa, thì có xác suất 0.019 để thu được tỉ lệ mẫu từ 0.295 trở lên trong một mẫu ngẫu nhiên gồm 400 điện thoại, chỉ do ngẫu nhiên.”

Giá trị p nhỏ nghĩa là dữ liệu sẽ hiếm gặp nếu H₀ đúng: đó là bằng chứng chống lại H₀. Giá trị p lớn nghĩa là dữ liệu thuộc loại mà H₀ thường tạo ra: không có bằng chứng chống lại nó.

Không phải: xác suất để H₀ đúng, cũng không phải xác suất để kết quả xảy ra do ngẫu nhiên. Giá trị p được tính với giả sử H₀.

Với H_a hai phía, hãy tính cả hai đuôi: giá trị p bằng hai lần diện tích phía ngoài |z|.

6.6 · Kết luận một kiểm định

so sánh giá trị p với α

Trước khi có dữ liệu, hãy chọn một mức ý nghĩa α. Nếu giá trị p nhỏ hơn α thì bác bỏ H₀; nếu không thì không bác bỏ H₀.

Với α = 0.05: 0.019 < 0.05, nên bác bỏ H₀. “Vì giá trị p là 0.019 nhỏ hơn α = 0.05, ta bác bỏ H₀. Ta có bằng chứng thuyết phục rằng hơn 25% số điện thoại của hãng cần sửa chữa trong vòng hai năm.”

Với α = 0.01: 0.019 > 0.01, nên không bác bỏ H₀. “Ta không có bằng chứng thuyết phục rằng hơn 25% số điện thoại cần sửa chữa.”

Không bao giờ nói “chấp nhận H₀”: không tìm được bằng chứng chống lại một khẳng định không chứng tỏ khẳng định đó đúng.

Cùng quyết định đó có thể đưa ra bằng thống kê kiểm định: bác bỏ khi z vượt quá giá trị tới hạn, z* = 1.645 với α = 0.05 một phía, 2.326 với 0.01. Trong hình, α quét từ 0.005 đến 0.1; vùng màu xanh nằm ngoài z*, và quyết định đổi chiều khi nó đi qua z = 2.08.

Kết quả có giá trị p dưới α được gọi là có ý nghĩa thống kê ở mức đó. Có ý nghĩa thống kê không có nghĩa là lớn hay quan trọng.

6.7 · Sai lầm và lực kiểm định

Sai lầm loại I, loại II và lực kiểm định

Một phép kiểm định có thể sai theo hai cách. Lực kiểm định của nó là khả năng nhận ra đúng khi H₀ sai.

	H₀ đúng	H₀ sai
bác bỏ H₀	Sai lầm loại I, xác suất α	đúng: lực kiểm định
không bác bỏ	đúng	Sai lầm loại II, xác suất β

Trong ngữ cảnh: sai lầm loại I là kết luận rằng hơn 25% số điện thoại cần sửa chữa trong khi thực tế chỉ có 25%; hãng bị buộc tội oan. Sai lầm loại II là bỏ sót một mức vượt thực sự; chủ điện thoại vẫn tiếp tục trả tiền sửa chữa.

Giả sử sự thật là p = 0.3. Với α = 0.05, phép kiểm định bác bỏ khi p̂ > 0.2856. Với n = 400:

\begin{aligned}\text{power} &= P(\hat p > 0.2856 \mid p = 0.30) \\ &= 0.735 \\ \beta &= 1 - \text{power} = 0.265\end{aligned}

n	100	200	400	800
lực kiểm định	0.322	0.496	0.735	0.937

Lực kiểm định tăng khi mẫu lớn hơn (các đường cong hẹp lại, như trong hình), khi α lớn hơn (với α = 0.1 và n = 400, 0.834), và khi p thật cách xa p₀ hơn. Giảm α làm giảm sai lầm loại I nhưng làm tăng β: hai điều này đánh đổi nhau khi n cố định.

6.8 · Khoảng tin cậy cho một hiệu

p̂₁ − p̂₂, từ hai mẫu độc lập

Để so sánh hai tỉ lệ, hãy ước lượng hiệu của chúng: (p̂₁ − p̂₂) ± z* × SE.

Hai mẫu ngẫu nhiên độc lập gồm 400 thanh thiếu niên và 500 người trưởng thành: 248 thanh thiếu niên và 255 người trưởng thành nói rằng họ chủ yếu lấy tin tức từ mạng xã hội. p̂₁ = 0.62, p̂₂ = 0.51, hiệu là 0.11.

\begin{aligned}\text{SE} &= \sqrt{\frac{\hat p_1(1-\hat p_1)}{n_1} + \frac{\hat p_2(1-\hat p_2)}{n_2}} \\ &= \sqrt{0.000589 + 0.000500} \\ &= 0.0330\end{aligned}

\begin{aligned}(\hat p_1 - \hat p_2) &\pm z^*\,\text{SE} \\ &= 0.11 \pm 1.960(0.0330) \\ &= 0.11 \pm 0.065 \\ &= (0.045,\ 0.175)\end{aligned}

Phương sai được cộng lại, không phải sai số chuẩn: hiệu của hai ước lượng độc lập biến thiên nhiều hơn mỗi ước lượng riêng lẻ.

điều kiện	kiểm tra
Ngẫu nhiên	hai mẫu ngẫu nhiên độc lập (hoặc hai nhóm từ một thí nghiệm ngẫu nhiên hóa)
10%	mỗi mẫu ≤ 10% tổng thể của nó
Số đếm lớn	248, 152, 255, 245: cả bốn đều ≥ 10

Hãy nêu rõ nhóm nào là nhóm 1. Thứ tự quyết định dấu: người trưởng thành trừ thanh thiếu niên sẽ cho (-0.175, -0.045).

6.9 · Biện luận cho một nhận định về hiệu

0 có phải là giá trị hợp lí của p₁ − p₂ không?

Nếu 0 nằm ngoài khoảng, dữ liệu cho bằng chứng thuyết phục rằng hai tỉ lệ khác nhau. Nếu 0 nằm trong khoảng, thì không.

Trong ngữ cảnh: “Chúng ta tin tưởng 95% rằng khoảng từ 0.045 đến 0.175 chứa hiệu thật (thanh thiếu niên trừ người trưởng thành) của các tỉ lệ người chủ yếu lấy tin tức từ mạng xã hội.”

Mọi giá trị đều lớn hơn 0, nên có bằng chứng thuyết phục rằng tỉ lệ thanh thiếu niên làm vậy lớn hơn tỉ lệ người trưởng thành: lớn hơn khoảng từ 4.5 đến 17.5 điểm phần trăm.

Một nghiên cứu nhỏ hơn. Cùng p̂ từ 100 thanh thiếu niên và 100 người trưởng thành cho (-0.027, 0.247) (màu xanh). 0 nằm trong khoảng: hiệu bằng 0 là hợp lí, nên các dữ liệu này không cho bằng chứng thuyết phục về sự khác biệt.

Điều đó không phải là bằng chứng cho thấy không có khác biệt: khoảng này còn cho phép hiệu lớn đến 0.25. Mẫu lớn hơn sẽ làm khoảng hẹp lại.

Một khoảng hoàn toàn âm sẽ là bằng chứng cho p₁ < p₂. Một khoảng chứa 0 cho cùng kết luận với kiểm định hai phía ở mức α = 1 − C không bác bỏ được giả thuyết.

6.10 · Thiết lập kiểm định hai mẫu

H₀: không có khác biệt, và tỉ lệ gộp

Kiểm định z hai mẫu cho biết hiệu của hai tỉ lệ mẫu có lớn hơn mức mà ngẫu nhiên có thể tạo ra hay không.

Trong một thí nghiệm, 300 tình nguyện viên được phân ngẫu nhiên: 150 người nhận tin nhắn nhắc, 150 người không. 87 người ở nhóm được nhắc đã tiêm phòng cúm (0.58) và 66 người ở nhóm kia (0.44).

\begin{aligned}H_0\!&: p_1 - p_2 = 0 \\ H_a\!&: p_1 - p_2 > 0\end{aligned}

trong đó p₁ và p₂ là các tỉ lệ thật sẽ đi tiêm phòng cúm khi có và không có tin nhắn nhắc.

Gộp. H₀ cho rằng hai tỉ lệ bằng nhau, nên phép kiểm định ước lượng một giá trị chung từ cả hai nhóm cùng nhau, gọi là tỉ lệ gộp (kết hợp). Trong hình, hai nhóm nhập lại và các mũi tiêm được dàn đều ra giữa chúng:

\hat p_c = \frac{X_1 + X_2}{n_1 + n_2} = \frac{87 + 66}{150 + 150} = 0.510

điều kiện	kiểm tra
Ngẫu nhiên	phân ngẫu nhiên vào hai nghiệm thức
10%	không cần: không lấy mẫu từ một tổng thể
Số đếm lớn	với p̂_c: 76.5, 73.5, 76.5, 73.5, tất cả ≥ 10

6.11 · Thực hiện kiểm định hai mẫu

z, giá trị p và kết luận trong ngữ cảnh

Thống kê kiểm định đo hiệu quan sát được theo đơn vị sai số chuẩn, với sai số chuẩn tính từ p̂_c.

\begin{aligned}\text{SE} &= \sqrt{\hat p_c(1-\hat p_c)\Big(\frac{1}{n_1} + \frac{1}{n_2}\Big)} \\ &= \sqrt{(0.51)(0.49)\Big(\frac{1}{150} + \frac{1}{150}\Big)} \\ &= 0.0577\end{aligned}

\begin{aligned}z &= \frac{(\hat p_1 - \hat p_2) - 0}{\text{SE}} \\ &= \frac{0.58 - 0.44}{0.0577} = 2.43\end{aligned}

giá trị p = P(Z ≥ 2.43) = 0.0076, là phần đuôi màu đỏ trong hình.

Kết luận. “Vì giá trị p là 0.0076 nhỏ hơn α = 0.05, ta bác bỏ H₀. Ta có bằng chứng thuyết phục rằng tin nhắn nhắc làm tăng tỉ lệ những người giống các tình nguyện viên này đi tiêm phòng cúm.”

Phân ngẫu nhiên cho phép kết luận về quan hệ nhân quả. Các tình nguyện viên không phải là mẫu ngẫu nhiên, nên kết luận chỉ áp dụng cho những người giống họ.

Gộp khi kiểm định, vì H₀ cho rằng p₁ = p₂. Đừng gộp khi tính khoảng tin cậy, vì khoảng không có giả định đó.