Kiểm định chi bình phương · AP Statistics

Chương 8 · Kiểm định chi bình phương

số đếm so với giá trị kì vọng

Kiểm định chi bình phương xét xem số đếm trong các nhóm có lệch quá xa so với dự đoán của một giả thuyết đến mức không thể đổ cho ngẫu nhiên hay không.

Một hãng kẹo nói rằng các túi kẹo của họ 24% blue, 20% orange, 16% green, 14% yellow, 13% red, 13% brown. Ta đếm một túi 200 (các cột đen). Nếu lời khẳng định đúng, túi đó phải có khoảng 200 × 0.24 = 48 viên xanh, và tương tự cho các màu khác (các cột mờ).

Không túi nào khớp hoàn toàn. Các thanh đỏ là các chênh lệch, quan sát − kì vọng. Mỗi chênh lệch được bình phương rồi chia cho số đếm kì vọng của nó, và các phần ấy cộng lại thành một số, là thống kê chi bình phương, χ² = 12.11.

χ² nhỏ nghĩa là số đếm gần với lời khẳng định; χ² lớn nghĩa là không. Chương này hỏi thế nào là quá lớn: với một biến so với một phân phối được khẳng định (kiểm định mức độ phù hợp), và với bảng hai chiều (tính đồng nhất và tính độc lập).

8.1 · Kết quả của tôi có bất ngờ không?

điều mà riêng yếu tố ngẫu nhiên có thể tạo ra

Các mẫu ngẫu nhiên luôn biến thiên. Để đánh giá một kết quả, hãy so sánh nó với những kết quả mà riêng ngẫu nhiên tạo ra khi lời khẳng định là đúng.

Hình này lấp đầy 300 túi 200 một cách ngẫu nhiên từ đúng tỉ lệ màu được khẳng định. Mỗi túi mô phỏng (bên trái) lệch khỏi số đếm kì vọng một chút, và χ² của nó rơi vào một chấm trong biểu đồ chấm.

Ngay cả khi lời khẳng định đúng, χ² cũng không bao giờ bằng 0, và thường là vài đơn vị. 300 giá trị này có trung bình 4.99. Chỉ có 10 trong 300 giá trị (màu đỏ) đạt tới 12.11 của túi thật: một tỉ lệ 0.033.

Đó là logic của mọi kiểm định: nếu lời khẳng định đúng, ta thấy một kết quả ít nhất cực đoan như thế này thường xuyên đến mức nào? Nếu hiếm, kết quả là bằng chứng có ý nghĩa thống kê chống lại lời khẳng định. Nếu thường, dữ liệu không cho ta lí do nghi ngờ nó, nhưng điều đó không chứng minh nó đúng.

Đường cong xám là phân phối χ² mà các chấm dần tiến tới. Nó cho phép ta tìm xác suất mà không cần mô phỏng (8.3).

8.2 · Thiết lập kiểm định về mức độ phù hợp

giả thuyết, số đếm kì vọng, điều kiện

Kiểm định chi bình phương về sự phù hợp kiểm tra xem phân phối của một biến định tính có khớp với một phân phối được nêu hay không.

Các giả thuyết nói về tỉ lệ của tổng thể, không bao giờ nói về số đếm của mẫu:

H₀: p_{xanh dương} = 0.24, p_cam = 0.2, … , p_nâu = 0.13 (phân phối được nêu là đúng).
H_a: có ít nhất một tỉ lệ khác với giá trị được nêu.

H_a không phải là “tất cả đều khác”, và nó không chỉ ra chiều nào.

Số đếm kì vọng là n × p_i, tính từ H₀:

màu	blue	orange	green	yellow	red	brown
p được nêu	0.24	0.2	0.16	0.14	0.13	0.13
kì vọng	48	40	32	28	26	26

Chúng có tổng bằng n = 200, và không nhất thiết là số nguyên: đừng làm tròn.

Điều kiện. Ngẫu nhiên: mẫu ngẫu nhiên (hoặc thí nghiệm có phân nhóm ngẫu nhiên). 10%: khi lấy mẫu không hoàn lại, n ≤ 10% tổng thể (200 viên kẹo ít hơn nhiều so với 10% tổng số kẹo của nhà sản xuất). Số đếm lớn: mọi số đếm kì vọng đều ít nhất là 5; ở đây số nhỏ nhất là 26. Hãy kiểm tra số đếm kì vọng, không phải số đếm quan sát.

8.3 · Thống kê chi bình phương

các chênh lệch bình phương, chia theo số kì vọng

Thống kê χ² cộng, trên mọi nhóm, chênh lệch bình phương giữa quan sát và kì vọng, chia cho số đếm kì vọng.

\chi^2 = \sum \frac{(\text{observed} - \text{expected})^2}{\text{expected}}

màu	O	E	O − E	(O − E)²/E
blue	34	48	−14	4.08
orange	48	40	+8	1.60
green	41	32	+9	2.53
yellow	19	28	−9	2.89
red	27	26	+1	0.04
brown	31	26	+5	0.96
tổng	200	200	0	12.11

Các chênh lệch luôn cộng lại bằng 0, nên không thể cộng trực tiếp: bình phương làm cho mỗi chênh lệch đều được tính. Chia cho E làm cho chênh lệch có trọng số lớn hơn khi số kì vọng nhỏ: lệch 10 trên 20 kì vọng quan trọng hơn lệch 10 trên 200.

Bậc tự do là số nhóm trừ một: df = 6 − 1 = 5. Khi đã biết năm số đếm, số đếm thứ sáu được xác định bởi tổng.

Đóng góp lớn nhất cho biết dữ liệu và lời khẳng định bất đồng nhiều nhất ở đâu: blue, 4.08 trong 12.11, với 34 quan sát so với 48 kì vọng: ít kẹo blue hơn lời khẳng định.

8.3 · Giá trị p và kết luận

đi sâu vào đuôi đến đâu

Giá trị p là diện tích dưới đường cong χ² với df của phép kiểm định, từ giá trị χ² quan sát trở đi về bên phải: các giá trị lớn là bằng chứng chống lại H₀, nên phép kiểm định luôn xét đuôi phải.

p = P(\chi^2_{5} \ge 12.11) = 0.033

Mô phỏng ở 8.1 cho 0.033, gần với cùng đáp án.

Diễn giải. Giả sử phân phối mà hãng khẳng định là đúng, có xác suất 0.033 để thu được χ² bằng 12.11 hoặc lớn hơn chỉ do ngẫu nhiên trong một mẫu ngẫu nhiên gồm 200 viên kẹo.

Kết luận. Vì p = 0.033 < α = 0.05, ta bác bỏ H₀. Có bằng chứng thuyết phục rằng phân phối màu kẹo của hãng này khác với lời khẳng định.

Nếu dùng bảng thay cho công nghệ: giá trị tới hạn với df = 5 và diện tích đuôi 0.05 là χ²* = 11.07 (màu xanh). 12.11 > 11.07, nên p < 0.05.

Nếu p lớn hơn α, kết luận sẽ là “chưa có bằng chứng thuyết phục rằng phân phối khác”: không bao giờ là “lời khẳng định đúng”, và không bao giờ là “chấp nhận H₀”. Kiểm định χ² cũng không cho biết phân phối lệch theo hướng nào; muốn biết, hãy xem các đóng góp lớn nhất.

8.3 · Các phân phối chi bình phương

một họ phân phối, mỗi df một phân phối

Các phân phối χ² là một họ đường cong mật độ, mỗi đường ứng với một số bậc tự do.

Mỗi phân phối chỉ nhận giá trị từ 0 trở lên, vì χ² là một tổng các bình phương. Mỗi phân phối đều lệch phải. Trung bình của nó là df, và với df ≥ 2 đỉnh của nó nằm tại df − 2.

Khi df tăng, đường cong dịch sang phải, trải rộng ra và bớt lệch hơn (đường màu đỏ chạy qua các giá trị df từ 1 đến 12). Càng nhiều nhóm thì tổng càng có nhiều số hạng, nên ta kì vọng χ² lớn hơn ngay cả khi H₀ đúng.

Vì vậy cùng một giá trị χ² có thể là bằng chứng mạnh ở một df nhưng không là gì ở df khác. Các giá trị tới hạn phía trên:

df	1	2	3	4	5	10
đuôi 0.05	3.84	5.99	7.81	9.49	11.07	18.31
đuôi 0.01	6.63	9.21	11.34	13.28	15.09	23.21

Một cách kiểm tra nhanh: χ² gần bằng df là chuyện bình thường. Giá trị 12.11 của các viên kẹo lớn hơn hai lần df của nó là 5.

Phân phối χ² chỉ là một xấp xỉ của phân phối mẫu thực của thống kê này. Xấp xỉ này tốt khi mọi tần số kì vọng đều ít nhất là 5: đó là lí do điều kiện này quan trọng.

8.4 · Số đếm kì vọng trong bảng hai chiều

từ các tổng biên

Với bảng hai chiều, mỗi tần số kì vọng bằng tổng hàng nhân tổng cột, chia cho tổng của bảng.

\text{expected count} = \frac{\text{row total} \times \text{column total}}{\text{table total}}

Một mẫu ngẫu nhiên gồm 400 người trưởng thành, mỗi người được phân loại theo nhóm tuổi và nguồn tin tức chính. Tần số quan sát, với tần số kì vọng trong ngoặc:

	online	TV	print	tổng
18–34	64 (48.2)	46 (49.6)	24 (36.2)	134
35–54	43 (47.5)	48 (48.8)	41 (35.6)	132
55+	37 (48.2)	54 (49.6)	43 (36.2)	134
tổng	144	148	108	400

Vì sao cách này đúng. Nhìn chung, 144 trong 400 người trưởng thành (36%) lấy tin tức online. Nếu nhóm tuổi không có ảnh hưởng, thì tỉ lệ đó cũng sẽ đúng với 134 người trưởng thành ở độ tuổi 18–34: 134 × 144/400 = 48.24.

Các tần số kì vọng có cùng tổng biên với các tần số quan sát. Hình tính từng ô một: nắp màu đỏ là tần số kì vọng, hai khối màu xanh là hai tổng tạo ra nó.

Hãy giữ các chữ số thập phân. Tần số kì vọng là giá trị trung bình trên nhiều mẫu, không phải số đếm có thể quan sát được.

8.5 · Đồng nhất hay độc lập?

thiết kế nghiên cứu quyết định

Cùng một bảng hai chiều có thể đến từ hai thiết kế, và thiết kế quyết định đó là kiểm định nào.

Tính đồng nhất (trái): các mẫu ngẫu nhiên riêng biệt từ nhiều tổng thể (hoặc các nhóm trong một thí nghiệm), ghi lại một biến phân loại. Ở đây, lấy một mẫu từ mỗi nhóm tuổi, hỏi mỗi người về nguồn tin tức của họ. Tổng của từng hàng do thiết kế quyết định.

H₀: phân phối của nguồn tin tức giống nhau ở cả ba nhóm tuổi. H_a: phân phối của nguồn tin tức không giống nhau ở cả ba nhóm.

Tính độc lập (phải): một mẫu ngẫu nhiên từ một tổng thể, ghi lại hai biến phân loại cho mỗi cá thể. Chỉ có tổng của bảng được cố định; số người trong mỗi nhóm tuổi là do ngẫu nhiên.

H₀: không có mối liên hệ giữa nhóm tuổi và nguồn tin tức ở người trưởng thành (chúng độc lập). H_a: có mối liên hệ (chúng không độc lập).

	tính đồng nhất	tính độc lập
mẫu	một mẫu cho mỗi tổng thể hoặc nhóm	một
biến	một	hai
câu hỏi	phân phối có giống nhau ở mỗi nhóm không?	có mối liên hệ không?

Phép tính là như nhau: tần số kì vọng, χ², df và giá trị p. Điều kiện, cho cả hai: các mẫu ngẫu nhiên (hoặc phân công ngẫu nhiên); mỗi mẫu chiếm nhiều nhất 10% tổng thể của nó; mọi tần số kì vọng ít nhất là 5.

8.6 · Thực hiện kiểm định cho bảng hai chiều

χ² và df = (r − 1)(c − 1)

Với bảng hai chiều, χ² cộng (O − E)²/E trên mọi ô, và df = (số hàng − 1)(số cột − 1).

Mẫu về nguồn tin tức là một mẫu với hai biến: ta dùng kiểm định tính độc lập, với α = 0.05.

H₀: nhóm tuổi và nguồn tin tức chính độc lập với nhau ở người trưởng thành. H_a: chúng có liên hệ với nhau.

Điều kiện. Mẫu ngẫu nhiên; 400 nhỏ hơn 10% số người trưởng thành; tần số kì vọng nhỏ nhất là 35.6, ít nhất là 5.

Phần đóng góp của mỗi ô (các cột màu đỏ):

	online	TV	print
18–34	5.15	0.26	4.10
35–54	0.43	0.01	0.81
55+	2.62	0.39	1.29

\chi^2 = 15.06 \qquad \text{df} = (3-1)(3-1) = 4

Vì sao là (r − 1)(c − 1): khi các tổng biên đã cố định, sau khi điền xong một góc 2 × 2 của bảng, mọi ô còn lại đều suy ra được từ các tổng.

Các đóng góp lớn nhất: 18–34, online (5.15: 64 quan sát, 48.2 kì vọng) và 18–34, print (4.10: 24 quan sát, 36.2 kì vọng). Người trẻ nghiêng về trực tuyến và ít dùng báo in.

8.6 · Kết luận trong ngữ cảnh

bằng chứng về sự liên hệ, không phải quan hệ nhân quả

Giá trị p là diện tích phía sau χ² dưới đường cong có df = (r − 1)(c − 1), và kết luận nói về các tổng thể, trong ngữ cảnh.

p = P(\chi^2_{4} \ge 15.06) = 0.0046

Kết luận. Vì p = 0.0046 < α = 0.05, bác bỏ H₀. Có bằng chứng thuyết phục về mối liên hệ giữa nhóm tuổi và nguồn tin tức chính ở người trưởng thành.

Theo giá trị tới hạn: χ²* = 9.49 với df = 4, và 15.06 > 9.49.

Không phải quan hệ nhân quả. Đây là một nghiên cứu quan sát: kiểm định tìm ra một mối liên hệ, và không nói gì về việc tuổi tác gây ra việc chọn nguồn tin tức. Chỉ có thí nghiệm ngẫu nhiên, được kiểm định tính đồng nhất giữa các nhóm xử lí, mới có thể chỉ ra quan hệ nhân quả.

Nếu cùng các tần số đó đến từ ba mẫu riêng biệt, kết luận sẽ là: có bằng chứng thuyết phục rằng phân phối của nguồn tin tức khác nhau giữa ba nhóm tuổi.

Những lỗi thường gặp. Viết giả thuyết về mẫu; dùng phần trăm thay cho tần số; kiểm tra tần số quan sát thay vì tần số kì vọng; df = rc − 1; kết luận H₀ đúng khi p lớn.

8.7 · Selecting a procedure

z cho tỉ lệ, hay χ²

Với dữ liệu phân loại, việc chọn phương pháp phụ thuộc vào số mẫu, số biến và số nhóm.

dữ liệu	phương pháp
một mẫu, một biến có hai nhóm, một nhận định về p	kiểm định z một mẫu (hoặc khoảng tin cậy) cho p
hai mẫu hoặc hai nhóm, một biến có hai nhóm	kiểm định z hai mẫu cho p₁ − p₂
một mẫu, một biến có nhiều nhóm, đối chiếu với một nhận định	χ² về độ phù hợp, df = k − 1
nhiều mẫu hoặc nhiều nhóm, một biến	χ² về tính đồng nhất, df = (r − 1)(c − 1)
một mẫu, hai biến	χ² về tính độc lập, df = (r − 1)(c − 1)

Các phương pháp z có thể ước lượng: chúng cho khoảng tin cậy và cho phép H_a một phía (“lớn hơn”). Các kiểm định χ² chỉ để kiểm định, và H_a của chúng không có hướng.

Với hai nhóm và hai loại, kiểm định z hai mẫu với H_a hai phía và kiểm định χ² về tính đồng nhất cho cùng một giá trị p (χ² = z²).

Hãy đọc thiết kế trước: mẫu được lấy như thế nào, và ghi lại điều gì về mỗi cá thể? Hình cho thấy hình dạng mà mỗi thiết kế để lại trong dữ liệu, và chọn một phương pháp cho mỗi câu hỏi.