Khám phá dữ liệu một biến · AP Statistics

Chương 1 · Khám phá dữ liệu một biến

hình dạng, tâm và độ phân tán

Thống kê là khoa học học hỏi từ dữ liệu, và dữ liệu thì luôn biến thiên.

40 học sinh trong một lớp trả lời hai câu hỏi: bạn đến trường bằng cách nào, và mất bao nhiêu phút? Trong hình, mỗi quả bóng là một học sinh, rơi xuống trục số tại thời gian đi học của em đó.

Không có hai buổi sáng nào giống nhau. Thời gian dao động từ 8 đến 56 phút, khoảng ba phần tư trong số đó là 26 hoặc ít hơn. Quy luật ấy, tức là những giá trị nào xuất hiện và xuất hiện bao nhiêu lần, chính là phân phối của biến.

Bên dưới các chấm, một biểu đồ tần số đếm cùng các thời gian đó theo các khoảng 5 phút, và bên dưới nữa, một đồ thị tần số tích lũy cộng dồn chúng lại.

Chương này gọi tên các loại biến, biểu diễn chúng bằng bảng và đồ thị, mô tả một phân phối qua hình dạng, tâm và độ phân tán, đo từng đặc trưng bằng một con số, và kết thúc với mô hình hữu ích nhất: phân phối chuẩn.

1.1 · Giới thiệu về thống kê

chúng ta có thể học được gì từ dữ liệu?

Dữ liệu là thông tin về các cá thể; một biến là một đặc điểm thay đổi từ cá thể này sang cá thể khác.

Ở đây các cá thể là 40 học sinh. Quả bóng đỏ là học sinh 5: đi học bằng bus, mất 29 phút. Một học sinh là một hàng của bộ dữ liệu; mỗi biến là một cột.

student	mode	thời gian (phút)
1	walk	8
2	bike	13
3	bike	14
4	car	12
5	bus	29

Một câu hỏi thống kê chờ đợi câu trả lời có sự biến thiên. “Học sinh 5 mất bao lâu để đến trường?” chỉ có một đáp án. “Học sinh trong lớp này mất bao lâu để đến trường?” có 40, và hỏi về phân phối của chúng.

Sự biến thiên có ở mọi nơi, nên một quy luật trong dữ liệu có thể là thật hoặc chỉ do ngẫu nhiên. Thống kê giúp phân biệt hai trường hợp này. Các câu hỏi của nó luôn giống nhau: đo ai, đo cái gì, đo bằng cách nào, và có thể kết luận gì về ai.

40 câu trả lời này mô tả lớp học này. Muốn kết luận về tất cả học sinh của trường thì cần một mẫu ngẫu nhiên (Chương 3).

1.2 · Ngôn ngữ của sự biến thiên

biến định tính và biến định lượng

Một biến định tính xếp mỗi cá thể vào một nhóm. Một biến định lượng gán cho mỗi cá thể một số có thể đếm hoặc đo được.

Cách học sinh đi học (đi bộ, xe đạp, xe buýt, ô tô) là biến định tính. Thời gian đi học tính bằng phút là biến định lượng: thực hiện phép tính với nó có ý nghĩa, và các giá trị của nó nằm trên một thang số.

Trong hình, cùng 40 quả bóng di chuyển giữa hai cách xem. Trên trục số, mỗi quả nằm tại thời gian của nó; sắp theo phương tiện thì chúng rơi vào bốn nhóm. Các cá thể không đổi, chỉ có biến mà ta xem là thay đổi.

Biến định lượng có thể là rời rạc (số đếm có thể liệt kê: số anh chị em) hoặc liên tục (số đo trên một khoảng: thời gian, chiều cao).

Lưu ý. Không phải số nào cũng là định lượng. Mã bưu chính hay số áo chỉ gắn nhãn cho một nhóm; trung bình của chúng vô nghĩa, nên đó là biến định tính. Một biến định lượng có thể chuyển thành định tính bằng cách chia nhóm: “hơn 20 phút, có hoặc không.”

1.3 · Biểu diễn biến định tính bằng bảng

tần số và tần số tương đối

Một bảng tần số liệt kê mỗi nhóm cùng số lần xuất hiện. Một bảng tần số tương đối cho mỗi số đếm dưới dạng tỉ lệ trên tổng.

\text{relative frequency} = \frac{\text{frequency}}{\text{total}}

mode	frequency	tần số tương đối	percent
walk	7	0.175	17.5%
bike	8	0.200	20.0%
bus	14	0.350	35.0%
car	11	0.275	27.5%
total	40	1.000	100.0%

Các tần số tương đối cộng lại bằng 1 (hoặc 100%), trừ sai số làm tròn. Chúng cho phép so sánh các nhóm có kích thước khác nhau: một lớp 25 học sinh và một trường 2000 học sinh đều có thể có 35% học sinh đi xe buýt.

Trong ngữ cảnh. 14 trong 40 học sinh, tức tỉ lệ 14/40 = 0.350, đi xe buýt: đây là cách đến trường phổ biến nhất của lớp này.

Nhóm phổ biến nhất là mốt của một biến định tính. Bảng của hai biến định tính cùng lúc, tức bảng hai chiều, sẽ có ở Chương 2.

1.4 · Biểu diễn biến định tính bằng đồ thị

biểu đồ cột và biểu đồ tròn

Một biểu đồ cột vẽ mỗi nhóm thành một cột có chiều cao bằng tần số hoặc tần số tương đối. Một biểu đồ tròn cho mỗi nhóm một hình quạt của hình tròn theo tỉ lệ.

Các cột trong biểu đồ cột tách rời nhau, vì giữa các nhóm không có thang đo, và thứ tự của chúng là do ta chọn. Sắp theo chiều cao giúp dễ thấy nhóm lớn nhất.

Góc của một hình quạt bằng tần số tương đối × 360°: hình quạt xe buýt là 0.350 × 360° = 126°. Biểu đồ tròn chỉ phù hợp khi các nhóm tạo thành một tổng thể và mỗi cá thể thuộc đúng một nhóm.

Mô tả phân phối định tính. Nêu các nhóm có tần số cao nhất và thấp nhất, và so sánh bằng tỉ lệ, trong ngữ cảnh: “35% học sinh đi xe buýt, nhiều hơn mọi phương tiện khác; 17.5% đi bộ.”

Đồ thị gây hiểu lầm. Biểu đồ cột có trục tung không bắt đầu từ 0 sẽ phóng đại sự khác biệt. Hình ảnh minh họa và biểu đồ tròn 3D làm thay đổi cả diện tích và độ sâu chứ không chỉ chiều cao cũng vậy. Hãy đọc thang đo trước khi nhìn hình dạng.

1.5 · Biểu diễn biến định lượng bằng đồ thị

biểu đồ chấm, biểu đồ thân lá, biểu đồ tần suất và đồ thị tích lũy

Đồ thị của một biến định lượng cho thấy phân phối của nó trên trục số: các giá trị nằm ở đâu, và chúng tụ lại hay trải ra thế nào.

Một biểu đồ chấm đặt một chấm cho mỗi cá thể phía trên giá trị của nó. Một biểu đồ thân lá tách mỗi giá trị thành thân (ở đây là hàng chục) và lá (hàng đơn vị):

0	8 8 8 9 9 9
1	0 0 0 1 1 2 2 3 3 4 4 4 5 7 7 7 8
2	2 2 2 3 4 5 6 6 8 8 9 9
3	0 5 5 8
4
5	6

Chú thích: 1 | 4 nghĩa là 14 phút. Cả hai đều giữ nguyên mọi giá trị.

Một biểu đồ tần suất (histogram) đếm các giá trị trong những khoảng bằng nhau, hay lớp, ở đây rộng 5 phút; các cột liền nhau vì thang đo liên tục. Thời gian đúng bằng 15 được xếp vào lớp từ 15 đến 20. Độ rộng lớp khác nhau có thể làm hình thay đổi, nên hãy chọn độ rộng cho thấy được hình dạng mà không che mất chi tiết.

Một đồ thị tích lũy vẽ, tại cuối mỗi lớp, tỉ lệ các giá trị nhỏ hơn nó. Nó cho đọc được các phân vị: 70% của lớp mất ít hơn 25 phút, và đồ thị cắt mức 0.5 tại trung vị, khoảng 17 phút.

1.6 · Mô tả phân phối của một biến định lượng

hình dạng, tâm, độ phân tán và các đặc điểm bất thường

Hãy mô tả một phân phối qua hình dạng, tâm, độ phân tán và các đặc điểm bất thường, luôn đặt trong ngữ cảnh của dữ liệu.

Hình dạng. Đối xứng: hai phía gần như phản chiếu nhau. Lệch phải: đuôi dài về phía giá trị lớn hơn. Lệch trái: đuôi dài về phía giá trị nhỏ hơn. Độ lệch được gọi theo đuôi, không phải theo đỉnh. Hãy đếm cả số đỉnh: một đỉnh, hai đỉnh (hai cụm, thường là hai nhóm trộn lẫn), hoặc đều (không có đỉnh rõ rệt).

Đặc điểm bất thường. Khoảng trống (đoạn không có giá trị), cụm, và giá trị ngoại lai: những giá trị nằm xa phần còn lại.

Mô tả lớp học. Phân phối thời gian đi học có một đỉnh và lệch phải, đạt đỉnh từ 10 đến 15 phút. Trung vị khoảng 17 phút, và thời gian nằm trong khoảng từ 8 đến 56 phút. Có một khoảng trống từ 38 đến 56 phút, và 56 phút có thể là giá trị ngoại lai.

Các từ “khoảng” và “gần như” có chỗ ở đây: hình dạng được đánh giá bằng mắt. Mục 1.7 và 1.8 sẽ cho số liệu về tâm và độ phân tán, cùng một quy tắc xác định giá trị ngoại lai.

1.7 · Thống kê tóm tắt: tâm

trung bình, trung vị và số nào ít bị ảnh hưởng

Trung bình là tổng các giá trị chia cho số giá trị. Trung vị là giá trị ở giữa khi đã sắp xếp theo thứ tự.

\bar{x} = \frac{\sum x_i}{n}

Chín học sinh của lớp, theo thứ tự: 8, 8, 8, 9, 12, 13, 14, 26, 29. Trung bình là 127/9 = 14.1 phút. Trung vị là giá trị thứ 5 trong 9 giá trị, 12 phút. Với số giá trị chẵn, trung vị là trung bình của hai giá trị ở giữa.

Trung bình là điểm cân bằng. Đặt các giá trị lên một thanh: nó cân bằng tại x̄ (màu đỏ), nơi các khoảng cách ở hai phía triệt tiêu nhau. Trung vị (màu xanh) chỉ đếm: một nửa số giá trị ở mỗi phía.

Tính bền vững. Trong hình, thời gian đi học 29 phút trượt ra tới 59. Trung bình đi theo nó, đến 17.4 phút; trung vị vẫn ở 12. Trung vị bền vững trước các giá trị cực đoan; trung bình thì không.

Vì vậy, trong phân phối lệch phải, trung bình bị kéo về phía đuôi, lớn hơn trung vị: với cả lớp, x̄ = 19.4 và trung vị là 17. Với phân phối lệch trái, trung bình nhỏ hơn trung vị. Với phân phối lệch hoặc có giá trị ngoại lai, hãy báo cáo trung vị.

1.7 · Thống kê tóm tắt: độ phân tán

khoảng biến thiên, IQR và độ lệch chuẩn

Độ lệch chuẩn đo khoảng cách điển hình của các giá trị so với trung bình của chúng.

s = \sqrt{\frac{\sum (x_i - \bar{x})^2}{n - 1}}

x	x − x̄	(x − x̄)²
8	−6.11	37.35
13	−1.11	1.23
14	−0.11	0.01
12	−2.11	4.46
29	14.89	221.68
26	11.89	141.35
9	−5.11	26.12
8	−6.11	37.35
8	−6.11	37.35

Các độ lệch (màu đỏ) có tổng bằng không; tổng bình phương của chúng là 506.89. Chia cho n − 1 = 8 để được phương sai, s² = 63.36, rồi lấy căn bậc hai: s = 7.96 phút.

Diễn giải trong ngữ cảnh: chín thời gian đi học này thường lệch khoảng 8.0 phút so với trung bình 14.1 phút. s bằng 0 chỉ khi mọi giá trị đều bằng nhau, và giống như trung bình, nó không bền vững.

Khoảng biến thiên là max − min. Các tứ phân vị Q₁ và Q₃ là trung vị của nửa dưới và nửa trên (bỏ chính trung vị khi n lẻ); khoảng tứ phân vị, IQR = Q₃ − Q₁, là độ phân tán của nửa giữa, và bền vững. Phân vị thứ p là giá trị có p% dữ liệu nằm dưới nó.

Với cả lớp: khoảng biến thiên 48, IQR 26 − 11 = 15, s = 10.4 phút.

1.7 · Đổi đơn vị

cộng và nhân mọi giá trị

Cộng một hằng số vào mọi giá trị làm dịch chuyển tâm và giữ nguyên độ phân tán. Nhân mọi giá trị với một hằng số thì nhân cả hai với hằng số đó.

Mười nhiệt độ cao nhất mỗi ngày theo °C, đổi sang °F bằng F = 1.8C + 32. Hình thực hiện qua hai bước: nhân mọi giá trị với 1.8 (các chấm giãn ra), rồi + 32 (chúng cùng dịch chuyển).

	mean	median	SD	IQR
°C	21.3	22	2.95	6
°F	70.34	71.6	5.30	10.8

\begin{aligned}\bar{x}_F &= 1.8\,\bar{x}_C + 32 = 1.8(21.3) + 32 = 70.34 \\ s_F &= 1.8\,s_C = 1.8(2.946) = 5.30\end{aligned}

Với y = a + bx (b > 0): các số đo vị trí trung tâm và vị trí (trung bình, trung vị, tứ phân vị, bách phân vị) trở thành a + b × giá trị cũ. Các số đo độ phân tán (khoảng biến thiên, IQR, độ lệch chuẩn) được nhân với b và không phụ thuộc a. Phương sai được nhân với b². Hình dạng không thay đổi.

Lỗi thường gặp: cộng 32 vào độ lệch chuẩn. Dịch chuyển mọi giá trị làm chúng cùng di chuyển; khoảng cách giữa chúng, và khoảng cách đến giá trị trung bình, vẫn giữ nguyên.

1.8 · Biểu diễn đồ thị của các thống kê tóm tắt

biểu đồ hộp và quy tắc 1.5 × IQR

Biểu đồ hộp vẽ tóm tắt năm số: một hộp từ Q₁ đến Q₃, một đoạn thẳng tại trung vị, và các râu kéo tới giá trị nhỏ nhất và lớn nhất không phải giá trị ngoại lai.

min	Q₁	median	Q₃	max
8	11	17	26	56

Quy tắc 1.5 × IQR. Một giá trị là giá trị ngoại lai nếu nó nằm cách Q₁ về phía dưới hoặc cách Q₃ về phía trên quá 1.5 × IQR:

\begin{aligned}\text{IQR} &= 26 - 11 = 15 \\ Q_1 - 1.5\,\text{IQR} &= 11 - 22.5 = -11.5 \\ Q_3 + 1.5\,\text{IQR} &= 26 + 22.5 = 48.5\end{aligned}

Không có thời gian nào nhỏ hơn −11.5; 56 lớn hơn 48.5, nên nó là giá trị ngoại lai và được vẽ riêng. Râu phải dừng ở 38, thời gian lớn nhất không phải ngoại lai. Một quy tắc khác mà một số người dùng: cách giá trị trung bình quá 2 độ lệch chuẩn, ở đây là lớn hơn 40.2.

Biểu đồ hộp cho thấy độ lệch: ở đây râu phải dài hơn và trung vị nằm gần Q₁ hơn, nên các thời gian lệch phải. Nó che giấu phần còn lại: khoảng trống, số đỉnh và n. Mỗi phần tư của dữ liệu, chứ không phải mỗi phần tư chiều dài, chứa khoảng một phần tư số giá trị.

1.9 · So sánh phân phối của một biến định lượng

hình dạng, tâm, độ phân tán và giá trị ngoại lai, đặt cạnh nhau

Để so sánh các phân phối, hãy vẽ chúng trên cùng một thang và so sánh hình dạng, tâm, độ phân tán và các đặc điểm bất thường, trong ngữ cảnh và bằng các từ so sánh.

	n	min	Q₁	median	Q₃	max	IQR
bus	14	17	22	26	30	38	8
car	11	8	10	12	28	56	18

Hình dạng. Thời gian đi học bằng xe buýt gần như đối xứng. Thời gian đi bằng ô tô lệch phải, với một giá trị ngoại lai tại 56 phút (lớn hơn Q₃ + 1.5 × IQR = 55).

Tâm. Trung vị thời gian đi bằng xe buýt, 26 phút, dài hơn trung vị thời gian đi bằng ô tô, 12 phút, là 14 phút.

Độ phân tán. Thời gian đi bằng ô tô biến động nhiều hơn: IQR là 18 phút so với 8, và khoảng biến thiên là 48 so với 21.

Hãy so sánh trung vị và IQR khi phân phối lệch hoặc có giá trị ngoại lai. Liệt kê các con số không phải là so sánh: hãy nói rõ cái nào lớn hơn. Các đồ thị để so sánh: biểu đồ chấm đặt cạnh nhau, biểu đồ hộp song song, biểu đồ thân lá đối lưng, và biểu đồ tần suất xếp chồng trên cùng một thang.

1.10 · Phân phối chuẩn

quy tắc thực nghiệm và điểm z

Phân phối chuẩn đối xứng, có một đỉnh và hình chuông. Nó được xác định bởi trung bình μ và độ lệch chuẩn σ, viết là N(μ, σ).

Chiều cao của phụ nữ trưởng thành gần với N(163, 7) tính bằng cm. Biểu đồ tần suất là 200 của họ, được vẽ sao cho diện tích bằng 1, với đường cong chuẩn phủ lên trên. μ và σ mô tả một mô hình hoặc tổng thể; x̄ và s mô tả dữ liệu (ở đây là 163.7 và 6.9 cm).

Quy tắc thực nghiệm. Trong mọi phân phối chuẩn, khoảng 68% giá trị nằm trong khoảng 1σ quanh μ, 95% trong 2σ và 99.7% trong 3σ.

within	1 SD	2 SD	3 SD
mô hình chuẩn	68%	95%	99.7%
chiều cao của 200 người	73.0%	94.5%	99.5%

Điểm z. Điểm chuẩn hóa cho biết một giá trị cách giá trị trung bình bao nhiêu độ lệch chuẩn, và theo hướng nào:

z = \frac{x - \mu}{\sigma} = \frac{175 - 163}{7} = 1.71

Một phụ nữ cao 175 cm cao hơn chiều cao trung bình 1.71 độ lệch chuẩn. Điểm z giúp so sánh các giá trị trên những thang khác nhau; chuẩn hóa cho ra một phân phối có trung bình 0 và độ lệch chuẩn 1, gọi là phân phối chuẩn tắc.

1.10 · Tính toán với phân phối chuẩn

diện tích, bách phân vị và giá trị tại một bách phân vị

Trong mô hình chuẩn, tỉ lệ các giá trị trong một khoảng là diện tích dưới đường cong phía trên khoảng đó.

Dưới một giá trị. Tỉ lệ phụ nữ thấp hơn 170 cm là bao nhiêu?

\begin{aligned}z &= \frac{170 - 163}{7} = 1.00 \\ P(X < 170) &= P(Z < 1.00) \\ &= 0.841\end{aligned}

Khoảng 84.1% phụ nữ thấp hơn 170 cm: 170 cm ở khoảng bách phân vị thứ 84. Phần phía trên là 1 − 0.841 = 0.159.

Giữa hai giá trị. P(155 < X < 170) = P(-1.14 < Z < 1.00) = 0.715.

Một giá trị từ bách phân vị. Bách phân vị thứ 90 có diện tích 0.90 phía bên trái, tại z = 1.282:

\begin{aligned}x &= \mu + z\sigma \\ &= 163 + 1.282(7) = 172.0\ \text{cm}\end{aligned}

Hãy trình bày bài làm theo yêu cầu của đề thi: nêu tên phân phối và các tham số của nó, đánh dấu biên và phần diện tích cần tìm (một hình phác), cho điểm z hoặc lệnh trên máy tính với các đầu vào được ghi nhãn (normalcdf: lower 155, upper 170, μ = 163, σ = 7), và trả lời trong ngữ cảnh.

1.10 · Mô hình chuẩn có hợp lí không?

kiểm tra tính chuẩn của dữ liệu

Trước khi dùng mô hình chuẩn cho dữ liệu, hãy kiểm tra xem dữ liệu có trông giống phân phối chuẩn không. Nhiều phân phối thực tế không chuẩn.

Vẽ đồ thị dữ liệu. Mô hình chuẩn cần một biểu đồ chấm hoặc biểu đồ tần suất gần đối xứng, có một đỉnh và không có giá trị ngoại lai.

Kiểm tra quy tắc thực nghiệm. Đếm các giá trị nằm trong khoảng 1, 2 và 3 độ lệch chuẩn quanh giá trị trung bình. Chiều cao cho kết quả 73.0%, 94.5%, 99.5%, gần với 68, 95, 99.7.

Xem biểu đồ xác suất chuẩn. Mỗi giá trị được vẽ theo điểm z mà nó sẽ có nếu dữ liệu chuẩn hoàn toàn. Dữ liệu chuẩn nằm gần một đường thẳng, như chiều cao. Dữ liệu lệch thì cong: thời gian đi lại cong lên ở bên phải, do đuôi phải dài.

Chỉ riêng quy tắc thực nghiệm có thể gây hiểu lầm. 72.5% thời gian đi lại nằm trong phạm vi một độ lệch chuẩn quanh giá trị trung bình, gần với 68%. Nhưng x̄ − 2s = 19.4 − 2(10.4) = −1.4 phút, một thời gian không thể có: mô hình chuẩn sẽ cho khoảng 2.3% các chuyến đi nằm dưới giá trị đó. Khi giá trị trung bình cao hơn mốc 0 chưa tới hai độ lệch chuẩn, hãy nghi ngờ phân phối lệch phải.