일변량 데이터 탐구

1장 · 일변량 데이터 탐구

모양, 중심, 퍼짐

통계학은 데이터에서 배우는 학문이며, 데이터는 달라지기 마련입니다.

한 학급의 학생 40명이 두 가지 질문에 답했습니다. 학교에 어떻게 오는지, 그리고 시간이 몇 분 걸리는지입니다. 그림에서 각 공은 학생 한 명이며, 그 학생의 통학 시간에 맞춰 수직선 위로 떨어집니다.

똑같은 아침은 하나도 없습니다. 시간은 8분에서 56분까지 걸쳐 있고, 약 4분의 3이 26분 이하입니다. 어떤 값이 얼마나 자주 나타나는가 하는 이 양상이 변수의 분포입니다.

점 아래에서는 히스토그램이 같은 시간을 5분 간격의 구간으로 세고, 그 아래의 누적 그래프가 이를 차례로 더합니다.

이 단원에서는 변수의 종류를 이름 붙이고, 표와 그래프로 나타내고, 분포를 모양, 중심, 퍼짐으로 설명하고, 각각을 수로 측정하며, 가장 쓸모 있는 모형인 정규분포로 마무리합니다.

1.1 · 통계학 입문

데이터에서 무엇을 알 수 있을까?

데이터는 개체에 대한 정보이고, 변수는 개체마다 달라지는 특성입니다.

여기서 개체는 학생 40명입니다. 빨간 공은 학생 5으로, bus(으)로 이동하며 29분이 걸립니다. 학생 한 명은 데이터 세트의 한 행이고, 변수 하나는 한 열입니다.

통계적 질문은 답에 변동이 있을 것을 전제로 합니다. “학생 5은 학교에 가는 데 얼마나 걸릴까?”는 답이 하나입니다. “이 학급 학생들은 학교에 가는 데 얼마나 걸릴까?”는 답이 40개이며, 그 분포를 묻습니다.

변동은 어디에나 있으므로 데이터에서 보이는 양상은 실제일 수도, 우연일 수도 있습니다. 통계학은 이 둘을 가려냅니다. 던지는 질문은 늘 같습니다. 누구를 측정했는가, 무엇을 측정했는가, 어떻게 측정했는가, 그리고 누구에 대해 무엇을 결론 내릴 수 있는가.

이 40개의 답은 이 학급을 설명합니다. 학교 전체 학생에 대한 결론을 내리려면 그들 중에서 뽑은 임의 표본이 필요합니다(3장).

1.2 · 변동의 언어

범주형 변수와 양적 변수

범주형 변수는 각 개체를 어떤 집단에 넣습니다. 양적 변수는 각 개체에 세거나 측정할 수 있는 수를 줍니다.

학생이 어떻게 이동하는지(도보, 자전거, 버스, 자동차)는 범주형입니다. 분 단위의 통학 시간은 양적입니다. 이 값으로는 계산이 의미가 있고, 값이 수직선 위에 놓입니다.

그림에서는 같은 공 40개가 두 보기 사이를 오갑니다. 수직선 위에서는 각자 자기 시간에 놓이고, 이동 수단별로 나누면 네 집단이 됩니다. 개체는 바뀌지 않고, 바라보는 변수만 바뀝니다.

양적 변수는 이산(나열할 수 있는 개수: 형제자매 수)이거나 연속(구간 위의 측정값: 시간, 키)입니다.

주의. 수라고 해서 항상 양적인 것은 아닙니다. 우편번호나 등번호는 집단을 구별하는 이름표이고, 그 평균은 아무 의미가 없으므로 범주형입니다. 양적 변수도 묶으면 범주형이 될 수 있습니다. “20분보다 오래 걸리는가, 예 또는 아니오”처럼요.

1.3 · 표로 범주형 변수 나타내기

도수와 상대도수

도수분포표는 각 범주와 그 개수를 나열합니다. 상대도수분포표는 각 개수를 전체에 대한 비율로 나타냅니다.

상대도수의 합은 반올림 오차를 제외하면 1(또는 100%)입니다. 상대도수를 쓰면 크기가 다른 집단도 비교할 수 있습니다. 25명인 학급과 2000명인 학교도 각각 버스 이용자가 35%일 수 있습니다.

상황 속에서. 학생 40명 중 14명이 버스를 타며, 비율은 14/40 = 0.350입니다. 이 학급이 학교에 가는 가장 흔한 방법입니다.

가장 흔한 범주를 범주형 변수의 최빈값이라고 합니다. 두 범주형 변수를 함께 나타내는 표인 이원표는 2장에서 다룹니다.

1.4 · 그래프로 범주형 변수 나타내기

막대그래프와 원그래프

A 막대그래프는 각 범주를 도수 또는 상대도수만큼의 높이를 가진 막대로 나타냅니다. 원그래프는 각 범주에 비율에 맞는 부채꼴을 줍니다.

막대그래프의 막대는 서로 떨어져 있습니다. 범주 사이에는 눈금이 없고, 순서는 선택할 수 있기 때문입니다. 높이 순으로 늘어놓으면 가장 큰 범주를 쉽게 알아볼 수 있습니다.

원그래프에서 부채꼴의 각도는 상대도수 × 360°입니다. 버스 부채꼴은 0.350 × 360° = 126°입니다. 원그래프는 범주들이 하나의 전체를 이루고 모든 개체가 정확히 한 범주에만 속할 때에만 쓸 수 있습니다.

범주형 분포 설명하기. 도수가 가장 큰 범주와 가장 작은 범주를 말하고, 비율로 비교하며, 상황에 맞게 서술하세요. “학생의 35%가 버스를 타며 다른 어떤 방법보다 많고, 17.5%는 걸어서 등교합니다.”

오해를 부르는 그래프. 세로축이 0에서 시작하지 않는 막대그래프는 차이를 과장합니다. 높이뿐 아니라 면적과 깊이까지 달라지는 그림그래프와 3D 원그래프도 마찬가지입니다. 모양보다 먼저 눈금을 읽으세요.

1.5 · 그래프로 양적 변수 나타내기

점도표, 줄기-잎 그림, 히스토그램, 누적 그래프

양적 변수의 그래프는 수직선 위에 분포를 보여 줍니다. 값이 어디에 있고, 어떻게 모이고 퍼져 있는지 알 수 있습니다.

점도표는 각 개체를 그 값 위에 점 하나로 찍습니다. 줄기-잎 그림은 각 값을 줄기(여기서는 십의 자리)와 잎(일의 자리)으로 나눕니다.

범례: 1 | 4는 14분을 뜻합니다. 둘 다 모든 값을 그대로 보여 줍니다.

히스토그램은 같은 폭의 구간(계급)에 들어가는 값의 개수를 셉니다. 여기서는 구간 폭이 5분입니다. 눈금이 연속적이므로 막대끼리 붙어 있습니다. 정확히 15인 시간은 15 이상 20 미만 구간에 들어갑니다. 구간 폭에 따라 그림이 달라질 수 있으니, 세부 정보를 가리지 않으면서 모양이 드러나는 폭을 고르세요.

누적 그래프는 각 구간의 끝에서 그 값보다 작은 값의 비율을 나타냅니다. 백분위수를 읽을 수 있습니다. 학급의 70%가 25분 미만이 걸렸고, 그래프가 0.5를 지나는 곳이 중앙값으로 약 17분입니다.

1.6 · 양적 변수의 분포 설명하기

모양, 중심, 퍼짐, 특이한 점

분포는 모양, 중심, 퍼짐, 그리고 특이한 점으로 설명하며, 항상 자료의 상황에 맞게 서술합니다.

모양. 대칭: 양쪽이 거의 거울처럼 같습니다. 오른쪽으로 치우침: 큰 값 쪽으로 꼬리가 깁니다. 왼쪽으로 치우침: 작은 값 쪽으로 꼬리가 깁니다. 치우침은 봉우리가 아니라 꼬리를 기준으로 이름 붙입니다. 봉우리의 수도 세 보세요. 단봉, 쌍봉(두 무리가 있는 경우로, 두 집단이 섞인 경우가 많음), 균일(뚜렷한 봉우리 없음)이 있습니다.

특이한 점. 빈 구간(값이 없는 구간), 군집, 그리고 나머지에서 멀리 떨어진 값인 이상치가 있습니다.

학급 자료 설명하기. 통학 시간의 분포는 단봉이며 오른쪽으로 치우쳐 있고, 10분에서 15분 사이에서 봉우리를 이룹니다. 중앙값은 약 17분이고, 시간은 8분부터 56분까지 분포합니다. 38분에서 56분 사이에는 빈 구간이 있고, 56분은 이상치일 수 있습니다.

“약”이나 “대략” 같은 말이 여기에 어울립니다. 모양은 눈으로 판단하기 때문입니다. 1.7과 1.8에서는 중심과 퍼짐을 수치로 나타내고 이상치 판정 규칙을 배웁니다.

1.7 · 요약 통계량: 중심

평균, 중앙값, 그리고 어느 쪽이 영향을 덜 받는가

평균은 값들의 합을 값의 개수로 나눈 것입니다. 중앙값은 값을 크기순으로 늘어놓았을 때 가운데 값입니다.

학급 9명의 값을 순서대로 늘어놓으면 8, 8, 8, 9, 12, 13, 14, 26, 29입니다. 평균은 127/9 = 14.1분입니다. 중앙값은 9개 값 중 5번째인 12분입니다. 개수가 짝수이면 중앙값은 가운데 두 값의 평균입니다.

평균은 균형점입니다. 값들을 막대 위에 놓으면 x̄(빨강)에서 균형을 이루고, 양쪽의 거리가 서로 상쇄됩니다. 중앙값(파랑)은 개수만 셉니다. 양쪽에 값이 절반씩 있습니다.

저항성. 그림에서 29분의 통학 시간이 59까지 옮겨 갑니다. 평균은 따라 움직여 17.4분이 되지만, 중앙값은 12에 그대로 있습니다. 중앙값은 극단적인 값에 저항적이고, 평균은 그렇지 않습니다.

따라서 오른쪽으로 치우친 분포에서는 평균이 꼬리 쪽으로 끌려가 중앙값보다 큽니다. 학급 전체에서 x̄ = 19.4이고 중앙값은 17입니다. 왼쪽으로 치우치면 평균이 중앙값보다 작습니다. 치우친 분포나 이상치가 있는 분포에서는 중앙값을 제시하세요.

1.7 · 요약 통계량: 퍼짐

범위, IQR, 표준편차

표준편차는 값들이 평균에서 떨어진 전형적인 거리를 나타냅니다.

편차(빨강)의 합은 0이고, 편차 제곱의 합은 506.89입니다. 이를 n − 1 = 8으로 나누면 분산 s² = 63.36이고, 제곱근을 취하면 s = 7.96분입니다.

상황에 맞게 해석하세요. 이 9개의 통학 시간은 평균 14.1분에서 보통 약 8.0분 정도 벗어납니다. s는 모든 값이 같을 때에만 0이며, 평균처럼 저항적이지 않습니다.

범위는 최댓값 − 최솟값입니다. 사분위수 Q₁과 Q₃은 아래쪽 절반과 위쪽 절반의 중앙값입니다(n이 홀수이면 중앙값 자체는 제외). 사분위범위 IQR = Q₃ − Q₁은 가운데 절반의 퍼짐이며 저항적입니다. p번째 백분위수는 자료의 p%가 그 값보다 작은 값입니다.

학급 전체에서는 범위 48, IQR 26 − 11 = 15, s = 10.4분입니다.

1.7 · 단위 바꾸기

모든 값에 더하거나 곱하기

모든 값에 상수를 더하면 중심은 이동하지만 퍼짐은 그대로입니다. 모든 값에 상수를 곱하면 둘 다 그 상수배가 됩니다.

섭씨(°C)로 나타낸 10일 동안의 최고 기온을 F = 1.8C + 32로 화씨(°F)로 바꿉니다. 그림은 두 단계로 보여 줍니다. 먼저 모든 값에 × 1.8을 하면 점들이 서로 멀어지고, 다음으로 + 32를 하면 점들이 함께 이동합니다.

y = a + bx (b > 0)일 때, 중심과 위치의 측도(평균, 중앙값, 사분위수, 백분위수)는 원래 값의 a + b배 꼴로 바뀝니다. 퍼짐의 측도(범위, IQR, 표준편차)는 b배가 되고 a의 영향은 받지 않습니다. 분산은 b²배가 됩니다. 모양은 변하지 않습니다.

흔한 실수: 표준편차에 32를 더하는 것입니다. 모든 값을 이동시키면 값들이 함께 움직이므로, 값들 사이의 거리와 평균에서의 거리는 그대로입니다.

1.8 · 요약 통계량의 그래프 표현

상자그림과 1.5 × IQR 규칙

A boxplot draws the five-number summary: a box from Q₁ to Q₃, a line at the median, and whiskers out to the smallest and largest values that are not outliers.

The 1.5 × IQR rule. A value is an outlier if it lies more than 1.5 × IQR below Q₁ or above Q₃:

No time is below −11.5; 56 is above 48.5, so it is an outlier, drawn on its own. The right whisker stops at 38, the largest time that is not. Another rule some use: more than 2 standard deviations from the mean, here above 40.2.

A boxplot shows skew: here the right whisker is longer and the median sits nearer Q₁, so the times are skewed right. It hides the rest: the gap, the number of peaks, and n. Each quarter of the data, not each quarter of the length, holds about a quarter of the values.

1.9 · 양적 변수의 분포 비교하기

모양, 중심, 퍼짐, 이상치를 나란히 비교

분포를 비교하려면 같은 눈금 위에 그리고, 모양, 중심, 퍼짐, 특이한 점을 상황에 맞게 비교하는 표현으로 비교하세요.

모양. 버스 통학 시간은 대체로 대칭입니다. 자동차 통학 시간은 오른쪽으로 치우쳐 있고, 56분에 이상치가 있습니다(Q₃ + 1.5 × IQR = 55보다 큼).

중심. 버스 통학 시간의 중앙값 26분은 자동차 통학 시간의 중앙값 12분보다 14분 더 깁니다.

퍼짐. 자동차 통학 시간이 더 크게 변합니다. IQR은 18분으로 8분보다 크고, 범위는 48로 21보다 큽니다.

분포가 치우쳤거나 이상치가 있으면 중앙값과 IQR을 비교하세요. 숫자를 나열하는 것은 비교가 아닙니다. 어느 쪽이 더 큰지 말해야 합니다. 비교에 쓰는 그래프로는 나란한 점도표, 나란한 상자그림, 맞붙은 줄기-잎 그림, 같은 눈금에 쌓은 히스토그램이 있습니다.

1.10 · 정규분포

경험적 규칙과 z점수

정규분포는 좌우 대칭이고 봉우리가 하나인 종 모양의 분포이다. 평균 μ와 표준편차 σ로 결정되며, N(μ, σ)로 나타낸다.

성인 여성의 키는 cm 단위로 N(163, 7)에 가깝다. 히스토그램은 여성 200명의 키이며, 넓이가 1이 되도록 그렸고 그 위에 정규곡선을 겹쳤다. μ와 σ는 모형 또는 모집단을 나타내고, x̄와 s는 데이터를 나타낸다(여기서는 163.7와 6.9 cm).

경험적 법칙. 정규분포에서는 값의 약 68%가 μ에서 1σ 이내에, 95%가 2σ 이내에, 99.7%가 3σ 이내에 있다.

z점수. 표준화 점수는 어떤 값이 평균에서 표준편차의 몇 배만큼, 어느 방향으로 떨어져 있는지를 나타낸다.

키가 175 cm인 여성은 평균 키보다 표준편차 1.71배만큼 위에 있다. z점수를 이용하면 척도가 다른 값끼리 비교할 수 있다. 표준화하면 평균 0, 표준편차 1인 분포가 되며, 이를 표준정규분포라고 한다.

1.10 · 정규분포 계산

넓이, 백분위수, 그리고 백분위수에 해당하는 값

정규 모형에서 어떤 구간에 속하는 값의 비율은 그 구간 위에서 곡선 아래의 넓이이다.

어떤 값보다 작을 때. 키가 170 cm보다 작은 여성의 비율은 얼마인가?

여성의 약 84.1%가 170 cm보다 작다. 즉 170 cm는 약 84번째 백분위수이다. 그보다 큰 비율은 1 − 0.841 = 0.159이다.

두 값 사이. P(155 < X < 170) = P(-1.14 < Z < 1.00) = 0.715.

백분위수로 값 구하기. 90번째 백분위수는 왼쪽 넓이가 0.90인 지점이며, z = 1.282이다.

시험에서 요구하는 대로 풀이 과정을 보이자. 분포와 그 모수를 밝히고, 경계와 구하려는 넓이를 표시하고(그림), z점수 또는 입력값을 표시한 계산기 명령(normalcdf: 하한 155, 상한 170, μ = 163, σ = 7)을 쓰고, 상황에 맞게 답한다.

1.10 · 정규 모형이 적절한가?

데이터의 정규성 확인

데이터에 정규 모형을 쓰기 전에 데이터가 정규분포처럼 보이는지 확인하자. 실제 분포 중에는 정규분포가 아닌 것이 많다.

데이터를 그래프로 그리기. 정규 모형을 쓰려면 점도표나 히스토그램이 대체로 대칭이고 봉우리가 하나이며 이상값이 없어야 한다.

경험적 법칙 확인하기. 평균에서 표준편차 1, 2, 3배 이내에 있는 값의 개수를 센다. 키 데이터는 73.0%, 94.5%, 99.5%으로, 68, 95, 99.7에 가깝다.

정규확률그림 보기. 각 값을 데이터가 정확히 정규분포를 따를 때 가질 z점수에 대해 그린다. 정규 데이터는 키 데이터처럼 직선에 가깝게 놓인다. 치우친 데이터는 휘어진다. 통근 시간은 오른쪽에서 위로 휘는데, 오른쪽 꼬리가 길기 때문이다.

경험적 법칙만으로는 오해할 수 있다. 통근 시간의 72.5%가 평균에서 표준편차 1배 이내에 있어 68%에 가깝다. 그러나 x̄ − 2s = 19.4 − 2(10.4) = −1.4분으로 불가능한 시간이다. 정규 모형이라면 통근의 약 2.3%가 그보다 짧을 것이다. 평균이 하한 0보다 표준편차 2배 미만만큼 위에 있으면 오른쪽으로 치우쳤다고 의심하자.