이변량 데이터 탐구

2장 · 이변량 데이터 탐구

산점도와 최소제곱직선

각 개체에서 두 가지를 측정했습니다. 하나가 다른 하나에 대해 알려 줄까요? 얼마나 알려 줄까요?

법과학자들은 뼈 하나로 사람의 키를 추정합니다. 그림은 성인 14명의 대퇴골(넙다리뼈) 길이와 키를 나타냅니다. 키가 큰 사람은 대퇴골이 더 길고, 점들은 직선에 가깝게 놓입니다.

어떤 직선일까요? 점들 사이로 그은 직선은 각 점을 잔차(빨강)만큼 빗나갑니다. 각 잔차를 제곱하고(빨간 정사각형) 넓이를 모두 더하세요. 시험 직선이 돌면 전체 넓이가 변하고, 이것을 가장 작게 만드는 직선이 최소제곱직선입니다. 여기서는 ŷ = 49.8 + 2.64x이고 전체 넓이는 126 cm²입니다.

이 단원은 범주형 변수(이원표, 막대그래프, 조건부 백분율)에서 시작해 산점도를 설명하고, 상관계수 r로 선형 연관성을 측정하며, 최소제곱직선을 구해 점검하고, 눈에 띄는 점 하나나 곡선이 직선에 어떤 영향을 주는지 다룹니다.

2.1 · 두 변수는 관련이 있을까?

패턴일까, 우연일까?

한 변수의 값을 알면 다른 변수의 값에 대해 무언가를 알 수 있을 때, 두 변수는 연관되어 있다고 합니다.

통계는 변동에 대한 질문에서 시작합니다. 대퇴골이 긴 성인은 키도 큰 경향이 있을까요? 학생이 등교하는 방법은 사는 곳에 따라 다를까요? 각 질문은 같은 개체에서 측정한 두 변수를 짝짓습니다.

데이터는 언제나 변동하므로, 우연만으로도 어떤 패턴이 나타날 수 있습니다. 그림이 이를 검정합니다. 왼쪽은 실제 짝들이고 r = 0.95입니다. 오른쪽은 같은 14개의 키를 같은 14개의 대퇴골 사이에서 무작위로 계속 다시 섞은 것입니다. 섞으면 실제 연결이 끊어지므로, 남는 패턴은 우연입니다.

아래는 40번 섞은 각각의 상관계수입니다. 0 주위에 흩어지고, 가장 먼 값은 −0.81입니다. 실제 값 0.95는 그 모두를 넘어섭니다. 이렇게 강한 패턴을 우연만으로 설명하기는 믿기 어렵습니다.

이것이 이 과정 전체의 추론을 축소한 것입니다. 우연만으로는 무엇이 나올지 묻고, 데이터가 그와 비슷한지 확인합니다. 뒤의 단원에서 이를 정확하게 다룹니다.

2.2 · 두 범주형 변수

이원표와 막대그래프

이원표는 두 범주형 변수의 각 조합에 속하는 개체 수를 셉니다.

학생 300명에게 사는 곳과 평소 등교 방법을 물었습니다.

가장자리의 합계는 주변 도수로, 각 변수를 따로 본 것입니다. 사는 곳과 상관없이 학생 300명 중 108명이 차로 옵니다.

나란히 놓은 막대(왼쪽)는 도수를 그립니다. 읽기는 쉽지만 집단의 크기가 다르면 비교하기 어렵습니다. 교외 학생은 120명이지만 농촌 학생은 80명뿐이어서, 도수는 오해를 줍니다.

누적 막대(오른쪽)는 이를 해결합니다. 각 집단이 높이 100%인 막대 하나이고, 그 집단 학생들의 비율로 나뉩니다. 농촌 학생은 55%가 차로 오고, 도시 학생은 16%가 차로 옵니다. 모자이크 그림(2.3)은 각 막대의 너비도 집단의 크기에 맞춥니다.

어느 변수로 막대를 나눌지는 질문에 따라 고르세요. 지역별 이동 방법을 비교하려면 지역마다 막대를 하나씩 만드세요.

2.3 · 결합, 주변, 조건부

세 가지 상대도수

상대도수는 도수를 전체 합계로 나눈 값입니다. 어떤 합계로 나누느냐에 따라 의미가 달라집니다.

• 결합: 표의 한 칸을 표 전체 합계로 나눈 값. 전체 학생 300명 중 44명이 시골에 살고 차로 통학합니다: 44/300 = 14.7%.
• 주변: 행 또는 열의 합계를 표 전체 합계로 나눈 값. 전체 학생의 108/300 = 36%이(가) 차로 통학합니다.
• 조건부: 한 칸을 그 칸이 속한 행 또는 열의 합계로 나눈 값. 시골 학생 중 44/80 = 55%이(가) 차로 통학합니다. 차로 통학하는 학생 중 44/108 = 40.7%이(가) 시골 학생입니다.

마지막 두 가지는 서로 다릅니다. ‘시골 학생 중 차로 통학하는 비율’과 ‘차로 통학하는 학생 중 시골 학생의 비율’은 나누는 합계가 다릅니다. ~ 중 또는 ~가 주어졌을 때 뒤에 나오는 집단이 무엇인지 문장을 읽고 확인하세요. 그 집단의 합계가 분모입니다.

모자이크 그림은 세 가지를 한꺼번에 보여 줍니다. 각 열의 너비는 그 지역의 주변 비율이고, 각 블록의 높이는 지역 안에서의 조건부 비율이며, 따라서 각 블록의 넓이는 결합 비율입니다. 시골의 자동차 블록은 모자이크 전체의 14.7%입니다.

2.3 · 범주형 변수 사이의 연관성

조건부 분포를 비교하기

한 변수의 조건부 분포가 다른 변수의 범주마다 다르면 두 범주형 변수는 연관되어 있습니다.

지역별, 그리고 전체 학생의 통학 방법에 대한 조건부 분포입니다.

통학 방법이 지역과 관계없다면 모든 행이 ‘전체’ 행과 같고, 분할 막대는 같은 높이에서 나뉠 것입니다. 그렇지 않습니다. 자동차 비율은 도시 16%에서 교외 40%, 시골 55%로 올라가고, 걷기나 자전거는 48%에서 8%로 내려갑니다. 학생이 사는 곳과 통학 방법 사이에는 연관성이 있습니다.

도수가 아니라 백분율을 비교하세요. 교외의 자동차 통학생 48명이 시골의 44명보다 많지만, 자동차로 통학하는 비율은 교외 학생이 더 작습니다.

데이터에서 보이는 연관성이 인과관계의 증거는 아닙니다. 시골에 산다는 사실이 운전의 원인은 아닐 수 있습니다. 표에 없는 변수인 통학 거리가 대부분을 설명할 수도 있습니다. 8장에서는 이런 차이가 우연일 수 있는지 검정합니다(χ² 검정).

2.4 · 산점도

방향, 형태, 강도, 특이점

산점도는 같은 개체에서 측정한 두 양적 변수를 개체마다 점 하나로 나타냅니다.

설명변수는 x축에 놓습니다. 설명하거나 예측할 수 있는 변수입니다. 반응변수는 y축에 놓습니다. 결과에 해당하는 변수입니다. 여기서는 대퇴골 길이가 키를 설명합니다.

산점도는 상황에 맞게 네 가지 특징으로 설명합니다.

• 방향: 양(x가 클수록 y도 큼), 음, 또는 어느 쪽도 아님.
• 형태: 선형, 곡선형, 또는 군집.
• 강도: 점들이 그 형태를 얼마나 가깝게 따르는지. 강함, 중간, 약함.
• 특이점: 이상치, 빈 구간, 군집.

이 경우 이 성인들의 대퇴골 길이와 키 사이에는 강한 양의 선형 연관성이 있고, 뚜렷한 이상치는 없습니다. 작은 그림들은 다른 유형을 보여 줍니다. 더 약한 음의 연관성, 강한 곡선형, 그리고 연관성 없음입니다.

2.5 · 상관계수

선형 연관성의 강도를 숫자로 나타내기

상관계수 r은 두 양적 변수 사이의 선형 연관성의 방향과 강도를 나타냅니다.

각 변수를 표준화하세요. z_x와 z_y는 값이 평균에서 표준편차 몇 개만큼 떨어져 있는지를 나타냅니다. 평균을 지나는 선이 그래프를 네 개의 사분면으로 나눕니다. 오른쪽 위(또는 왼쪽 아래)에 있는 점은 곱 z_xz_y가 양수이며 빨간 직사각형입니다. 왼쪽 위나 오른쪽 아래의 점은 음수이며 파란색입니다.

부호가 있는 넓이를 모두 더해 n − 1로 나눕니다. 대퇴골 자료에서는 14개의 곱을 더하면 12.305이고, 12.305/13 = 0.947입니다. 넓이의 거의 전부가 빨간색입니다. 강한 양의 연관성입니다.

r은 −1과 1 사이의 값입니다. 부호는 방향이고, 크기는 강도입니다. ±1에 가까우면 점들이 직선에 가깝게 놓이고, 0에 가까우면 선형 패턴이 없습니다. 상황에 맞게 해석하세요. r = 0.95은 대퇴골 길이와 키 사이에 강한 양의 선형 연관성이 있다는 뜻입니다.

시험에서는 계산기로 r을 구하고, 그 의미를 알아야 합니다.

2.5 · r이 말해 주지 않는 것

선형만 나타냄, 이상치에 민감함, 인과관계 아님

r은 직선 패턴을 요약한 값입니다. 항상 산점도를 먼저 살펴보세요.

• 선형만 나타냅니다. 빨간색 그래프는 강한 곡선 관계가 있는데도 r = −0.02입니다. r이 0에 가깝다는 것은 선형 연관성이 없다는 뜻이지 연관성이 전혀 없다는 뜻이 아닙니다. 또 r이 크다고 해서 직선이 알맞은 형태라는 증명도 아닙니다.
• 단위가 없습니다. 어느 변수의 단위를 바꿔도 r은 그대로입니다. 대퇴골을 인치로 나타내도 r은 여전히 0.947입니다. x와 y를 바꿔도 달라지지 않습니다.
• 저항성이 없습니다. 평균처럼 r도 벗어난 점 하나에 크게 달라질 수 있습니다(2.9).
• 인과관계가 아닙니다. 강한 상관이 있다고 해서 x를 바꾸면 y가 바뀐다는 뜻은 아닙니다. 잠재 변수가 둘 다에 영향을 줄 수도 있고(아이스크림 판매량과 익사 사고는 여름 더위에 모두 늘어납니다), 관계의 방향이 반대일 수도 있습니다. 원인은 잘 설계된 실험(3장)만이 보여 줍니다.

작은 그림 네 개: 강한 양의 선형, r = 0.97; 중간 정도의 음의 선형, r = −0.71; 강한 곡선형, r = −0.02; 연관성 없음, r = 0.01.

2.6 · 선형 회귀 모형

x로 y를 예측하는 직선

회귀직선은 반응변수 y가 설명변수 x에 따라 어떻게 변하는지를 모형으로 나타내고, 주어진 x에 대한 y를 예측합니다.

ŷ(y-hat)은 관측값이 아니라 예측값입니다. 모자 기호를 꼭 쓰세요. b는 기울기이고 a는 y절편입니다. 모형은 상황에 맞게 쓰세요. 예측 키 = 49.8 + 2.64(대퇴골 길이).

예측하기. 대퇴골 길이가 45.0 cm이면 ŷ = 49.8 + 2.64(45.0) = 168.5 cm입니다. 이는 그 대퇴골 길이를 가진 성인들에 대해 모형이 주는 평균 키이며, 개인별로는 더 크거나 작을 수 있습니다.

외삽은 데이터에 있는 x의 범위, 여기서는 39.0에서 49.8 cm 밖의 값을 예측하는 것입니다. 그 범위 밖에서는 직선을 뒷받침하는 근거가 없고 형태가 달라질 수 있습니다. 어린이의 대퇴골 30 cm에 대해 ŷ = 128.9 cm이지만, 이는 성인만으로 만든 모형에서 나온 값입니다. 그림에서는 점이 데이터의 범위를 벗어나면 회색으로 바뀝니다.

2.7 · 잔차

직선이 설명하지 못하는 부분과 잔차그림

잔차는 관측값에서 예측값을 뺀 값입니다. 점이 직선보다 얼마나 위 또는 아래에 있는지를 나타냅니다.

대퇴골 길이가 46.9 cm인 성인의 키는 180.1 cm입니다. 직선의 예측값은 173.5 cm이므로 잔차는 180.1 − 173.5 = 6.6 cm이고, 예측보다 6.6 cm 더 큽니다. 잔차가 음수이면 직선이 과대 추정한 것입니다. 최소제곱직선에서는 잔차의 합이 0입니다.

잔차그림은 각 잔차를 x(또는 ŷ)에 대해 나타낸 그래프입니다. 그림에서는 각 잔차가 산점도에서 아래 그래프로 내려옵니다. 직선이 0에 눕혀진 모양입니다.

• 패턴 없음, 0 주위에 고르게 흩어짐: 선형 모형이 적절합니다. 대퇴골 자료가 그렇습니다.
• 잔차에 곡선이 나타남: 관계가 선형이 아니며, 다른 형태가 더 잘 맞을 것입니다(2.9).
• 부채꼴, x가 커질수록 퍼짐이 커짐: x가 클수록 예측이 덜 정밀합니다.

잔차그림은 직선의 추세가 제거되어 있어서 산점도보다 남은 패턴을 더 분명하게 보여 줍니다.

2.8 · 최소제곱 회귀

잔차 제곱의 합을 가장 작게 만드는 직선

최소제곱 회귀직선은 잔차 제곱의 합을 가능한 한 작게 만드는 직선입니다.

오른쪽 그래프는 각 기울기(평균점을 지나는 직선)에 대한 잔차 제곱합을 나타냅니다. 포물선 모양이며 b = 2.64에서 가장 낮습니다. 다른 기울기는 모두 합이 더 큽니다.

따라서 직선은 항상 (x̄, ȳ) = (44.02, 165.91)을 지나고, 기울기의 부호는 r의 부호와 같습니다. x가 표준편차 1만큼 증가하면 y는 표준편차 r만큼 증가한다고 예측하며, 이는 1보다 작습니다. 이것이 ‘평균으로의 회귀’입니다.

해석하기. 기울기: 대퇴골 길이가 1 cm 길어질 때마다 예측 키는 약 2.64 cm 증가합니다. 절편: 대퇴골 길이가 0 cm인 성인의 예측 키는 49.8 cm이지만, 이는 외삽이며 여기서는 의미가 없습니다. 절편이 그런 경우는 흔합니다.

x를 y에 회귀하면 다른 직선이 나옵니다. 반응변수는 설명변수로부터 예측하고, 그 반대로 하지 마세요.

2.8 · r²와 s

직선이 얼마나 잘 맞는지, 보통 얼마나 빗나가는지

두 수가 직선의 예측이 얼마나 좋은지 알려 줍니다. 결정계수 r²와 잔차의 표준편차 s입니다.

통계 소프트웨어는 직선을 이렇게 출력합니다.

S = 3.2393   R-sq = 89.6%

Constant 옆의 값이 a, 설명변수 옆의 값이 b입니다. ŷ = 49.8 + 2.64x. (SE Coef는 9장에서 다룹니다.)

r² = 89.6%: 직선이 없을 때 키의 ȳ로부터의 편차 제곱합은 1210 cm²이고, 직선 주위에서는 126입니다. 직선이 이 중 1 − 126/1210 = 89.6%만큼을 제거합니다. 상황에 맞게 말하면, 키의 변동 중 약 89.6%가 넓다리뼈 길이를 이용한 선형 모형으로 설명됩니다.

s = 3.24 cm이며, 잔차로부터 구합니다(n − 2로 나눕니다).

상황에 맞게 말하면, 실제 키는 직선이 예측한 키와 보통 약 3.2 cm 차이가 납니다. 파란 띠는 ŷ ± s입니다.

2.9 · 이상치, 레버리지, 영향력

점 하나가 직선에 미치는 영향

특이한 점 하나가 회귀를 크게 바꾸기도 하고, 거의 바꾸지 않기도 합니다. 그 점의 위치가 이를 결정합니다.

• 회귀에서 이상값은 잔차가 큰 점, 즉 직선에서 멀리 위나 아래에 있는 점입니다.
• 높은 레버리지 점은 x값이 x̄에서 멀리 떨어진 점입니다. 직선을 기울일 힘이 있습니다.
• 영향력 있는 점은 제거하면 기울기, 절편 또는 상관계수가 뚜렷이 달라지는 점입니다. 레버리지가 높은 점이 흔히 그렇습니다.

빨간 점을 14명의 성인 자료에 더하고 움직입니다. 회색 직선은 이 점이 없을 때의 직선입니다.

오른쪽 멀리 직선 위에 있으면 레버리지는 높지만 기울기에는 영향력이 없고, 오히려 r을 높입니다. 오른쪽 멀리 직선 아래에 있으면 기울기를 2.64에서 1.76으로 끌어내려 영향력이 있습니다. x̄ 근처에서 위로 높이 떨어져 있으면 r을 0.846로 낮추는 이상값이지만 기울기는 거의 움직이지 않습니다.

특이한 점을 그냥 삭제하지 마세요. 오류가 아닌지 확인하고, 실제 값이라면 그 점을 포함한 결과와 제외한 결과를 모두 제시하세요.

2.9 · 직선으로 변환하기

로그는 지수적 증가를 직선으로 만든다

산점도가 곡선을 그릴 때는 변수를 변환하여 선형으로 만들 수 있습니다. 그러면 최소제곱직선으로 모형화할 수 있습니다.

세균 배양액의 개수를 10시간 동안 매시간 세었습니다. 개수는 위로 휘어 오릅니다. 매시간 개수에 더해지는 것이 아니라 곱해지기 때문입니다. r = 0.900인데도 직선은 잘 맞지 않으며, 잔차도는 뚜렷한 곡선입니다.

개수에 로그를 취합니다. 지수적 증가가 선형이 됩니다. 그림이 둘 사이를 오갑니다. t에 대해 log₁₀(개수)는 곧은 직선이며 r = 0.998이고, 잔차에는 어떤 패턴도 없습니다.

예측하려면 변환을 되돌려야 합니다. t = 8.5시간일 때 log₁₀(개수) = 1.594 + 0.1626(8.5) = 2.976이므로 개수 ≈ 10^2.976 = 946입니다. 기울기는 예측 개수가 매시간 10^0.1626 = 1.454배가 된다는 뜻입니다.

다른 곡선에는 다른 변환이 필요합니다. log y를 log x에 대해 그리면 거듭제곱 모형 y = ax^b가 직선이 됩니다. 제곱근이나 역수가 다른 곡선을 직선으로 만들 수도 있습니다. 잔차도에 패턴이 없는 변환을 고르세요.