기울기에 대한 추론

9장 · 기울기에 대한 추론

이 추세는 진짜일까?

최소제곱직선은 하나의 표본을 설명합니다. 추론은 그 직선이 모집단 전체의 직선에 대해 무엇을 말해 주는지 묻습니다.

한 교사가 학생 18명을 무작위로 뽑아 각자 시험 공부를 몇 시간 했는지와 점수를 기록합니다. 대체로 시간이 길수록 점수가 높습니다. 하지만 이 추세는 진짜일까요, 아니면 이렇게 작은 표본에서 우연히 나타날 수도 있을까요?

그림은 답을 아는 모집단을 만듭니다. 검은 직선은 모집단 회귀직선, 즉 각 공부 시간에서의 평균 점수입니다. 각 x에서 점수는 직선 주위에 정규분포로 퍼집니다(파란 곡선). 각 학생의 점수는 그 학생의 공부 시간에 해당하는 곡선에서 뽑힙니다.

빨간 직선은 표본에 적합한 직선입니다. 기울기는 b = 2.247이고, 모집단의 기울기는 β = 2.5입니다. 실제로는 β를 알 수 없고, 우리가 가진 것은 b뿐입니다.

이 단원에서는 모형을 설명하고, b가 표본마다 어떻게 달라지는지 보고, 조건을 확인하고, β의 신뢰구간을 만들고, β = 0인지 검정하고, 컴퓨터 출력에서 이를 읽어 내며, 마지막으로 이 과정의 모든 절차 중 알맞은 것을 고르는 법을 다룹니다.

9.1 · 모집단 회귀 모형

모든 x에서 y는 정규분포를 따른다

기울기에 대한 추론은 하나의 모형을 가정합니다. 각 x값에서 반응 y는 정규분포를 따르고, 중심은 한 직선 위에 있으며, 퍼진 정도는 모두 같습니다.

α, β, σ는 모수입니다. 각각 모집단 회귀직선의 절편과 기울기, 그리고 직선 주위 y의 표준편차로, 모든 x에서 같습니다. 표본은 각각을 통계량으로 추정합니다.

β는 학교 전체 학생을 통틀어 공부 시간이 1시간 늘 때 평균 점수가 변하는 양입니다. 여기서 β = 2.5이므로 3시간일 때 평균은 57.5, 5시간일 때 62.5입니다.

s는 잔차로 σ를 추정하며, a와 b 두 수를 먼저 추정했기 때문에 n − 2로 나눕니다.

이 단원의 모든 검정 뒤에 있는 질문은 이것입니다. 점들이 정말로 한 직선 위에 늘어서 있는가, 아니면 β가 0이어도 b 같은 기울기가 우연히 나올 수 있는가?

9.1 · 표본 기울기는 달라진다

b의 표집분포

같은 모집단에서 다른 표본을 뽑으면 다른 직선과 다른 기울기가 나옵니다. 가능한 모든 표본의 기울기가 이루는 분포가 b의 표본분포입니다.

그림에서는 같은 18개의 공부 시간을 유지하고 새 점수를 100번 뽑습니다. 적합선(빨강, 이후 회색)은 참된 직선 주위로 조금씩 다르게 기울고, 각 기울기는 점도표에 떨어집니다.

모형이 성립하면 b의 표본분포는 정규분포이고 중심은 β입니다(b는 불편추정량). 표준편차는 다음과 같습니다.

여기서 σ_x는 x값들의 표준편차입니다(n으로 나눔). 100개 기울기의 평균은 2.47, 표준편차는 0.83로, 각각 2.5, 0.81에 가깝습니다.

b의 변동이 작아지는 경우: 직선 주위의 흩어짐이 작을 때(σ가 작을 때), x의 퍼짐이 클 때(σ_x가 클 때), 표본이 클 때입니다. x값을 넓게 퍼뜨리면 모아 놓을 때보다 직선이 더 잘 고정됩니다.

σ는 알 수 없으므로 s로, σ_x√n은 s_x√(n − 1)로 바꿉니다. 그러면 기울기의 표준오차가 되고, 이것으로 표준화하면 자유도 n − 2의 t분포가 됩니다.

9.2 · 추론의 조건

LINER: 선형, 독립, 정규, 등분산, 무작위

모형이 맞을 때만 구간과 검정을 믿을 수 있습니다. 계산하기 전에 다섯 가지 조건을 데이터로 확인하세요.

18명의 학생의 경우: 잔차그림(가운데)은 0 주위의 규칙 없는 띠 모양이며 곡선도 부채꼴도 없으므로 선형 조건과 등분산 조건을 만족합니다. 잔차의 히스토그램(오른쪽)은 봉우리가 하나이고 강한 치우침이 없습니다. 가장 큰 잔차는 21.2로 약 2.2 s이며 극단적인 이상치는 아닙니다. 학생들은 무작위 표본이었고, 18 ≤ 학교 학생 950명의 10%입니다.

흔한 실수. 정규성은 x나 y가 아니라 잔차에서 확인합니다. 여기서는 치우친 잔차그림을 눈감아 주는 “n ≥ 30” 규칙이 없습니다. 잔차그림이 곡선 모양이면 기울기가 알맞은 요약이 아니라는 뜻이며, 어떤 구간으로도 해결할 수 없습니다.

9.2 · 회귀 분석 출력 읽기

Coef, SE Coef, T, P, S, R-Sq

소프트웨어는 회귀 결과를 표준 표로 출력합니다. 이 단원에 필요한 수가 모두 들어 있습니다.

Coef. Constant 행은 절편 a를, 설명변수 이름의 행은 기울기 b를 줍니다.

Hours의 SE Coef는 SE_b = 0.883입니다. T = Coef/SE Coef = 2.55로, H₀: β = 0의 검정통계량입니다. P = 0.022는 그 양측 P-값입니다.

S = s = 9.834: 실제 점수는 예측 점수와 보통 약 9.8점 차이가 납니다. R-Sq = r²: 점수 변동의 28.8%가 공부 시간에 대한 선형 모형으로 설명됩니다. 그러면 r = +√0.288 = 0.537이며, 기울기처럼 양수입니다.

기울기의 해석: 공부 시간이 1시간 늘 때마다 예측 점수는 약 2.247점 증가합니다.

흔한 실수. Constant 행의 T와 P는 α = 0을 검정하는 것으로, 묻는 의미가 거의 없습니다. S는 SE_b가 아닙니다. R-Sq(adj)는 이 과정에서 필요하지 않습니다.

9.2 · 기울기의 신뢰구간

b ± t*·SE_b, 자유도 n − 2

β에 대한 신뢰구간은 표본 기울기에 오차한계를 더하고 뺀 구간입니다.

계산. n = 18, df = 16이고 95% 신뢰수준에서 t* = 2.120입니다. 출력 결과에서:

결론. 이 학교 학생들의 공부 시간에 대한 시험 점수의 모회귀직선의 기울기가 0.375에서 4.119 사이의 구간에 포함된다고 95% 확신합니다. 즉, 공부 시간이 1시간 늘어날 때마다 평균 점수는 0.38점에서 4.12점 사이만큼 오릅니다.

신뢰수준은 방법에 관한 것입니다. 표본을 반복해서 뽑으면 이렇게 만든 구간 중 약 95%가 β를 포함합니다. 오른쪽에서는 25개의 표본에서 만든 25개의 구간 중 24개가 β를 포함합니다. 구체적인 구간 하나는 β를 포함하거나 포함하지 않거나 둘 중 하나입니다.

그림은 신뢰수준을 80%에서 99%까지 바꿉니다. 수준이 높을수록 더 큰 t*가 필요하고 구간은 더 넓어집니다. 99%에서는 t* = 2.921이고 구간은 (−0.332, 4.826)입니다.

완전한 답안은 절차(기울기에 대한 t 구간)를 밝히고, 조건을 확인하고, 계산한 뒤, 상황에 맞게 결론을 내립니다.

9.3 · 구간으로 주장 뒷받침하기

주장된 기울기가 그럴듯한 값에 포함되는가?

신뢰구간 안의 값은 β의 그럴듯한 값입니다. 구간 밖의 값을 주장한다면 그 주장에 반하는 증거가 됩니다.

관계가 있는가? β = 0이면 공부 시간이 달라져도 평균 점수는 변하지 않습니다. 선형 관계가 없다는 뜻입니다. 0은 95% 구간 (0.375, 4.119)에 없고, 구간 안의 모든 값은 양수입니다. 따라서 β > 0이라는 확실한 증거가 있습니다. 모집단에서 공부 시간이 많을수록 평균 점수가 높습니다.

99%에서는 구간이 (−0.332, 4.826)입니다. 0이 포함되므로 이 수준에서는 0도 그럴듯한 값입니다. 관계가 없다는 것을 배제할 만큼 증거가 강하지 않습니다.

주장. 한 학원은 공부 시간 1시간이 평균 5점의 가치가 있다고 말합니다. 5은 두 구간보다 모두 위에 있으므로, 이 주장에 반하는 확실한 증거가 있습니다. 실제 기울기는 더 작은 것으로 보입니다.

C% 구간과 α = 1 − C에서의 양측검정은 서로 일치합니다. 검정이 β = β₀을 기각하는 것은 β₀이 구간 밖에 있을 때, 그리고 그때에 한합니다. 구간은 기울기가 얼마나 클 수 있는지도 알려 줍니다.

흔한 실수. 구간 안의 값은 그럴듯한 값일 뿐 증명된 값이 아닙니다. “0이 구간에 있으므로 관계가 없다”는 틀렸습니다. 또 “β가 구간에 있을 확률이 95%이다”도 틀렸습니다. β는 고정된 값이고, 95%는 방법이 β를 포함하는 비율입니다.

9.4 · 기울기 검정 설정하기

H₀: β = 0, 그리고 보이려는 대립가설

기울기에 대한 유의성 검정은 표본 기울기가 가설로 세운 값(보통 0)에서 우연이라고 보기에는 너무 멀리 떨어져 있는지를 묻습니다.

가설은 모집단의 기울기 β에 관한 것이며, b에 관한 것이 아닙니다.

H₀: β = 0은 선형 관계가 없다는 뜻입니다. 모든 x에서 y의 평균이 같습니다. β는 상황에 맞게 정의합니다. 예: “이 학교 모든 학생의 공부 시간에 대한 시험 점수의 모회귀직선의 기울기”. H_a는 데이터를 보기 전에 문제에 따라 정합니다.

교사는 점수와 공부 시간이 선형 관계에 있는지 자체를 묻고 있으므로, α = 0.05에서 H_a: β ≠ 0입니다. 절차는 기울기에 대한 t 검정이며, 9.2에서 확인한 것과 같은 LINER 조건을 씁니다.

검정이 필요한 이유. 오른쪽은 H₀이 참인 세계입니다. 참된 직선은 평평하고, 표본은 우리와 같은 공부 시간과 같은 흩어짐으로 뽑습니다. 그래도 적합한 직선은 우연히 기웁니다. 이런 표본 200개 중 3개가 우리 표본만큼 가파른 기울기(2.247)를 양쪽 방향 모두 합쳐서 보였습니다. H₀이 참이라면 우리의 기울기는 드문 값입니다.

H₀은 주장된 기울기처럼 다른 값 β = β₀을 쓸 수도 있습니다. 이때 검정은 0 대신 β₀을 넣는 것 외에는 같습니다.

9.5 · 기울기 검정 수행하기

t = (b − β₀)/SE_b, 그리고 t 분포에서 구한 P

검정통계량은 표본 기울기가 가설로 세운 기울기에서 표준오차의 몇 배만큼 떨어져 있는지를 나타냅니다.

df = n − 2 = 16입니다. 출력에는 반올림하지 않은 b와 SE_b로 계산한 T = 2.55가 나옵니다. 어느 쪽을 써도 괜찮습니다.

P값은 H₀이 참일 때 적어도 이만큼 극단적인 t가 나올 확률입니다. H_a가 양측이므로 두 꼬리를 모두 셉니다. P = 2P(t ≥ 2.55) = 0.022이며, 출력과 같습니다. 그림에서는 9.4의 귀무 표본들이 t 값을 t 곡선 위에 떨어뜨립니다. 200개 중 4개(0.020)가 빨간 꼬리에 놓입니다.

해석. 모집단에서 공부 시간과 점수 사이에 선형 관계가 없다고 가정하면, 우연만으로 표본 기울기가 0에서 2.247만큼 또는 그 이상 떨어질 확률은 0.022입니다.

결론. P = 0.022 < α = 0.05이므로 H₀을 기각합니다. 이 학교 학생들의 공부 시간과 시험 점수 사이에 선형 관계가 있다는 확실한 증거가 있습니다.

흔한 실수. “H₀을 채택한다”고 하면 안 됩니다. 기각하지 못한다고 해야 합니다. P값은 H₀이 참일 확률이 아닙니다. 또 이 학생들은 스스로 공부 시간을 정했습니다. 이것은 관찰 연구이므로 연관성을 보여 줄 뿐, 더 많이 공부해서 점수가 높아졌다는 인과를 보여 주지는 않습니다. 인과는 무작위 실험만이 뒷받침합니다.

9.5 · 단측 검정, 다른 주장, 오류

출력된 P값이 답이 아닐 때

출력의 T와 P는 β = 0에 대한 양측검정이라는 한 가지 질문에 답합니다. 다른 질문에는 한 단계가 더 필요합니다.

단측검정. H_a: β > 0이면 P값은 한쪽 꼬리입니다. b가 H_a가 예측한 쪽에 있으면 출력된 P를 반으로 나눕니다. 0.022/2 = 0.0110입니다. b가 반대쪽에 있으면 P값은 1에서 그 값을 뺀 값이 되고, H_a를 뒷받침하는 증거는 없습니다.

다른 β₀. 학원의 주장을 검정하려면 H₀: β = 5, H_a: β < 5으로 놓고 t를 직접 계산합니다.

df = 16에서, 참된 기울기가 5보다 작다는 강한 증거가 있습니다. 9.3의 구간이 보여 준 것과 같습니다.

검정과 구간의 일치. P = 0.022 < 0.05이고, 95% 구간은 0을 제외합니다. P = 0.022 > 0.01이고, 99% 구간은 0을 포함합니다.

오류. 여기서 제1종 오류는 모집단에서는 관계가 없는데 공부 시간과 점수가 선형 관계라고 결론 내리는 것이며, 그 확률은 α입니다. 제2종 오류는 실제로 있는 관계를 놓치는 것입니다. 표본이 크고, x의 퍼짐이 크고, α가 클수록 제2종 오류는 줄어듭니다.

9.6 · 추론 방법 선택하기

질문에 맞는 방법 고르기

이 과정의 모든 절차는 한 가지 종류의 질문에 답합니다. 데이터에 대한 세 가지 질문으로 절차를 고를 수 있습니다.

1. 무엇을 측정했는가? 개체마다 하나의 범주(비율, 도수), 하나의 수(평균), 또는 개체마다 두 수(기울기). 2. 표본이나 집단은 몇 개이며, 짝지어져 있는가? 3. 추정인가, 검정인가? “얼마나 큰가…”나 “추정하라…”는 구간을, “확실한 증거가 있는가…”는 검정을 요구합니다.

표현 속 단서: “비율”, “퍼센트” → z, “평균” → t, 범주형 변수 사이의 “관계” → χ², 양적 변수 사이의 관계 → 기울기.

흔한 실수. 짝지은 데이터를 두 표본으로 분석하는 것(같은 사람을 두 번 측정하면 짝지은 자료입니다). 동질성과 독립성을 혼동하는 것은 설계에 따라 다릅니다. 표본이 여러 개인지 하나인지를 봅니다. 상관에 관한 질문에는 χ² 검정이 아니라 기울기 검정이 필요합니다.