자료 수집

3장 · 데이터 수집

표본, 실험, 편향

데이터로 알 수 있는 것은 데이터를 어떻게 수집했는지에 달려 있습니다. 좋은 표본이면 모집단 전체에 대해 말할 수 있고, 좋은 실험이면 인과관계에 대해 말할 수 있습니다.

그림은 학생 200명이 다니는 학교이며, 공 하나가 학생 한 명입니다. 어두운 공은 운전면허가 있는 학생으로, 87명이고 비율은 0.435입니다. 조사를 하는 사람은 이 수를 알 수 없습니다. 그래서 표본에게 물어봅니다.

컴퓨터가 학생 20명을 무작위로 뽑으면(빨간색), 그 표본에서 면허 보유 비율 p̂이 점도표 위에 떨어집니다. 표본마다 답은 다르지만, 답들은 참값 주위에 모입니다.

이 단원은 믿을 수 있는 데이터를 얻는 방법을 다룹니다. 누구를 측정할지 고르는 법, 표본이 잘못되는 경우, 실험을 설계하는 법, 그리고 연구 유형마다 어떤 결론을 내릴 수 있는지를 배웁니다.

3.1 · 통계학 입문

우리가 수집한 데이터는 진실을 말해 줄까?

데이터는 변동합니다. 같은 모집단에서 뽑은 두 무작위 표본도 답이 다르며, 통계학은 이 변동을 연구하는 학문입니다.

크기 20인 표본 40개에서 p̂의 값은 0.25에서 0.60까지 나왔습니다. 잘못된 표본은 하나도 없습니다. 이것이 무작위 표본의 우연한 변동인 표본 변동성입니다. 값들은 0.434 주위에 모이며 참값 0.435에 가깝고, 표준편차는 0.107입니다.

따라서 표본 하나의 답은 추정값이지 참값이 아닙니다. 숫자를 믿기 전에 어떻게 얻었는지 물어보세요.

처음 두 가지는 이 단원의 내용입니다. 마지막은 이 과정의 나머지 부분입니다. 결과가 무작위 변동으로 나올 법한 것보다 더 큰지를 따지는 일입니다.

3.2 · 연구 계획 입문

모집단, 표본, 전수조사

모집단은 알고 싶은 대상 전체입니다. 표본은 그중 실제로 측정하는 부분입니다.

모집단은 정확하게 정하세요. “십대”가 아니라 “이 학교의 학생 200명 전체”처럼요. 결론은 표본을 뽑은 모집단까지만 미칩니다.

전수조사는 모집단의 모든 구성원을 측정합니다. 한 학교라면 가능하지만 한 나라에서는 느리고 비용이 많이 들며, 어떤 질문에서는 불가능합니다(전구가 꺼질 때까지 모두 시험하면 팔 전구가 남지 않습니다). 잘 고른 표본은 더 싸고 빠르며 대개 충분합니다.

모수는 모집단을 나타내는 수이고, 통계량은 표본을 나타내는 수로 모수를 추정하는 데 쓰입니다.

모수는 보통 알 수 없고 고정되어 있으며, 통계량은 알 수 있고 표본마다 변합니다. 비율은 p와 p̂, 평균은 μ와 x̄입니다.

일반화. 표본에서 모집단으로 결과를 확장할 수 있는 것은 그 모집단에서 표본을 무작위로 뽑았을 때뿐입니다. 손쉽게 구한 사람들의 데이터는 그 사람들만 설명합니다.

3.2 · 관찰 연구와 실험

지켜보기, 또는 처리하기

관찰 연구는 대상이 이미 하고 있는 행동을 아무것도 바꾸지 않고 기록합니다. 실험은 의도적으로 처리를 부여하고 반응을 측정합니다.

시험 전에 커피를 마시면 도움이 될까요? 같은 학생 24명을 두 번 나눕니다. 어두운 공은 8시간 이상 잔 학생입니다.

위: 관찰 연구. 학생들이 스스로 선택했습니다. 피곤한 학생이 커피를 찾으므로 커피 집단은 12명 중 3명이, 다른 집단은 12명 중 9명이 충분히 쉰 상태입니다. 두 집단의 점수가 다르다면 커피 때문일까요, 수면 때문일까요? 알 수 없습니다.

수면은 교락변수입니다. 설명변수(커피)와 연관되어 있고 반응(점수)에도 영향을 주므로 두 효과를 분리할 수 없습니다.

아래: 실험. 무작위로 섞어서 정했기 때문에 수면은 관여하지 못했고, 충분히 쉰 학생은 7명과 5명입니다. 무작위 배정은 알고 있는 변수든 모르는 변수든 다른 모든 변수를 집단 간에 균형 있게 만드는 경향이 있습니다.

그래서 관찰 연구는 연관성은 보여 줄 수 있어도 인과관계는 보여 줄 수 없습니다. 후향적 연구는 과거 기록을 되돌아보고, 전향적 연구는 대상을 앞으로 따라가며 기록합니다. 표본조사도 관찰 연구입니다.

이 단원 전체의 규칙: 모집단으로 일반화하려면 무작위 추출이, 인과관계를 결론 내리려면 무작위 배정이 필요합니다.

3.3 · 무작위 추출과 자료 수집

단순 임의 표본

크기 n인 단순 무작위 표본(SRS)은 모집단에서 n명으로 이루어진 모든 집합이 표본이 될 확률이 같도록 뽑은 표본입니다.

난수표를 쓸 때:

1. 학생마다 서로 다른 세 자리 번호 001부터 200까지를 붙입니다.
2. 숫자를 세 개씩 읽습니다.
3. 000, 200보다 큰 번호, 중복된 번호는 건너뛰고 학생 20명이 뽑힐 때까지 계속합니다.

처음 뽑힌 학생 7명은 149, 048, 179, 026, 028, 064, 131입니다. 표를 따라 계속 읽으면 세 자리 묶음 115개로 20명이 모두 뽑힙니다. 이 표본에서는 20명 중 9명이 면허가 있습니다: p̂ = 0.45.

난수 생성기를 쓸 때: 1부터 200까지의 정수를 중복을 무시하고 20개가 될 때까지 생성합니다. 또는 이름을 똑같은 쪽지에 하나씩 적어 모자에 잘 섞은 뒤 20장을 뽑습니다.

사람의 표본은 비복원으로 뽑습니다. 한 번 뽑힌 학생은 다시 뽑힐 수 없습니다. 복원추출은 뽑은 학생을 다시 넣으므로 두 번 뽑힐 수 있습니다.

SRS에서 각 학생이 뽑힐 확률은 n/N = 20/200 = 0.1입니다. 그러나 개인의 확률이 같다고 충분한 것은 아닙니다. 다음 페이지의 방법들도 학생마다 같은 확률 0.1을 주지만, 20명으로 이루어진 모든 집합이 가능한 것은 아닙니다.

3.3 · 층화, 집락, 계통 추출 표본

우연, 단계별로

다른 무작위 추출 방법은 단계별로 우연을 이용합니다. 각각 단순 임의 표본(SRS)보다 비용이 적게 들거나 더 정밀할 수 있습니다.

층화 임의 표본. 모집단을 비슷한 개체끼리 모은 집단, 즉 층으로 나누고, 각 층에서 SRS를 뽑아 합칩니다. 여기서는 학년이 층이며, 각 학년에서 5명의 학생을 뽑습니다.

층은 층 안에서는 비슷하고 층 사이에서는 달라야 하며, 여기서 학년이 그렇습니다. 그러면 모든 학년이 표본에서 자기 몫을 차지하고, 같은 크기의 SRS보다 표본마다 추정값의 변동이 적습니다. 이 표본에서는 p̂ = 0.35가 나왔습니다.

군집 표본. 모집단을 보통 위치(교실, 거리, 상자)에 따라 집단으로 나눈 것이 군집입니다. 군집 몇 개를 무작위로 골라 그 안의 모든 개체를 조사합니다. 여기서는 25개의 학급 중 3개를 골라 그 안의 학생 24명 모두를 조사했고, p̂ = 0.417입니다. 군집은 각각이 모집단의 작은 축소판처럼 여러 특성이 섞여 있을 때 가장 좋으며, 이점은 비용으로, 군집마다 한 번만 방문하면 됩니다.

헷갈리지 마세요. 층화 표본은 모든 층에서 일부를 뽑고, 군집 표본은 일부 군집에서 전부를 뽑습니다.

계통 임의 표본. 명단에서 처음 k명 중 무작위로 시작점을 고른 뒤 k번째마다 한 명씩 뽑습니다. 여기서는 k = 200/20 = 10이고, 시작점은 8이며, 학생 8, 18, 28, …, 198번을 뽑아 p̂ = 0.35가 됩니다. 빠르고 간편하지만, 명단에 k칸마다 반복되는 패턴이 있으면 적합하지 않습니다.

3.4 · 표본 추출의 잠재적 문제

편향의 종류

표본추출 방법이 어떤 결과를 체계적으로 더 유리하게 만들면 그 방법은 편향되었다고 합니다. 여러 번 표본을 뽑아도 통계량이 늘 같은 방향으로 모수에서 벗어납니다.

학교 포털에는 10학년부터 12학년까지만 올라 있고 9학년은 아직 없습니다. 표본을 실제로 뽑는 명단을 표본추출틀이라 하고, 모집단의 일부가 틀에서 빠지는 것을 포함 오류(undercoverage)라 합니다. 이 명단에서는 150명 중 85명이 면허가 있어 0.567이고, 학교 전체는 0.435이므로 이 명단에서 뽑은 표본은 비율을 과대추정합니다.

무응답은 뽑혔지만 응답하지 않은 사람의 문제이고, 자발적 응답은 뽑히지 않았는데도 응답한 사람의 문제입니다.

시험에서는 편향의 이름을 쓰고, 이 상황에서 어떻게 생기는지 설명하고, 추정값을 어느 쪽으로 왜 치우치게 하는지 말하세요.

3.4 · 편향과 변동성

과녁에서 벗어남, 그리고 흩어짐

편향과 변동성은 서로 다른 결함이다. 편향은 방법의 결함이고, 표집 변동성은 모든 무작위 표본에 따라온다.

방법마다 표본 마흔 개를 뽑았다. 모수 p = 0.435은 파란색으로 표시했다:

위: p를 중심으로 모여 있다. 편향은 없지만 값이 흩어진다. 가운데(빨강): 포털 명단에서 뽑았으며 0.60 근처에 모인다. 모든 표본이 같은 방향으로 빗나가는데, 이것이 편향이다. 아래: 크기 80인 표본은 p를 중심으로 모이고, 크기 20인 표본보다 퍼짐이 절반도 안 된다.

무작위 표본을 키우면 변동성은 줄어든다. 하지만 편향은 줄지 않는다. 포털 명단에서 학생 80명을 뽑아도 마찬가지로 0.567 근처에 모이며, 더 촘촘할 뿐이다. 편향을 고치는 방법은 더 나은 방법을 쓰는 것이고, 변동성을 줄이는 방법은 표본을 키우는 것이다.

흔한 실수: “표본이 너무 작아서 편향되었다.” 작은 무작위 표본은 변동이 크지, 편향된 것은 아니다.

3.5 · 실험 설계 입문

실험 단위, 처리, 요인, 반응

실험은 대상에게 일부러 어떤 처치를 하고 그 반응을 측정합니다.

카페인이 반응 속도를 높일까요? 자원자 24명이 각각 알약을 먹고 기다린 뒤, 불빛이 번쩍이면 키를 누릅니다.

요인이 두 개이면 처리는 수준들의 조합입니다. 카페인(있음, 없음)과 수면(4 h, 8 h)이면 2 × 2 = 4개의 처리가 됩니다.

자원자를 섞어 12명씩 두 집단으로 나누었습니다. 이것이 완전 임의 배치 설계입니다. 통제집단은 위약을 먹었으며, 처리가 없을 때 어떻게 되는지 보여 줍니다. 평균 반응 시간은 카페인 235.1 ms, 위약 260.8 ms입니다.

자원자는 누군가의 랜덤 표본이 아닙니다. 실험은 거의 항상 참여에 동의한 사람을 씁니다. 그래서 결과를 어디까지 일반화할 수 있는지가 제한됩니다(3.7).

3.5 · 실험 설계의 원리

비교, 무작위 배정, 통제, 반복

잘 설계된 실험은 네 가지 원리에 바탕을 둡니다.

1. 비교. 처리가 적어도 두 개이거나, 처리와 통제집단이 있어야 합니다. 카페인을 먹은 뒤의 반응 시간은 먹지 않았을 때의 반응 시간이 없으면 의미가 없습니다.

2. 무작위 배정. 단위를 확률로 처리에 배정합니다. 반응에 영향을 주는 다른 변수(수면, 나이, 연습)를 집단 간에 고르게 나누므로, 남는 차이는 처리 때문이거나 우연 때문이지 교락 때문이 아닙니다.

3. 통제. 다른 모든 것을 모든 단위에 똑같이 유지합니다. 같은 시간대, 같은 화면, 같은 지시를 씁니다. 그러면 변동과 교락의 원인이 사라집니다.

4. 반복. 각 집단에 단위를 충분히 넣어 집단 간의 우연한 차이가 서로 상쇄되게 합니다. 집단마다 자원자가 한 명뿐이면 어떤 결과든 나올 수 있습니다.

위약과 눈가림. 사람은 처치를 받았다는 사실만으로도 반응합니다. 이것이 위약 효과입니다. 위약은 진짜 처치와 똑같이 보이는 가짜 처치로, 두 집단이 같은 기대를 갖게 합니다. 단일 눈가림 실험에서는 피험자(또는 측정하는 사람)가 누가 무엇을 받았는지 모르고, 이중 눈가림에서는 둘 다 모릅니다.

무작위 배정 서술하기(자주 나오는 시험 과제): 자원자에게 1부터 24까지 번호를 매기고, 번호를 똑같은 쪽지에 적어 모자에 섞은 뒤 12장을 뽑습니다. 뽑힌 사람은 카페인을, 나머지는 위약을 받습니다. 어떻게, 무엇으로, 누가 무엇을 받는지 말하세요.

3.6 · 실험 설계 선택하기

완전 임의 배치 설계와 난괴법 설계

완전 임의 배치 설계는 모든 단위를 무작위로 처리에 배정합니다. 난괴법 설계는 먼저 비슷한 단위끼리 블록으로 묶은 뒤, 각 블록 안에서 무작위로 배정합니다.

평소 커피를 마시는 사람은 한 번 더 마셔도 거의 반응하지 않을 수 있습니다. 우연히 이들 대부분이 카페인 집단에 들어가면 효과가 더 작아 보입니다. 그래서 커피 습관으로 블록을 나눕니다.

각 블록은 작은 완전 임의 배치 실험이며, 처리는 각 블록 안에서 비교합니다. 커피 습관에서 오는 변동이 비교에서 빠지므로 처리 효과를 더 정밀하게 추정할 수 있습니다.

반응에 영향을 줄 것으로 예상되는 변수로 블록을 나눕니다. 블록 설계와 실험의 관계는 층화와 표본조사의 관계와 같습니다. 비슷한 단위를 먼저 묶고 각 집단 안에서 확률을 씁니다. 블록은 무작위 배정 전에 만들며, 블록은 처리가 아닙니다.

“통제할 수 있는 것은 통제하고, 통제할 수 없는 것은 블록으로 묶고, 나머지는 무작위로 배정하라.”

3.6 · 짝지은 설계

두 명씩 블록

짝지은 설계(matched pairs design)는 매우 비슷한 두 실험 단위를 짝지어 두 처리를 비교하거나, 한 실험 단위에 두 처리를 모두 적용하여 비교합니다.

여기서는 지원자 12명이 각각 다른 날에 알약을 하나씩, 모두 두 번 검사를 받습니다. 순서는 동전 던지기로 정합니다. 7명은 카페인을 먼저, 5명은 위약을 먼저 먹었습니다. 사람은 연습할수록 빨라지므로 순서를 고정하면 카페인의 효과와 연습의 효과가 섞입니다. 순서를 무작위로 정하면 이 영향이 균형을 이룹니다.

분석에는 지원자마다 하나씩, 위약 값에서 카페인 값을 뺀 차이를 사용합니다. 평균은 11.2 ms, 표준편차는 14.7 ms입니다. 각 지원자가 자기 자신의 대조군이 되므로, 반응 시간의 큰 개인차는 분석에서 사라집니다.

짝은 쌍둥이, 밭의 두 절반, 점수가 같은 두 학생처럼 서로 매우 비슷한 두 단위일 수도 있습니다. 이때는 동전 던지기로 짝 중 누가 어느 처리를 받을지 정합니다.

3.7 · 추론과 실험

차이가 통계적으로 유의한가?

처리 집단 사이의 차이가 무작위 배정의 우연만으로는 설명하기 어려울 만큼 크면 통계적으로 유의하다고 합니다.

카페인 실험(3.5)에서:

카페인이 아무 효과가 없더라도, 12의 두 집단은 누가 어디에 배정되었느냐에 따라 조금은 달라집니다. 얼마나 달라질까요? 각 지원자가 어느 알약을 먹어도 반응 시간이 같다고 가정합니다. 24개의 시간을 무작위로 다시 나누어 12씩 두 집단을 만들고 평균의 차이를 구합니다. 이를 100번 반복합니다.

우연만으로 생긴 차이는 -25.2에서 19.7 ms까지였고 0 근처에 모였습니다. 100 중 none이(가) 25.7 ms만큼 컸습니다. 따라서 이만큼 큰 차이가 우연만으로 생길 가능성은 매우 낮습니다. 통계적으로 유의하며, 이 지원자들과 비슷한 사람에게서 카페인이 반응 시간을 단축한다는 설득력 있는 증거가 됩니다.

유의하다는 것은 “우연으로 보기 어렵다”는 뜻이지 “크다”거나 “중요하다”는 뜻이 아닙니다. 또 유의하지 않은 차이가 처리의 효과가 없음을 보여 주는 것도 아닙니다. 연구 규모가 너무 작아 효과를 보지 못했을 수도 있습니다.

3.7 · 추론의 범위

연구 설계에 따라 내릴 수 있는 결론

무작위 추출은 표본이 나온 모집단으로 일반화할 수 있게 해 줍니다. 무작위 배정은 인과관계를 결론짓게 해 줍니다. 각각 하는 일이 다릅니다.

카페인 실험(점등): 지원자를 무작위로 배정했습니다. 카페인이 반응을 빠르게 했지만, 이 지원자들과 비슷한 사람에게만 해당합니다.

운전면허 조사: 학교에서 단순임의추출(SRS)로 뽑았고 처리는 없습니다. 표본의 비율은 학교의 비율을 추정하지만 인과관계는 말해 주지 않습니다.

학생이 직접 고르게 한 커피 연구(3.2): 둘 다 없습니다. 이 학생들 사이의 연관성만 보여 주며, 수면으로 설명될 수 있습니다.

흔한 실수: 지원자를 대상으로 한 무작위 배정 실험이 모든 사람에게 적용된다고 주장하는 것, 큰 무작위 조사에서 인과관계를 주장하는 것. 큰 표본이 무작위 배정을 대신하지 못하고, 무작위 배정이 무작위 추출을 대신하지도 못합니다.