データの収集

第3章 · データの収集

標本、実験、バイアス

データから何が言えるかは、どう集めたかで決まります。よい標本なら母集団全体について語れます。よい実験なら因果関係について語れます。

図は 200 人の生徒の学校で、1人が球1個です。濃い球は運転免許をもつ生徒で、87 人、割合は 0.435 です。調査する人はこの数を知りません。標本に尋ねます。

コンピューターが 20 人を無作為に選び（赤）、その免許をもつ割合 p̂ がドットプロットに落ちます。標本ごとに答えは違いますが、答えは真の値のまわりに集まります。

この章では、信頼できるデータの得かたを学びます。誰を測るかの選びかた、標本がうまくいかない場合、実験の計画のしかた、そして各種の調査からどんな結論が言えるかです。

3.1 · 統計学への導入

集めたデータは真実を語っているか？

データはばらつきます。同じ母集団から取った2つの無作為標本は異なる答えになり、統計学はこのばらつきを研究する学問です。

20 人ずつの 40 個の標本は、0.25 から 0.60 までの p̂ の値になりました。どれも誤りではありません。これが標本変動、つまり無作為標本の偶然によるばらつきです。値は 0.434 を中心に集まり、真の値 0.435 に近く、標準偏差は 0.107 です。

つまり、1つの標本の答えは推定値であり、真の値ではありません。数値を信じる前に、どう得られたかを問いましょう。

最初の2つがこの章です。最後の問いはコースの残りで扱います。結果が、無作為なばらつきから起こりうる範囲より大きいかどうかです。

3.2 · 調査の計画への導入

母集団、標本、全数調査

母集団は、知りたい対象全体の集団です。標本は、そのうち実際に測定する部分です。

母集団ははっきり名指ししましょう。「十代」ではなく、「この学校の 200 人の生徒全員」のようにです。結論は、標本を取った母集団の範囲にしか及びません。

全数調査は母集団のすべての構成員を測定します。1つの学校なら可能ですが、国全体では時間も費用もかかり、問いによっては不可能です（電球を切れるまで全部試すと、売るものが残りません）。適切に選んだ標本は安く速く、たいていは十分です。

母数は母集団を表す数で、統計量は標本を表す数であり、母数の推定に使います。

母数はふつう未知で一定です。統計量は既知で、標本ごとに変わります。比率は p と p̂、平均は μ と x̄ です。

一般化。標本から母集団へ結果を広げられるのは、その母集団から無作為に標本を選んだときだけです。手近な人から得たデータは、その人たちのことしか表しません。

3.2 · 観察研究と実験

観察するか、何かを行うか

観察研究は、何も変えずに、対象がすでにしていることを記録します。実験は意図的に処理を与え、反応を測定します。

テスト前のコーヒーは役に立つでしょうか。同じ 24 人の生徒を2通りに分けます。濃い球は8時間以上眠った生徒です。

上：観察研究。生徒が自分で選びました。疲れた生徒はコーヒーに手を伸ばすので、コーヒー群では 12 人中 3 人がよく眠れていて、もう一方の群では 12 人中 9 人です。2群の得点が違っても、原因はコーヒーか睡眠か。わかりません。

睡眠は交絡変数です。説明変数（コーヒー）と関連し、しかも反応（得点）に影響するため、2つの効果を切り分けられません。

下：実験。無作為なシャッフルで決まり、睡眠は関係しませんでした。よく眠れた人は 7 人と 5 人です。無作為割り付けは、わかっている変数もわかっていない変数も、群の間で釣り合わせる傾向があります。

だから観察研究が示せるのは関連までで、因果関係は示せません。後ろ向き研究は過去の記録をさかのぼり、前向き研究は対象を追跡しながら記録します。標本調査も観察研究です。

この章全体の規則：母集団への一般化には無作為抽出が必要で、因果関係の結論には無作為割り付けが必要です。

3.3 · 無作為抽出とデータ収集

単純無作為抽出

大きさ n の単純無作為標本（SRS）は、母集団の中のどの n 人の組も、標本になる確率が等しくなるように選びます。

乱数表を使う場合：

1. 各生徒に、001 から 200 までの異なる3桁の番号をふります。
2. 数字を3つずつ読みます。
3. 000、200 を超える数、重複はとばし、20 人が選ばれるまで続けます。

最初に選ばれた 7 人は 149, 048, 179, 026, 028, 064, 131 です。表をさらに進むと、3桁の組 115 個で 20 人がそろいます。この標本では 20 人中 9 人が免許をもち、p̂ = 0.45 です。

乱数発生器を使う場合：1 から 200 までの整数を、重複を除いて 20 個になるまで発生させます。または、各名前を同じ紙片に書き、帽子でよく混ぜて 20 枚引きます。

人の標本は非復元で取ります。一度選ばれた生徒は、もう選ばれません。復元抽出では毎回もとに戻すので、同じ人が2回出ることがあります。

SRS では、各生徒が選ばれる確率は n/N = 20/200 = 0.1 です。ただし、個人の確率が等しいだけでは不十分です。次のページの方法は、どの生徒にも同じ 0.1 を与えますが、20 人の組のすべてが起こりうるわけではありません。

3.3 · 層別標本、集落標本、系統標本

偶然を、段階を追って

Other random methods use chance in stages. Each can be cheaper than an SRS, or more precise.

Stratified random sample. Split the population into groups of similar individuals, the strata; take an SRS from each and combine them. Here the strata are the grades, 5 students from each.

Strata should be alike within and differ between, as the grades do here. Then every grade gets its share of the sample, and the estimate varies less from sample to sample than an SRS of the same size. This one gave p̂ = 0.35.

Cluster sample. Split the population into groups, usually by location (rooms, streets, boxes): the clusters. Choose some clusters at random and take everyone in them. Here 3 of the 25 advisory groups, all 24 students in them: p̂ = 0.417. Clusters work best when each is mixed, like a small copy of the population; their gain is cost, one visit per cluster.

Don’t confuse them: a stratified sample takes some from every stratum; a cluster sample takes all from some clusters.

Systematic random sample. Take every kth individual on a list, from a random start among the first k. Here k = 200/20 = 10, and the start is 8: students 8, 18, 28, …, 198, giving p̂ = 0.35. It is quick, and fine unless the list repeats a pattern every k places.

3.4 · 標本抽出で起こりうる問題

バイアスの種類

標本抽出の方法が偏っているとは、ある結果を系統的に有利にすることです。多くの標本を取ると、その統計量は同じ方向に母数からずれます。

学校のポータルには10年生から12年生しか載っていません。9年生はまだ載っていません。標本が実際に抽出される名簿を標本抽出枠(サンプリングフレーム)といい、母集団の一部がそこから抜けていることをカバレッジ不足といいます。この名簿では150人中85人が免許を持っています。0.567で、学校全体の0.435より高いので、この名簿からの標本は割合を過大推定します。

無回答は、選ばれたのに答えない人の問題です。自発的回答は、そもそも選ばれていないのに答えた人の問題です。

試験では、偏りの名前を挙げ、この状況でそれがどう生じるかを説明し、推定値がどちらの方向に、なぜずれるかを述べます。

3.4 · バイアスとばらつき

的からはずれる、そして散らばる

Bias and variability are different faults. Bias is a fault of the method; sampling variability comes with every random sample.

Forty samples by each method, the parameter p = 0.435 in blue:

Top: centred on p: unbiased, but the answers scatter. Middle (red): drawn from the portal list, they centre near 0.60. Every sample misses in the same direction; that is bias. Bottom: samples of 80, centred on p with less than half the spread of samples of 20.

A larger random sample reduces variability. It does nothing for bias: 80 students from the portal list would centre near 0.567 just the same, only more tightly. The cure for bias is a better method; the cure for variability is a larger sample.

A common mistake: “the sample was too small, so it was biased”. A small random sample is variable, not biased.

3.5 · 実験計画への導入

実験単位、処理、因子、反応

実験では、対象に意図的に何かを施し、その反応を測定します。

カフェインは反応を速くするでしょうか。24人のボランティアがそれぞれ錠剤を飲み、しばらく待ち、光が点滅したらキーを押します。

因子が2つあるときは、処理は水準の組み合わせになります。カフェイン(あり、なし)と睡眠(4時間、8時間)なら、2 × 2 = 4 通りの処理になります。

ボランティアはシャッフルされ、12人ずつの2グループに分けられました。これが完全無作為化計画です。対照群はプラセボを飲みました。処理がないときに何が起こるかを示します。平均反応時間は、カフェイン群が235.1 ms、プラセボ群が260.8 msでした。

ボランティアは、だれかの無作為標本ではありません。実験はほとんどの場合、参加に同意した人を使います。そのため、結果がどこまで当てはまるかには限りがあります(3.7)。

3.5 · 実験計画の原則

比較、無作為割り当て、対照、反復

よく設計された実験は、4つの原則に基づいています。

1. 比較。少なくとも2つの処理、または処理と対照群を用意します。カフェインを摂った後の反応時間は、摂らなかった場合の反応時間がなければ意味がありません。

2. 無作為割り当て。単位を偶然によって処理に割り当てます。応答に影響するほかの変数(睡眠、年齢、慣れ)がグループ間でつり合うので、残った差は処理か偶然によるもので、交絡によるものではありません。

3. 対照(統制)。ほかのすべてを、どの単位でも同じにします。同じ時間帯、同じ画面、同じ指示です。これでばらつきや交絡の原因が取り除かれます。

4. 反復。各グループに十分な数の単位を入れ、グループ間の偶然による差が平均化されやすくします。グループごとに1人のボランティアでは、何が起こってもおかしくありません。

プラセボと盲検化。人は、処理を受けること自体に反応します。これがプラセボ効果です。プラセボは本物と見た目が同じ偽の処理で、両グループが同じ期待をもつようにします。単盲検の実験では、被験者(または測定する人)がだれがどちらを受けたか知りません。二重盲検では、その両方が知りません。

無作為割り当ての説明(試験でよく出る課題)：ボランティアに1から24までの番号をつけ、同じ形の紙片に番号を書いて帽子の中でよく混ぜ、12枚引きます。引かれた人がカフェイン群、残りがプラセボ群です。どのように、何を使い、だれがどちらになるかを述べます。

3.6 · 実験計画の選び方

完全無作為化計画と乱塊法

完全無作為化計画では、すべての単位を無作為に処理へ割り当てます。乱塊法(ランダム化ブロック計画)では、まず似た単位どうしのブロックに分け、次に各ブロックの中で無作為に割り当てます。

普段からコーヒーを飲む人は、もう1回のカフェインにほとんど反応しないかもしれません。偶然、そうした人の多くがカフェイン群に入ると、効果が小さく見えます。そこで、コーヒーの習慣でブロックに分けます。

各ブロックは小さな完全無作為化実験で、処理は各ブロックの中で比較します。コーヒーの習慣によるばらつきが比較から取り除かれるので、処理の効果をより精度よく推定できます。

応答に影響すると考えられる変数でブロックに分けます。ブロック化と実験の関係は、層別と標本抽出の関係と同じです。まず似た単位をまとめ、次に各グループの中で偶然を使います。ブロックは無作為割り当ての前に作り、ブロックは処理ではありません。

「制御できるものは制御し、制御できないものはブロック化し、残りは無作為化する。」

3.6 · 対応のある計画

2人1組のブロック

対応のある計画（マッチトペア計画）は、とてもよく似た単位のペアに2つの処理を行って比べる方法、または1つの単位に両方の処理を行って比べる方法である。

ここでは 12 人の志願者それぞれが、別の日に、それぞれの錠剤を飲んだあと計2回テストを受ける。順序はコイン投げで決める。7 人はカフェインが先、5 人はプラセボが先だった。人は練習で速くなるので、順序を固定するとカフェインの効果と練習の効果が混ざってしまう。順序を無作為にすると、これが釣り合う。

分析には、志願者ごとの差（プラセボ − カフェイン）を使う。平均は 11.2 ms、標準偏差は 14.7 ms である。各志願者が自分自身の対照になるので、反応時間の大きな個人差は取り除かれる。

ペアは、双子、畑の2つの半分、同じ得点の2人の生徒のように、よく似た2つの単位でもよい。その場合は、ペアのどちらにどの処理を行うかをコイン投げで決める。

3.7 · 推測と実験

差は統計的に有意か？

処理群どうしの差が、無作為割り付けの偶然だけでは説明できないほど大きいとき、その差は統計的に有意であるという。

カフェインの実験（3.5）では：

カフェインに何の効果もなくても、12 人ずつの2つの群は、だれがどちらに入ったかによって少し異なる。どのくらい異なるだろうか。どの志願者も、どちらの錠剤でも同じ反応時間になると仮定する。24 個の値を無作為に 12 個ずつの2群に配り直し、平均の差を求める。これを 100 回行う。

偶然だけでできた差は -25.2 から 19.7 ms の範囲で、0 付近を中心にしていた。100 回のうち none 回が 25.7 ms と同じ大きさ以上だった。したがって、これほど大きな差が偶然だけで起こることはきわめてまれである。差は統計的に有意で、カフェインがこのような志願者の反応時間を短くするという説得力のある証拠になる。

有意とは「偶然とは考えにくい」という意味で、「大きい」や「重要」という意味ではない。また、有意でない差は、処理に効果がないことを示すわけではない。研究の規模が小さすぎて見えないだけかもしれない。

3.7 · 推測の範囲

研究の計画から、どんな結論を導けるか

無作為抽出により、標本の元になった母集団に一般化できる。無作為割り付けにより、因果関係を結論できる。それぞれ別の役割をもつ。

カフェインの実験（点灯）：志願者を無作為に割り付けた。カフェインが反応を速くしたといえるが、それはこの志願者のような人に限られる。

運転免許の調査：学校からの単純無作為抽出で、処理はない。標本の割合から学校全体の割合を推定できるが、因果については何もいえない。

生徒が自分で選んだコーヒーの研究（3.2）：どちらもない。その生徒たちの間の関連を示すだけで、睡眠がそれを説明するかもしれない。

よくある誤り：志願者による無作為化実験を、すべての人に当てはまると主張すること。大規模な無作為調査から因果を主張すること。大きな標本は無作為割り付けの代わりにならず、無作為割り付けは無作為抽出の代わりにならない。