1変数データの探索

第1章 · 1変数データの探索

形、中心、散らばり

統計学はデータから学ぶ科学であり、データはばらつく。

あるクラスの 40 人の生徒が2つの質問に答えました。どうやって通学していますか、そして何分かかりますか。図では、ボール1個が生徒1人で、通学時間の位置で数直線上に落ちていきます。

同じ朝は2つとありません。時間は 8 分から 56 分までに広がり、約4分の3が 26 分以下です。どの値がどれだけ現れるかというこのパターンが、その変数の分布です。

ドットの下では、ヒストグラムが同じ時間を 5 分ごとの階級で数え、その下の累積グラフがそれらを足し上げます。

この章では、変数の種類に名前をつけ、表やグラフに表し、分布を形、中心、散らばりで述べ、それぞれを数値で測り、最後にもっとも役に立つモデルである正規分布を学びます。

1.1 · 統計学への導入

データから何がわかるか？

データとは個体についての情報であり、変数とは個体ごとに変わる特性のことです。

ここでの個体は 40 人の生徒です。赤いボールは生徒 5：busで通学、29 分。生徒1人がデータセットの1行で、各変数が1列です。

統計的な問いは、答えにばらつきがあることを前提とします。「生徒 5 は通学に何分かかるか」には答えが1つしかありません。「このクラスの生徒は通学に何分かかるか」には 40個の答えがあり、その分布を問うものです。

ばらつきはどこにでもあるので、データのパターンは本物かもしれないし、偶然かもしれません。統計学はその2つを区別します。問いはいつも同じです：誰を測ったか、何を測ったか、どのように測ったか、そして誰について何が結論できるか。

これら 40 個の答えはこのクラスを表しています。学校の全生徒についての結論には、その無作為標本が必要です（第3章）。

1.2 · ばらつきのことば

質的変数と量的変数

質的変数は、各個体をグループに分けます。量的変数は、各個体に数えたり測ったりできる数を与えます。

生徒の通学手段（徒歩、自転車、バス、車）は質的変数です。通学時間（分）は量的変数で、その計算に意味があり、値は数直線上に並びます。

図では、同じ 40 個のボールが2つの表示の間を動きます。数直線上では各ボールが時間の位置にあり、手段で並べ替えると4つのグループに分かれます。個体は変わらず、見ている変数だけが変わります。

量的変数は離散（きょうだいの数のように列挙できる個数）か、連続（時間や身長のように区間上の測定値）のどちらかです。

注意。数であっても量的とは限りません。郵便番号や背番号はグループを表すラベルで、その平均には意味がないので質的変数です。量的変数も、「20分より長いか、はいかいいえか」のようにグループ分けすれば質的変数になります。

1.3 · 表でカテゴリカル変数を表す

度数と相対度数

度数分布表は、各カテゴリーとその個数を並べたものです。相対度数分布表は、各個数を全体に対する割合で示します。

相対度数は、丸めを除いて合計が 1（または 100%）になります。大きさの異なるグループも比べられます：25人のクラスでも2000人の学校でも、バス通学者が 35% になりえます。

文脈の中で。40 人中 14 人、割合にして 14/40 = 0.350 がバスで通学しており、このクラスでいちばん多い通学手段です。

質的変数でもっとも多いカテゴリーが最頻値です。2つの質的変数を同時に表す表、つまり分割表は第2章で扱います。

1.4 · グラフでカテゴリカル変数を表す

棒グラフと円グラフ

棒グラフは、各カテゴリーを、高さが度数または相対度数に等しい棒で表します。円グラフは、各カテゴリーに割合に応じた円の扇形を割り当てます。

棒グラフの棒は離れています。カテゴリーの間には目盛りがなく、並べる順序も選べるからです。高さの順に並べると、最大のものが見つけやすくなります。

円グラフの扇形の角度は、相対度数 × 360° です。バスの扇形は 0.350 × 360° = 126° になります。円グラフが使えるのは、カテゴリーが全体を構成し、どの個体もちょうど1つのカテゴリーに入るときだけです。

質問的分布(カテゴリカルデータ)の記述。最も多いカテゴリーと最も少ないカテゴリーを挙げ、割合を使って、文脈に沿って比べます。例：「生徒の 35% がバスで通学していて、これはどの手段よりも多い。徒歩は 17.5% である。」

誤解を招くグラフ。縦軸が 0 から始まらない棒グラフは、差を大きく見せます。高さだけでなく面積や奥行きも変わる絵グラフや3D円グラフも同じです。形を見る前に目盛りを読みましょう。

1.5 · グラフで量的変数を表す

ドットプロット、幹葉図、ヒストグラム、累積グラフ

量的変数のグラフは、データの分布を数直線上に示します。値がどこにあり、どのように集まり、広がっているかがわかります。

ドットプロットは、個体ごとに1つの点を、その値の上に置きます。幹葉図は、各値を幹（ここでは10の位）と葉（1の位）に分けます。

見方：1 | 4 は 14 分を表します。どちらもすべての値が残ります。

ヒストグラムは、等しい幅の区間（階級）に入る値を数えます。ここでは幅は 5 分です。尺度が連続なので、棒は接しています。ちょうど 15 の時間は、15 以上 20 未満の階級に入ります。階級の幅を変えると見た目が変わることがあるので、詳細を隠さずに形がわかる幅を選びます。

累積グラフは、各階級の右端に、それより小さい値の割合をプロットします。百分位数が読み取れます。クラスの 70% は 25 分未満で、グラフが 0.5 と交わるところが中央値で、約 17 分です。

1.6 · 量的変数の分布を記述する

形、中心、散らばり、特異な特徴

分布は、形、中心、散らばり、そして特異な特徴で記述します。いつもデータの文脈に沿って述べます。

形。対称：両側がほぼ鏡像になっている。右に歪んだ分布：大きい値の側に長い裾がある。左に歪んだ分布：小さい値の側に長い裾がある。歪みは山ではなく裾で名づけます。山の数も数えます。単峰、二峰（2つのまとまり。2つのグループが混ざっていることが多い）、一様（はっきりした山がない）。

特異な特徴。ギャップ（値がない区間）、クラスター、そして外れ値（ほかから大きく離れた値）。

クラスの記述。通学時間の分布は単峰で右に歪んでおり、10 分から 15 分にピークがあります。中央値は約 17 分で、時間は 8 分から 56 分に分布します。38 分から 56 分にギャップがあり、56 分は外れ値の可能性があります。

「約」や「ほぼ」という語はここで使ってよいものです。形は目で判断するからです。1.7 と 1.8 では、中心と散らばりを数値で表し、外れ値の基準を示します。

1.7 · 要約統計量：中心

平均値、中央値、そして外れ値に強いのは？

平均は、値の合計を個数で割ったものです。中央値は、値を順に並べたときの真ん中の値です。

クラスの9人を順に並べると：8, 8, 8, 9, 12, 13, 14, 26, 29。平均は 127/9 = 14.1 分です。中央値は9個の値の5番目で、12 分です。個数が偶数のときは、中央の2つの値の平均が中央値です。

平均は釣り合いの点です。値を棒の上に置くと、x̄（赤）で釣り合い、両側の距離が打ち消し合います。中央値（青）は個数だけを数えます。両側に値が半数ずつあります。

頑健性。図で、29 分の通学時間を 59 まで動かします。平均はそれにつれて 17.4 分になりますが、中央値は 12 のままです。中央値は極端な値に対して頑健ですが、平均はそうではありません。

そのため、右に歪んだ分布では平均が裾の方に引かれ、中央値より大きくなります。クラス全体では x̄ = 19.4、中央値は 17 です。左に歪んだ分布では、平均は中央値より小さくなります。歪んだ分布や外れ値のある分布では、中央値を報告します。

1.7 · 要約統計量：散らばり

範囲、IQR、標準偏差

標準偏差は、値の平均からの典型的な距離を表します。

偏差（赤）の合計は 0 になり、その2乗の合計は 506.89 です。これを n − 1 = 8 で割ると分散 s² = 63.36 が得られ、その平方根をとると s = 7.96 分です。

文脈の中で解釈しましょう。この9人の通学時間は、平均 14.1 分から典型的に約 8.0 分ばらついています。s が 0 になるのはすべての値が同じときだけで、平均と同じく頑健ではありません。

範囲は最大値 − 最小値です。四分位数 Q₁ と Q₃ は、下半分と上半分の中央値です（n が奇数のときは中央値そのものを除きます）。四分位範囲 IQR = Q₃ − Q₁ は中央の半分のデータの散らばりで、頑健です。p 番目の百分位数は、データの p% がそれより小さい値です。

クラス全体では、範囲は 48、IQR は 26 − 11 = 15、s = 10.4 分です。

1.7 · 単位の変換

すべての値に足す、かける

すべての値に定数を足すと、中心は移動しますが、散らばりは変わりません。すべての値に定数をかけると、どちらも定数倍になります。

10日間の最高気温（°C）を、F = 1.8C + 32 で °F に変換します。図では2段階で行います。まずすべての値を 1.8 倍し（点が広がります）、次に 32 を足します（全体がそろって動きます）。

y = a + bx（b > 0）のとき、中心と位置の指標（平均、中央値、四分位数、百分位数）は、もとの値の a + b 倍になります。散らばりの指標（範囲、IQR、標準偏差）は b 倍になり、a の影響は受けません。分散は b² 倍になります。形は変わりません。

よくある間違い：標準偏差に 32 を足してしまうこと。すべての値をずらすと全体がそろって動くので、値どうしの距離や平均からの距離は変わりません。

1.8 · 要約統計量のグラフ表示

箱ひげ図と 1.5 × IQR の規則

箱ひげ図は五数要約を描きます。Q₁ から Q₃ までの箱、中央値の線、そして外れ値でない最小値と最大値までのひげです。

1.5 × IQR の規則。Q₁ より 1.5 × IQR を超えて下、または Q₃ より上にある値は外れ値です：

−11.5 より小さい時間はありません。56 は 48.5 より大きいので外れ値で、単独で描かれます。右のひげは、外れ値でない最大の時間である 38 で止まります。ほかの規則として、平均から標準偏差 2 個分より離れた値を外れ値とする方法もあり、ここでは 40.2 より上です。

箱ひげ図は歪みを示します。ここでは右のひげが長く、中央値は Q₁ に近いので、時間は右に歪んでいます。一方、ほかのことは見えません。すなわち、空白、山の数、そして n です。長さの4分の1ごとではなく、データの4分の1ごとに、値のおよそ4分の1が含まれます。

1.9 · 量的変数の分布を比較する

形、中心、散らばり、外れ値を並べて比べる

分布を比較するには、同じ尺度で描き、形、中心、散らばり、特異な特徴を、文脈に沿って、比較の言葉で比べます。

形。バス通学の分布はほぼ対称です。車通学の分布は右に歪んでおり、56 分に外れ値があります（Q₃ + 1.5 × IQR = 55 より大きい）。

中心。バス通学の中央値 26 分は、車通学の中央値 12 分より 14 分長いです。

散らばり。車通学のほうがばらつきが大きく、IQR は 18 分で、バス通学の 8 分より大きく、範囲は 48 で、21 より大きいです。

分布が歪んでいたり外れ値があったりするときは、中央値と IQR を比べます。数値を並べるだけでは比較になりません。どちらが大きいかを述べましょう。比較に使うグラフは、並べたドットプロット、並行箱ひげ図、背中合わせの幹葉図、同じ尺度で積み重ねたヒストグラムです。

1.10 · 正規分布

経験則と z スコア

正規分布は、左右対称で山が1つの釣り鐘型の分布です。平均 μ と標準偏差 σ で決まり、N(μ, σ) と書きます。

成人女性の身長(cm)は N(163, 7) に近い分布です。ヒストグラムは 200 人分で、面積が 1 になるように描き、その上に正規曲線を重ねています。μ と σ はモデルや母集団を表し、x̄ と s はデータを表します(ここでは 163.7 と 6.9 cm)。

経験則。どの正規分布でも、値のおよそ 68% は μ から 1σ 以内、95% は 2σ 以内、99.7% は 3σ 以内に入ります。

z 得点。標準化得点は、ある値が平均から標準偏差いくつ分、どちら向きに離れているかを表します。

身長 175 cm の女性は、平均身長より標準偏差 1.71 個分高いことになります。z 得点を使うと、尺度の異なる値を比べられます。標準化すると平均 0、SD 1 の分布になり、これを標準正規分布といいます。

1.10 · 正規分布の計算

面積、パーセンタイル、パーセンタイルに対応する値

正規モデルでは、ある区間に入る値の割合は、その区間の上で曲線の下にできる面積です。

ある値より下。身長が 170 cm より低い女性の割合はどれだけでしょうか。

女性のおよそ 84.1% が 170 cm より低く、170 cm はおよそ第 84 パーセンタイルにあたります。それより上は 1 − 0.841 = 0.159 です。

2つの値の間。P(155 < X < 170) = P(-1.14 < Z < 1.00) = 0.715。

パーセンタイルから値を求める。第 90 パーセンタイルは左側の面積が 0.90 で、z = 1.282 の位置です。

試験で求められるとおりに解答を示しましょう。分布とそのパラメーターを明記し、境界と求める面積に印をつけ(スケッチ)、z 得点か、入力を明示した電卓のコマンド(normalcdf: lower 155, upper 170, μ = 163, σ = 7)を書き、文脈に沿って答えます。

1.10 · 正規モデルは妥当か？

データの正規性を確かめる

データに正規モデルを使う前に、データが正規分布らしく見えるか確かめましょう。現実の分布の多くは正規分布ではありません。

データをグラフにする。正規モデルを使うには、ドットプロットかヒストグラムがほぼ左右対称で山が1つであり、外れ値がないことが必要です。

経験則を確かめる。平均から標準偏差 1個、2個、3個以内にある値を数えます。身長の結果は 73.0%, 94.5%, 99.5% で、68、95、99.7 に近い値です。

正規確率プロットを見る。各値を、データが完全な正規分布なら得られるはずの z 得点に対してプロットします。正規分布のデータはほぼ直線上に並び、身長がそうなっています。歪んだデータは曲がります。通勤時間は右側で上向きに曲がり、右に長い裾があります。

経験則だけでは判断を誤ることがあります。通勤時間の 72.5% が平均から 1 SD 以内にあり、68% に近い値です。しかし x̄ − 2s = 19.4 − 2(10.4) = −1.4 分となり、あり得ない時間です。正規モデルでは、通勤のおよそ 2.3% がこれより短いことになります。平均が下限 0 から 2 SD 未満しか離れていないときは、右に歪んでいることを疑いましょう。