2変数データの探索

第2章 · 2変数データの探索

散布図と最小二乗直線

個体ごとに2つのものを測定する：一方から他方について何がわかり、それはどのくらいか。

法医学者は、1本の骨から人の身長を推定する。この図は、14 人の成人について大腿骨（太ももの骨）の長さを身長に対してプロットしたものだ。背の高い人ほど大腿骨が長く、点は直線の近くに並ぶ。

どの直線がよいか。点の間に引いた試行の直線は、各点から残差（赤）だけ外れる。各残差を二乗して（赤い正方形）、その面積を合計する。試行の直線を回すと総面積は変わる。最小二乗直線とは、これを最小にする直線で、ここでは ŷ = 49.8 + 2.64x、総面積は 126 cm² である。

この章はまずカテゴリカル変数（分割表、棒グラフ、条件付き百分率）から始め、次に散布図を説明し、相関係数 r で直線的な関連の強さを測り、最小二乗直線を当てはめて確かめ、1つの異常な点や曲線がそれにどう影響するかを考える。

2.1 · 変数は関連しているか？

パターンか、偶然か？

一方の変数の値がわかると、もう一方の値について何かがわかるとき、2つの変数は関連しているという。

統計学は、ばらつきについての問いから始まる。大腿骨が長い成人は、背が高い傾向があるだろうか。生徒の通学手段は、住んでいる場所によって違うだろうか。どの問いも、同じ個体について測定した2つの変数を組にしている。

データは必ずばらつくので、偶然だけでもパターンが現れることがある。この図はそれを確かめる。左は実際の組で、r = 0.95。右は、同じ 14 人の身長を同じ 14 本の大腿骨の間で無作為に何度もシャッフルしたものだ。シャッフルすると本当の関連は壊れるので、残ったパターンは偶然によるものである。

下には、40 回のシャッフルそれぞれの相関を示す。0 のまわりに散らばり、最も遠いものは −0.81 である。実際の 0.95 はそのすべてより外側にある。これほど強いパターンを、偶然だけで説明するのはもっともらしくない。

これが、この科目全体の考え方を小さくしたものである。偶然だけなら何が起こるかを問い、データがそれに似ているかを見る。後の単元で、これを正確にする。

2.2 · 2つのカテゴリカル変数

分割表と棒グラフ

分割表（2元表）は、2つのカテゴリカル変数の各組み合わせに入る個体を数える。

300 人の生徒に、住んでいる場所と、ふだんの通学手段をたずねた：

端にある合計は周辺度数で、それぞれの変数だけを見たものだ。場所に関係なく、300 人のうち 108 人が車で通学している。

並べた棒グラフ（左）は度数を描く。読み取りやすいが、グループの大きさが違うと比べにくい。郊外の生徒は 120 人いるが、農村の生徒は 80 人しかいないので、度数では誤解しやすい。

帯グラフ（右）はそれを解決する。各グループが高さ 100% の1本の棒になり、そのグループの生徒の割合に切り分けられる。農村の生徒が車で来る割合は 55%、都市の生徒は 16% である。モザイク図（2.3）では、各棒の幅もグループの大きさに合わせる。

どちらの変数で棒を分けるかは、問いで決める。場所ごとの通学手段を比べたいなら、場所ごとに棒を作る。

2.3 · 同時・周辺・条件付き

3種類の相対度数

相対度数は、度数を合計で割ったものです。どの合計で割るかによって、意味が変わります。

• 同時：1つのセルを表全体の合計で割ったもの。300人の生徒のうち44人が地方在住で車で来ます：44/300 = 14.7%。
• 周辺：行または列の合計を表全体の合計で割ったもの。全生徒の 108/300 = 36% が車で来ます。
• 条件付き：セルをその行または列の合計で割ったもの。地方の生徒のうち、44/80 = 55% が車で来ます。車で来る生徒のうち、44/108 = 40.7% が地方在住です。

最後の2つは異なります。「地方の生徒のうち車の割合」と「車の生徒のうち地方の割合」は、異なる合計で割ります。のうちやときのあとに述べられた集団に注目しましょう。その合計が分母です。

モザイク図は3つすべてを一度に示します。各列の幅はその場所の周辺の割合、各ブロックの高さはその場所の中での条件付きの割合なので、各ブロックの面積は同時の割合になります。地方・車のブロックは、モザイク全体の 14.7% です。

2.3 · カテゴリカル変数どうしの関連

条件付き分布を比べる

一方の変数の条件付き分布が、もう一方の変数のカテゴリーごとに異なるとき、2つのカテゴリカル変数には関連があります。

地域ごとの、また全生徒をまとめた場合の、通学手段の条件付き分布：

通学手段が地域に依存しないなら、どの行も「全体」の行と一致し、積み上げ棒グラフは同じ高さで区切られるはずです。実際はそうではありません。車の割合は、都市部の 16% から郊外の 40%、田舎の 55% へと上がり、徒歩・自転車は 48% から 8% へと下がります。生徒の住んでいる場所と通学手段には関連があります。

比べるのは度数ではなく割合です。郊外の車通学者 48 人は田舎の 44 人より多いですが、車で通学する生徒の割合は郊外のほうが小さくなっています。

データ上の関連は、因果関係の証明にはなりません。田舎に住んでいること自体が車通学の原因とは限りません。表にない変数である通学距離が、その大部分を説明しているかもしれません。第8章では、このような差が偶然で起こりうるかを検定します（χ² 検定）。

2.4 · 散布図

方向・形・強さ・特異な特徴

散布図は、同じ個体について測定した2つの量的変数を、1個体につき1点で表します。

説明変数は x 軸にとります。説明または予測するほうの変数です。応答変数は y 軸にとります。結果にあたる変数です。ここでは大腿骨の長さが身長を説明します。

散布図は、次の4つの特徴を、文脈に沿って述べます：

• 方向：正（x が大きいほど y も大きい）、負、またはどちらでもない。
• 形：直線的、曲線的、またはいくつかのかたまり。
• 強さ：点がその形にどれだけ近く従うか。強い、中程度、弱い。
• 特異な特徴：外れ値、空白部分、かたまり。

ここでは、これらの成人について、大腿骨の長さと身長のあいだに強い正の直線的な関連があり、明らかな外れ値はありません。小さな図は、ほかのパターンを示しています。より弱い負の関連、強い曲線、そして関連なしです。

2.5 · 相関

直線的な関連の強さを、数値で表す

相関係数 r は、2つの量的変数のあいだの直線的な関連の方向と強さを表します。

各変数を標準化します。z_x と z_y は、値が平均から標準偏差いくつ分離れているかを表します。平均での線が、グラフを4つの象限に分けます。右上（または左下）の点では積 z_xz_y が正で、赤い長方形になります。左上または右下では負で、青になります。

符号つきの面積を足し合わせ、n − 1 で割ります。大腿骨のデータでは、14 個の積の和は 12.305 で、12.305/13 = 0.947 です。面積のほとんどが赤です。強い正の関連です。

r は −1 から 1 のあいだの値をとります。符号が方向、大きさが強さです。±1 に近いほど点は直線に近く並び、0 に近いと直線的なパターンはありません。文脈の中で解釈しましょう。r = 0.95 は、大腿骨の長さと身長のあいだに強い正の直線的な関連があることを示します。

試験では、電卓で r を求めます。その意味を理解しておきましょう。

2.5 · r が示さないこと

直線的な関連のみ、外れ値に敏感、因果関係ではない

r は、直線的なパターンの要約です。まず必ず散布図を見ましょう。

• 直線的な関連のみ。赤い図は強い曲線的な関係をもちますが、r = −0.02 です。r が 0 に近いことは、直線的な関連がないことを意味し、関連がないことではありません。また、r が大きくても、直線が適切な形だとは限りません。
• 単位なし。どちらかの変数の単位を変えても r は変わりません。大腿骨をインチで測っても、r は 0.947 のままです。x と y を入れ替えても変わりません。
• 頑健ではない。平均と同じように、r も1つの外れた点で大きく動くことがあります（2.9）。
• 因果関係ではない。強い相関があっても、x を変えると y が変わるとは限りません。潜在変数が両方を動かしているかもしれません（アイスクリームの売上と水難事故は、どちらも夏の暑さで増えます）。また、関係が逆向きの場合もあります。因果関係を示せるのは、うまく設計された実験だけです（第3章）。

4つの小さな図：強い正の線形、r = 0.97；中程度の負の線形、r = −0.71；強い曲線的、r = −0.02；関連なし、r = 0.01。

2.6 · 線形回帰モデル

x から y を予測する直線

回帰直線は、応答変数 y が説明変数 x に応じてどう変わるかをモデル化し、与えられた x に対する y を予測します。

ŷ（y ハット）は観測値ではなく予測値です。ハットを忘れずに書きましょう。b は傾き、a は y 切片です。モデルは文脈に沿って書きます。予測される身長 = 49.8 + 2.64（大腿骨の長さ）。

予測。大腿骨が 45.0 cm のとき、ŷ = 49.8 + 2.64(45.0) = 168.5 cm です。これは、その大腿骨の長さをもつ成人についてモデルが与える平均の身長です。個々の人は、これより高いことも低いこともあります。

外挿とは、データの x の範囲の外で予測することです。ここでは 39.0 から 49.8 cm が範囲です。その外では直線を裏づける根拠がなく、形が変わるかもしれません。子どもの大腿骨 30 cm からは ŷ = 128.9 cm となりますが、これは成人だけで作ったモデルによるものです。図では、点がデータの範囲から外れると灰色になります。

2.7 · 残差

直線が捉えきれないものと、残差プロット

残差とは、観測値から予測値を引いたものです。点が直線よりどれだけ上または下にあるかを表します。

大腿骨が 46.9 cm の成人の身長は 180.1 cm です。直線による予測は 173.5 cm なので、残差は 180.1 − 173.5 = 6.6 cm で、予測より 6.6 cm 高いことになります。残差が負なら、直線が過大に見積もったということです。最小二乗直線では、残差の和は 0 になります。

残差プロットは、各残差を x（または ŷ）に対してグラフにしたものです。図では、各残差が散布図から下のプロットへと降りていきます。直線が 0 の位置に水平に置かれた形です。

• パターンなしで、0 のまわりに均等に散らばる：線形モデルが適切です。大腿骨のデータはこの場合です。
• 残差が曲線を描く：関係は線形ではなく、別の形のほうがよく合います（2.9）。
• 扇形で、x とともにばらつきが大きくなる：x が大きいほど予測の精度が下がります。

残差プロットでは直線の傾向が取り除かれているため、散布図よりも、残ったパターンがはっきり見えます。

2.8 · 最小二乗回帰

残差の二乗和を最小にする直線

最小二乗回帰直線は、残差の二乗和をできるだけ小さくする直線です。

右の図は、各傾き（平均点を通る各直線）に対する残差の二乗和です。放物線になり、b = 2.64 で最小になります。ほかの傾きでは、合計はそれより大きくなります。

したがって、直線は必ず (x̄, ȳ) = (44.02, 165.91) を通り、傾きの符号は r の符号と同じです。x が標準偏差1つ分増えると、y は標準偏差 r 個分の増加と予測されます。これは1より小さく、「平均への回帰」です。

解釈。傾き：大腿骨の長さが 1 cm 長くなるごとに、予測される身長は約 2.64 cm 高くなります。切片：大腿骨が 0 cm の成人の予測身長は 49.8 cm になりますが、これは外挿であり、ここでは意味をもちません。切片にはよくあることです。

x を y に回帰すると、別の直線になります。応答変数は説明変数から予測し、逆にはしません。

2.8 · r² と s

直線のあてはまりの良さと、予測が通常どれくらいずれるか

直線による予測がどれだけ良いかは、2つの数値で表せます。決定係数 r² と、残差の標準偏差 s です。

ソフトウェアは回帰直線を次のように出力します。

S = 3.2393   R-sq = 89.6%

a は Constant の行、b は説明変数の行から読みとります。ŷ = 49.8 + 2.64x。(SE Coef は第9章で扱います。)

r² = 89.6%：直線を使わないとき、身長の ȳ からの偏差の2乗和は 1210 cm² です。直線のまわりでは 126 です。直線はそのうち 1 − 126/1210 = 89.6% を取り除きます。文脈で言うと、身長の変動のおよそ 89.6% が、大腿骨の長さとの線形モデルで説明されます。

s = 3.24 cm。残差から求めます(n − 2 で割ります)。

文脈で言うと、実際の身長は、直線の予測する身長から typically 約 3.2 cm ずれます。青い帯は ŷ ± s です。

2.9 · 外れ値、てこ比、影響

1点が直線に与える影響

1つの特異な点が、回帰を大きく変えることも、ほとんど変えないこともあります。どちらになるかは、その点の位置で決まります。

• 回帰での外れ値とは、残差が大きい点、つまり直線から大きく上または下にある点です。
• てこ比の大きい点とは、x の値が x̄ から遠い点です。直線を傾ける力があります。
• 影響力の大きい点とは、取り除くと傾き、切片、相関が著しく変わる点です。てこ比の大きい点はそうなりやすいです。

赤い点を 14 人の成人のデータに加えて動かします。灰色の直線は、その点がないときのものです。

右端で直線上：てこ比は大きいものの傾きへの影響力はなく、r はむしろ上がります。右端で直線より下：傾きを 2.64 から 1.76 に引きずり、影響力が大きいです。x̄ の近くで上に大きく離れる：外れ値で、r を 0.846 に下げますが、傾きはほとんど動きません。

特異な点を安易に削除してはいけません。まず誤りがないか確かめ、実際のデータなら、その点を含めた場合と除いた場合の両方の当てはめを報告します。

2.9 · 直線になるように変換する

対数をとると指数的な増加が直線になる

散布図が曲がっているとき、変数を変換すると直線的になり、最小二乗直線でモデル化できます。

細菌の培養を 10 時間、1時間ごとに数えました。個数は上向きに曲がります。毎時間、個数は足されるのではなく、何倍かされます。r = 0.900 でも直線の当てはまりは悪く、残差プロットは明らかな曲線になります。

個数の対数をとります。指数的な増加は直線になります。図は両者の間を動きます。t に対して log₁₀(個数) は直線で、r = 0.998、残差にパターンはありません。

予測するには、変換をもとに戻す必要があります。t = 8.5 時間のとき：log₁₀(個数) = 1.594 + 0.1626(8.5) = 2.976、よって個数 ≈ 10^2.976 = 946。傾きは、予測される個数が毎時間 10^0.1626 = 1.454 倍になることを表します。

ほかの曲線には、ほかの変換が必要です。log y を log x に対してとるとべき乗モデル y = ax^b が直線になります。平方根や逆数で直線になる場合もあります。残差プロットにパターンが出ない変換を選びましょう。