探索雙變量資料

第2章 · 探索雙變量資料

散布圖與最小平方直線

對每個個體測量兩件事:其中一個能告訴你關於另一個的資訊嗎?能告訴你多少?

鑑識科學家能從一根骨頭估計一個人的身高。這張圖畫出 14 位成人的股骨(大腿骨)長度對身高。身高較高的人股骨較長,這些點也靠近一條直線。

該選哪一條直線?通過這些點試畫的直線,與每個點相差一個殘差,以紅色表示。把每個殘差平方(紅色正方形),再把面積加起來。試驗直線轉動時,總面積會改變;最小平方直線就是使總面積最小的那一條:此處為 ŷ = 49.8 + 2.64x,總面積為 126 cm²。

本章從類別變數開始(雙向表、長條圖、條件百分比),接著描述散布圖,用相關係數 r 衡量線性關聯,配適並檢查最小平方直線,最後探討單一個不尋常的點或一條曲線會對它造成什麼影響。

2.1 · 這些變數有關係嗎?

是規律,還是巧合?

當知道其中一個變數的值,就能得知另一個變數值的一些資訊時,這兩個變數就是相關聯的。

統計學從一個關於變異的問題開始。股骨較長的成人通常也比較高嗎?學生如何上學,取決於住在哪裡嗎?每個問題都是把在同一批個體上測量的兩個變數配成一對。

資料總是會變動,所以某些型態可能只是由機遇造成。這張圖就是用來檢驗這一點。左邊是真實的資料對,r = 0.95。右邊則是把同樣的 14 個身高,隨機地在同樣的 14 個股骨之間重新洗牌,一次又一次。洗牌會打斷任何真實的關聯,所以剩下的任何型態都是機遇造成的。

下方是 40 次洗牌各自的相關係數。它們散布在 0 附近,最遠的是 −0.81。真實的 0.95 超出了所有洗牌的結果:光靠機遇,不足以合理解釋這麼強的型態。

這就是整門課推理方式的縮影:問問單靠機遇會產生什麼,再看資料是否像它。後面的單元會把這件事講得更精確。

2.2 · 兩個類別變數

雙向表與長條圖

雙向表會計算兩個類別變數每種組合中的個體數。

有 300 位學生被問到住在哪裡,以及通常如何上學:

表邊緣的總計是邊際次數:各個變數單獨的次數。無論住在哪裡,300 位學生中有 108 位搭汽車上學。

並列長條圖(左)畫出次數。它們容易閱讀,但各組大小不同時很難比較:郊區學生有 120 位,鄉村學生卻只有 80 位,所以次數會誤導人。

分段長條圖(右)解決了這個問題:每組是一根高度為 100% 的長條,依該組學生的比例分段。鄉村學生搭汽車的比例是 55%,市區學生是 16%。馬賽克圖(2.3)還會讓每根長條的寬度與該組的大小相符。

依問題決定用哪個變數來分割長條。若要比較各地的交通方式,就為每個地點畫一根長條。

2.3 · 聯合、邊際與條件

三種相對次數

相對次數是把次數除以一個總數。你除以哪個總數,決定了它的意義。

• 聯合:一個格子除以表的總數。300 位學生中有 44 位住在鄉村且搭汽車:44/300 = 14.7%。
• 邊際:某一列或某一行的總計除以表的總數。所有學生中,108/300 = 36% 搭汽車。
• 條件:一個格子除以它所在列或行的總計。鄉村學生中,44/80 = 55% 搭汽車。搭汽車的學生中,44/108 = 40.7% 住在鄉村。

後兩者不同:「鄉村學生中搭汽車的比例」與「搭汽車的學生中住在鄉村的比例」除以的總數不同。要看「的」之前或「給定」之後所指的那一組:該組的總數就是分母。

馬賽克圖同時呈現這三者。每一欄的寬度是該地點的邊際比例;每個方塊的高度是該地點內的條件比例;所以每個方塊的面積就是聯合比例。鄉村搭汽車的方塊占整個馬賽克圖的 14.7%。

2.3 · 類別變數之間的關聯

比較各條件分布

當一個類別變數的條件分布在另一個變數的各類別間不同時,這兩個類別變數就具有關聯。

各居住地區學生,以及全體學生合計的交通方式條件分布:

如果交通方式與居住地區無關,每一列都會與「全部」那一列相同,分段長條也會在相同的高度被切開。但事實並非如此:搭車的比例從都市的 16% 上升到郊區的 40% 和鄉村的 55%,而步行或騎自行車的比例則從 48% 下降到 8%。學生住在哪裡與如何上學之間有關聯。

要比較百分比,而不是次數。郊區有 48 人搭車,多於鄉村的 44 人,但郊區學生搭車的比例卻比較小。

資料中的關聯不能證明因果關係。住在鄉村本身未必造成搭車:到學校的距離是表中沒有的變數,可能解釋了大部分差異。第 8 章會檢定這樣的差異是否可能出於機遇(χ² 檢定)。

2.4 · 散布圖

方向、形式、強度與特殊特徵

散布圖呈現在同一批個體上測得的兩個量化變數,每個個體對應一個點。

解釋變數放在 x 軸:可能用來解釋或預測的變數。反應變數放在 y 軸:即結果。這裡以股骨長度解釋身高。

描述散布圖要依四個特徵,並結合情境:

• 方向:正向(較大的 x 對應較大的 y)、負向,或兩者皆非。
• 形式:線性、曲線或群集。
• 強度:點跟隨該形式的緊密程度:強、中等或弱。
• 特殊特徵:離群值、間隙、群集。

在這裡:這些成年人的股骨長度與身高之間有強烈的正向線性關聯,且沒有明顯的離群值。小圖則顯示其他型態:較弱的負向關聯、明顯的曲線,以及無關聯。

2.5 · 相關係數

以數值表示線性關聯的強度

相關係數 r 衡量兩個量化變數之間線性關聯的方向與強度。

將每個變數標準化:z_x 與 z_y 表示某個值與平均數相差幾個標準差。通過平均數的直線把圖分成四個象限。位於右上或左下的點,乘積 z_xz_y 為正,對應紅色矩形;位於左上或右下的點,乘積為負,對應藍色矩形。

把有正負號的面積相加,再除以 n − 1。以股骨資料為例,14 個乘積的總和為 12.305,而 12.305/13 = 0.947。幾乎所有面積都是紅色:表示強烈的正向關聯。

r 介於 −1 與 1 之間。正負號代表方向;大小代表強度:接近 ±1 時點會靠近一條直線,接近 0 時則沒有線性型態。要結合情境解讀:r = 0.95 表示股骨長度與身高之間有強烈的正向線性關聯。

考試時,用計算機求出 r;並且要了解它的意義。

2.5 · r 沒有告訴我們的事

只適用於線性、易受離群值影響、不代表因果

r 是對直線型態的摘要。一定要先看散布圖。

• 只適用於線性。紅色散布圖有強烈的曲線關係,但 r = −0.02。r 接近 0 表示沒有線性關聯,不代表沒有任何關聯。r 很高,也不能證明直線就是正確的形式。
• 沒有單位。任一變數改變單位,r 都不變:股骨長度改用英寸,r 仍是 0.947。交換 x 與 y 也不會改變它。
• 不具抗性。與平均數一樣,r 可能因為一個離群點而大幅改變(2.9)。
• 不代表因果。強相關並不表示改變 x 就會改變 y。可能有潛在變數同時影響兩者(冰淇淋銷量與溺水人數都在夏季高溫時上升),也可能因果方向相反。只有設計良好的實驗(第 3 章)才能顯示因果。

四張小圖:強、正向、線性,r = 0.97;中等、負向、線性,r = −0.71;強、曲線型,r = −0.02;無關聯,r = 0.01。

2.6 · 線性迴歸模型

用 x 預測 y 的直線

迴歸直線用來建立反應變數 y 如何隨解釋變數 x 變化的模型,並對給定的 x 預測 y。

ŷ(y-hat)是預測值,不是觀察值:要寫上帽子符號。b 是斜率,a 是 y 截距。要結合情境寫出模型:預測身高 = 49.8 + 2.64(股骨長度)。

預測。股骨長度為 45.0 cm 時,ŷ = 49.8 + 2.64(45.0) = 168.5 cm。這是模型對該股骨長度的成年人所給出的平均身高;其中任何一個人都可能比這更高或更矮。

外插是在資料的 x 範圍之外做預測,這裡的範圍是 39.0 到 49.8 cm。直線在該範圍外沒有證據支持:形式可能改變。兒童 30 cm 的股骨會得到 ŷ = 128.9 cm,但這個模型只用成年人建立。圖中的點只要離開資料範圍就會變成灰色。

2.7 · 殘差

直線沒有解釋的部分,與殘差圖

殘差是觀察值減去預測值:表示點位於直線上方或下方多遠。

股骨長度 46.9 cm 的成年人身高為 180.1 cm。直線預測 173.5 cm,所以殘差為 180.1 − 173.5 = 6.6 cm:比預測高 6.6 cm。負的殘差表示直線高估了。對最小平方直線而言,殘差的總和為 0。

殘差圖把每個殘差對 x(或對 ŷ)作圖。圖中每個殘差從散布圖垂直落到下方的圖上:直線被攤平成 0 的水平線。

• 沒有型態,殘差均勻散布在 0 附近:線性模型是合適的。股骨資料就是如此。
• 殘差呈曲線:關係不是線性的;其他形式會更適合(2.9)。
• 扇形,離散程度隨 x 增大:x 較大時,預測較不精確。

殘差圖比散布圖更能清楚顯示剩下的型態,因為直線的趨勢已被去除。

2.8 · 最小平方迴歸

使殘差平方和最小的直線

最小平方迴歸直線是使殘差平方和盡可能最小的直線。

右側是每個斜率(每條都通過平均數點)對應的殘差平方和:一條拋物線,在 b = 2.64 時最低。任何其他斜率都會得到更大的總和。

所以這條直線一定通過 (x̄, ȳ) = (44.02, 165.91),而且斜率與 r 同號。x 增加一個標準差,預測 y 增加 r 個標準差:小於一個標準差,這就是「迴歸到平均數」。

解讀。斜率:股骨長度每增加 1 cm,預測身高約增加 2.64 cm。截距:股骨長度為 0 cm 的成年人,預測身高為 49.8 cm;這是外插,在此沒有意義,截距常常如此。

把 x 對 y 做迴歸會得到不同的直線。要用解釋變數預測反應變數,而不是反過來。

2.8 · r² 與 s

直線配適得多好,以及一般誤差有多大

有兩個數值可以說明這條直線的預測有多準:決定係數 r² 與殘差的標準差 s。

統計軟體會這樣印出迴歸直線:

S = 3.2393   R-sq = 89.6%

在常數項旁讀出 a,在解釋變數旁讀出 b:ŷ = 49.8 + 2.64x。(係數的標準誤會在第 9 章說明。)

r² = 89.6%:若沒有這條直線,身高與 ȳ 的離差平方和為 1210 cm²;以這條直線來看,則為 126。這條直線消除了其中的 1 − 126/1210 = 89.6%。放在情境中來說:身高的變異中,約有 89.6% 可由股骨長度的線性模型來解釋。

s = 3.24 cm,由殘差計算而得(除以 n − 2):

放在情境中來說:實際身高與直線預測的身高,通常相差約 3.2 cm。藍色帶狀區域為 ŷ ± s。

2.9 · 離群值、槓桿點與影響點

一個點能對直線造成什麼影響

一個不尋常的點,可能大幅改變迴歸結果,也可能幾乎沒有影響。這取決於它的位置。

• 迴歸中的離群值是殘差很大的點:遠高於或遠低於直線。
• 高槓桿點的 x 值離 x̄ 很遠,有能力讓直線傾斜。
• 有影響力的點是指移除後會明顯改變斜率、截距或相關係數的點。高槓桿點通常如此。

紅點被加入這 14 位成人的資料中並可移動。灰線是沒有它時的直線:

在最右側且落在直線上:高槓桿,但對斜率沒有影響力;甚至會提高 r。在最右側且位於直線下方:它把斜率從 2.64 拉到 1.76,具有影響力。靠近 x̄ 且遠高於直線:是離群值,會把 r 降到 0.846,但幾乎不改變斜率。

不要只是刪除不尋常的點。先檢查是否有誤;若資料屬實,就同時報告含有與不含該點的配適結果。

2.9 · 轉換成直線

取對數可將指數成長變成直線

當散布圖呈曲線時,轉換變數可以使它變成線性,之後就能用最小平方直線來建立模型。

每小時計數一次細菌培養液,共計 10 小時。計數呈向上彎曲:每小時是把數量乘上一個倍數,而不是加上一個固定量。即使 r = 0.900,直線的配適仍然很差:殘差圖明顯呈曲線。

對計數取對數,指數成長就變成線性:圖會在兩者之間切換。對 t 作圖時,log₁₀(計數) 呈直線,r = 0.998,殘差也沒有任何規律。

預測時需要把轉換還原。在 t = 8.5 小時:log₁₀(計數) = 1.594 + 0.1626(8.5) = 2.976,所以計數 ≈ 10^2.976 = 946。斜率表示預測的計數每小時會乘以 10^0.1626 = 1.454。

其他曲線需要其他轉換:將 log y 對 log x 作圖,可使冪函數模型 y = ax^b 變直;平方根或倒數也可能使其他曲線變直。請選擇殘差圖沒有規律的轉換。