斜率的推論

第 9 章 · 斜率的推論

趨勢是真的嗎?

最小平方直線描述的是一個樣本。推論要問的是:這條直線能告訴我們整個母體的直線是什麼樣子。

一位老師隨機選出 18 名學生,記錄每人為一次考試讀了幾小時的書,以及各自的成績。整體來看,讀書時數越多,成績越高。但這個趨勢是真的,還是這麼小的樣本也可能偶然出現?

圖中建立了一個答案已知的母體。黑線是它的母體迴歸直線:每個讀書時數下的平均成績。在每個 x 處,成績以這條線為中心呈常態分布(藍色曲線)。每位學生的成績,都是從其讀書時數所對應的曲線中抽出的。

紅線是由樣本配適出來的:斜率 b = 2.247,而母體的斜率為 β = 2.5。實際上 β 永遠未知,我們手上只有 b。

本章會先說明模型,再說明 b 如何隨樣本而變動,檢查條件,為 β 建立信賴區間,檢定 β = 0 是否成立,並從電腦輸出中讀出這一切,最後在課程所有的方法中選出適當的程序。

9.1 · 母體迴歸模型

每個 x 處的 y 都呈常態分布

斜率的推論建立在一個模型上:在每個 x 值處,反應變數 y 呈常態分布,以一條直線為中心,且變異程度相同。

α、β 與 σ 是母數:分別為母體迴歸直線的截距和斜率,以及 y 對這條直線的標準差,且每個 x 處都相同。樣本以統計量來估計各個母數:

β 是全校學生每多讀一小時,平均成績的變化量。這裡 β = 2.5:讀 3 小時時平均為 57.5,讀 5 小時時平均為 62.5。

s 由殘差來估計 σ,因為先估計了兩個數(a 與 b),所以除以 n − 2:

本章每個檢定背後的問題是:這些點是否真的呈直線排列,還是即使 β 為 0,也可能偶然出現像 b 這樣的斜率?

9.1 · 樣本斜率會變動

b 的抽樣分布

同一母體的另一個樣本,會得到另一條直線和另一個斜率。所有可能樣本的斜率構成 b 的抽樣分布。

圖中保持相同的 18 個讀書時數,重新抽出成績,共 100 次。每條配適的直線(先紅後灰)相對於真實直線都有些不同的傾斜,每個斜率都會落入點圖中。

當模型成立時,b 的抽樣分布呈常態,以 β 為中心(b 是不偏估計量),標準差為

其中 σ_x 是 x 值的標準差(除以 n)。這 100 個斜率的平均數為 2.47,標準差為 0.83,接近 2.5 與 0.81。

什麼會讓 b 的變異變小:對直線的離散較小(σ 較小)、x 的分散較大(σ_x 較大),以及樣本較大。把 x 值分散開來,比擠在一起更能確定一條直線。

σ 未知,所以用 s 取代,並以 s_x√(n − 1) 取代 σ_x√n。這就得到斜率的標準誤,用它標準化後會得到自由度為 n − 2 的 t 分布:

9.2 · 推論的條件

LINER:線性、獨立、常態、等標準差、隨機

只有在模型適用時,區間和檢定才可靠。在做任何計算之前,先用資料檢查五個條件。

對這 18 名學生:殘差圖(中)是以 0 為中心、沒有規律的帶狀分布,沒有曲線也沒有扇形,所以線性與等標準差條件成立。殘差的直方圖(右)只有一個峰,沒有明顯偏態;最大的殘差為 21.2,約為 2.2 個 s,不算極端離群值。這些學生是隨機樣本,而且 18 ≤ 全校 950 名學生的 10%。

常見錯誤。常態性要檢查殘差,而不是 x 或 y。在這裡,沒有任何「n ≥ 30」的規則可以讓偏態的殘差圖過關。殘差圖呈曲線,代表斜率並不是合適的摘要:任何區間都無法補救。

9.2 · 解讀迴歸輸出

Coef、SE Coef、T、P、S 與 R-Sq

軟體會把迴歸結果印成標準表格。本章需要的每個數字都在裡面。

Coef.「Constant」列給出截距 a;以解釋變數命名的那一列給出斜率 b:

Hours 的 SE Coef 為 SE_b = 0.883。T = Coef/SE Coef = 2.55:這是 H₀: β = 0 的檢定統計量。P = 0.022 是它的雙尾 P 值。

S = s = 9.834:實際成績與預測成績通常相差約 9.8 分。R-Sq = r²:成績變異中有 28.8% 可由讀書時數的線性模型解釋。於是 r = +√0.288 = 0.537,與斜率一樣為正。

解讀斜率:每多讀一小時,預測成績約增加 2.247 分。

常見錯誤。Constant 列的 T 和 P 檢定的是 α = 0,這很少是值得問的問題。S 不是 SE_b。本課程不需要 R-Sq(adj)。

9.2 · 斜率的信賴區間

b ± t*·SE_b,自由度為 n − 2

β 的信賴區間就是樣本斜率加減誤差界限。

計算。當 n = 18、df = 16,且信賴水準為 95% 時,t* = 2.120。由輸出結果可得:

結論。我們有 95% 的信心,從 0.375 到 4.119 的這個區間,涵蓋了這所學校學生考試成績對讀書時數的母體迴歸直線斜率。也就是說,每多讀一小時,平均成績會增加 0.38 到 4.12 分。

信賴水準說的是方法:在重複抽樣下,以這種方式建立的區間約有 95% 會涵蓋 β。右側的 25 個樣本中,有 24 個(共 25 個區間)涵蓋了 β。任何一個特定的區間,不是涵蓋 β,就是沒有涵蓋。

圖中將信賴水準從 80% 調到 99%:水準越高,需要的 t* 越大,區間也越寬。在 99% 時,t* = 2.921,區間為 (−0.332, 4.826)。

完整的答案要寫出所用的程序(斜率的 t 區間),檢查條件,進行計算,並在情境中下結論。

9.3 · 用區間來說明論點

所宣稱的斜率是否在可信的數值範圍內?

信賴區間內的值,就是 β 的可能值。若某個宣稱的值落在區間之外,就是反對該宣稱的證據。

兩者有關係嗎?若 β = 0,平均分數不會隨時數改變:兩者沒有線性關係。0 不在 95% 區間 (0.375, 4.119) 內,而且區間內的每個值都是正的。所以資料提供了令人信服的證據,顯示 β > 0:在母體中,時數越多,平均分數越高。

在 99% 時,區間是 (−0.332, 4.826)。它包含 0,所以在該信賴水準下,0 是可能的值:證據不夠強,無法排除沒有關係的可能。

一項宣稱。某家補習公司說,每多讀一小時,平均可多得 5 分。5 高於兩個區間,所以資料提供了令人信服的證據來反對這項宣稱:真正的斜率似乎比較小。

C% 區間與顯著水準 α = 1 − C 的雙尾檢定結果一致:當 β₀ 落在區間之外時,檢定恰好會拒絕 β = β₀。區間告訴我們更多:斜率可能有多大。

常見錯誤。區間內的值是可能的,而不是已證實的:「0 在區間內,所以沒有關係」是錯的。而「β 有 95% 的機率在區間內」也是錯的:β 是固定的;95% 是這個方法涵蓋真值的比率。

9.4 · 建立斜率的檢定

H₀:β = 0,對立假設是你想要證明的那一個

斜率的顯著性檢定要問的是:樣本斜率與假設值(通常是 0)相差太遠,以致無法歸因於偶然嗎?

假設是關於母體斜率 β,絕不是關於 b:

H₀:β = 0 表示沒有線性關係:在每個 x 上,y 的平均數都相同。要在情境中定義 β:「該校所有學生的測驗分數對讀書時數的母體迴歸線斜率」。H_a 要依題目來選,而且要在看到資料之前決定。

老師想知道分數與時數到底有沒有線性關係,所以 H_a:β ≠ 0,α = 0.05。這個程序是斜率的 t 檢定,條件與 LINER 相同,已在 9.2 檢查過。

為什麼需要檢定。右邊是 H₀ 成立的世界:真正的直線是水平的,樣本從中抽出,時數和離散程度都與我們的相同。它們的迴歸線仍然會因偶然而傾斜。在 200 個這樣的樣本中,有 3 個的斜率和我們的一樣陡,2.247,不論正負方向。如果 H₀ 為真,我們的斜率就算罕見。

H₀ 也可以是另一個值 β = β₀,例如某個宣稱的斜率;檢定方式相同,只是用 β₀ 取代 0。

9.5 · 進行斜率的檢定

t = (b − β₀)/SE_b,而 P 值來自 t 分布

檢定統計量計算的是:樣本斜率與假設斜率相差幾個標準誤。

其中 df = n − 2 = 16。輸出顯示 T = 2.55,是用未四捨五入的 b 和 SE_b 算出的;用哪個都可以。

P 值是在 H₀ 為真時,得到至少這麼極端的 t 的機率。H_a 是雙尾的,所以兩側尾部都要算:P = 2P(t ≥ 2.55) = 0.022,與輸出所示相同。在圖中,9.4 的虛無樣本把它們的 t 值落到 t 曲線上;200 個中有 4 個,0.020,落在紅色的尾部。

解讀。假設母體中讀書時數與分數之間沒有線性關係,那麼單憑偶然,得到與 0 相差至少 2.247 的樣本斜率的機率是 0.022。

下結論。因為 P = 0.022 < α = 0.05,所以拒絕 H₀。有令人信服的證據顯示,這所學校學生的讀書時數與測驗分數之間有線性關係。

常見錯誤。絕不說「接受 H₀」:應說未能拒絕。P 值不是 H₀ 為真的機率。而且這些學生是自己選擇讀書時間的:這是觀察性研究,只能顯示關聯,不能說多讀書導致分數較高。只有隨機化實驗才能支持因果關係。

9.5 · 單尾檢定、其他宣稱與錯誤

當報表上的 P 值不是答案時

輸出中的 T 和 P 回答的是一個問題:β = 0 的雙尾檢定。其他問題還需要多做一小步。

單尾。若 H_a:β > 0,P 值只取一側尾部。當 b 在 H_a 所預測的那一側時,把輸出的 P 減半:0.022/2 = 0.0110。當 b 在另一側時,P 值是 1 減去該值,而且沒有支持 H_a 的證據。

另一個 β₀。要檢定補習公司的宣稱,H₀:β = 5,對立假設 H_a:β < 5,要手算 t:

df = 16 時:有強力證據顯示真正的斜率小於 5,與 9.3 的區間所顯示的相同。

檢定與區間一致。P = 0.022 < 0.05,而 95% 區間不含 0。P = 0.022 > 0.01,而 99% 區間包含 0。

錯誤。這裡的第一型錯誤,是在母體中時數與分數其實沒有線性關係時,卻斷定兩者有線性關係;其機率為 α。第二型錯誤則是漏掉了確實存在的關係。較大的樣本、較大的 x 離散程度,以及較大的 α,都會讓第二型錯誤較不容易發生。

9.6 · 選擇推論方法

讓方法符合問題

課程中的每一種程序,都在回答某一類問題。針對資料問三個問題,就能找出該用哪一種。

1. 測量的是什麼?每個個體的一個類別(比例、次數)、一個數值(平均數),或每個個體的兩個數值(斜率)。2. 有幾個樣本或組別,它們是否配對?3. 是估計還是檢定?「多大……」或「估計……」要用信賴區間;「是否有足夠證據……」則用檢定。

題目用字的線索:「比例」、「百分比」→ z;「平均數」、「平均」→ t;類別變數之間的「關係」→ χ²;數值變數之間的關係 → 斜率。

常見錯誤。把配對資料當成兩個樣本來分析(同一批人測量兩次就是配對)。混淆同質性與獨立性:要看研究設計是多個樣本還是一個樣本。談相關的問題要用斜率檢定,而不是 χ² 檢定。