第 14 章
複迴歸與相關分析
14-*
14-*
目標
使用複迴歸分析，描述多個獨立變數與一個相依變數間的關係。
建構、解釋，以及應用 ANOVA 表格。
計算與解釋複迴歸的估計標準誤、複判定係數與調整複判定係數。
進行迴歸係數是否不為 0 的假設檢定。
進行每一個迴歸係數的假設檢定。
使用殘差分析去評估複迴歸分析的假設。
計算相關獨立變數的影響。
了解與使用屬性獨立變數。
複迴歸分析
任意多個獨立變數（k），其公式如下所示：
14-*
此方程式是由最小平方法建立。
因為判斷 b1、b2 等係數的過程非常繁雜，因此建議採用 Excel 或 MINITAB 軟體計算。
複迴歸與相關分析
兩個獨立變數，其複迴歸方程式的一般形式為：
14-*
其中
X1 與 X2 是兩獨立變數。
a 是截距，亦即方程式通過 Y 軸的點。
b1 是當 X2 保持不變時， X1 每變動一單位 Y' 的淨改變量。
它被稱為偏迴歸係數、淨迴歸係數或迴歸係數。
b2 是 X1當保持不變時， X2 每變動一單位 Y' 的淨變動量。
Regression Plane for a 2-Independent Variable Linear Regression Equation
14-*
範例
Salsberry 不動產公司專門銷售位於美國東岸的房子。該公司最常接到的問題之一是：冬天時需要花多少錢在房屋的暖氣上？研究部門被要求建立一套有關房屋暖氣花費的指導方針。有三個變數與暖氣的成本有關：(1) 每天戶外的平均溫度（℉）、(2) 屋頂天花板厚度（以英寸為單位）和 (3) 暖氣爐的使用年數。研究部門隨機選擇最近剛賣出的 20 棟房屋為樣本。根據樣本 1 月份的暖氣花費，以及該地區 1 月份的平均室外溫度、屋頂天花板厚度、暖氣爐使用年數等進行研判。表 14-1 列示了相關樣本資料。
14-*
範例 continued
表 14-1 20 棟房屋之樣本 1 月份影響暖氣花費的因子
14-*
範例 continued
請計算複迴歸方程式。哪些變數是獨立變數？哪些變數是相依變數？請討論迴歸係數。為什麼有些為正、有些為負呢？截距值是多少？假設平均室外溫度是 30 度、天花板的厚度為 5 英寸且暖氣爐的使用年數為 10 年，請估計這間房屋的暖氣花費是多少？
14-*
範例 continued
相依變數是 1 月份的暖氣花費，用 Y 表示。此外，有三個獨立變數：
平均室外溫度，用 X1 表示。
屋頂天花板厚度，用 X2 表示。
暖爐使用年數，用 X3 表示。
用 來估計 Y。具有三個獨立變數之複迴歸方程式的一般式為：
Multiple Linear Regression – Minitab Example
14-*
範例 continued
14-*
範例 continued
複迴歸方程式的估計式為
假若知道平均室外溫度、屋頂天花板厚度、以及暖爐使用年數，則我們就可以預估 1 月份的暖氣花費。舉例說明，如果平均室外溫度是 30 度（X1），屋頂天花板厚度是 5 英吋（X2），暖爐使用年數是 10 年（X3），把這些值代入上式的獨立變數中而得到：
14-*
範例 continued
平均室外溫度的迴歸係數－ 是負數，表示暖氣花費與室外溫度呈現反向關係。這樣的結果並不令人感到意外，隨著室外溫度增加，房屋的暖氣花費則減少。如果平均室外溫度每增加 1 度，而固定另外兩個獨立變數，可預期房屋每月的暖氣花費將減少 $。如果波士頓的平均室外溫度為 25 度，而費城的室外平均溫度為 35 度，在其他條件不變的情況下，預期在費城的暖氣花費將比波士頓少 $。
14-*
範例 continued
至於「屋頂天花板厚度」這個變數也是反向關係，代表天花板厚度愈厚，房屋的暖氣花費就愈少，所以係數為負號也合乎邏輯。假設固定平均室外溫度與暖氣爐使用年數，那麼每增加 1 英寸的天花板厚度，預期每月的房屋暖氣花費將減少 $。
14-*
範例 continued
變數「暖氣爐使用年數」則為正向關係，亦即使用年數愈多，房屋的暖氣成本也就愈高。暖氣爐的使用年數每增加 1 年，預期每個月房屋的暖氣成本會增加 $。
14-*
複迴歸的估計標準誤
複迴歸估計標準誤是描述在迴歸線周圍的變異程度。
其衡量單位與獨立變數相等。
其不能判斷哪一個標準誤較大或較小。
14-*
複迴歸的估計標準誤
計算公式為：
14-*
複迴歸與複相關的假設
相依變數與獨立變數具有線性關係：
獨立變數與相依變數間必須具有線性關係。
相依變數必須是連續變數，且觀測資料至少是區間尺度。
所有 Y 值的實際值與預估值間的變異程度皆相同。也就是，所有 Y 值的每個(Y－ )必須要接近相等。這種情形下的差距稱為等差(homoscedasticity)。
由Y－ 所計算出來的殘差必須服從平均數為0的常態分配。
例子
既然有三個獨立變數，複迴歸估計標準誤寫為
要如何解釋估計標準誤 這個值呢？這表示當使用這個方程式預測花費時所出現的誤差。首先，估計標準誤的單位與相依變數的單位相同，所以單位是元。第二，如果殘差近似常態分配，大約有 68% 的殘差是在 ± 之間，以及大約有 95% 落在 (±2 ) = ± 之間。
14-*
Excel solution
14-*
ANOVA 表
ANOVA表格可分析獨立變數的變異度。
此變異可分為兩部分：
可以由複迴歸所解釋的變異，亦即由獨立變數解釋的變異。
殘差誤差，或稱不可解釋的變異。
14-*
ANOVA 表
表頭為 SS 的欄位代表平方和，或稱變異程度
總變異 = SS total
誤差變異 = SSE
迴歸變異 = SSR = SS total－SSE
表頭為 MS（均方）的欄位，是將 SS 項除以 df 而得。所以，均方迴歸 MSR 等於 SSR/k
MSE 等於 SSE/[n－(k + 1)]
14-*
複判定係數
複判定係數（coefficient of multiple determination）在相依變數 Y 之總變異中，可由獨立變數 X1, X2, X3, ……, Xk 來解釋的部分。
14-*
複判定係數
複判定係數的性質如下：
標示為 R2。
值介於 0 到 1 之間。值接近 0 代表獨立變數與相依變數之間的相關性很小。值接近 1 代表獨立變數與相依變數之間的相關性很大。
不能為負數。因為平方的數不可以是負數。
因為 R2 的值介於 0 到 1 之間，很容易解釋與比較。
14-*
複判定係數
計算公式如下：
14-*
調整複判定係數
在複迴歸方程式中獨立變數的個數會使得判定係數變大，每增加一個新的獨立變數皆會使得預測更為精確。造成 SSE 更小，SSR 更大。因此， R2 的增加是因為獨立變數的總個數，而不是因為新增的獨立變數是相依變數的好預測因子。事實上，若變數個數與樣本數相等，則判定係數為 1。這種情形是有問題的。為平衡獨立變數的個數所造成複判定係數的影響，統計軟體使用調整複判定係數。
14-*
調整複判定係數
計算公式如下：
14-*
例子
用公式 [14-3] 計算複判定係數：
如何解釋這個值？我們說：獨立變數（平均室外溫度、屋頂天花板厚度、暖爐使用年數）可解釋暖氣花費總變異的 %。換句話說，% 的變異是由於誤差或是由沒考慮的變數所造成。ANOVA 表格中，% 是誤差的平方和除以平方總和。
14-*
例子 continued
暖氣花費的範例，調整複判定係數如下：
請比較判定係數 R2 為 ，而調整複判定係數 為 。
14-*
聯合檢定：檢定複迴歸模式是否有效
能夠檢定獨立變數對相依變數 Y 的解釋能力有多少。以問句的方式詮釋：可以不依賴獨立變數來估計相依變數嗎？這個檢定稱為聯合檢定（global test）。
14-*
聯合檢定
檢定統計量為 F 分配，其自由度為 k 與 n－(k + 1) ，其中 n 為樣本個數。
14-*
找尋F臨界值
14-*
找出計算之F值
14-*
解讀
14-*
計算出F值為，在拒絕域內，故拒絕H0。
虛無假設之所有複迴歸參數皆為0，故拒絕之。
解讀：某些獨立變數(amount of insulation, etc.)具有解釋相依(heating cost)變異能力。
個別迴歸係數的檢定
個別檢定為對個別變數進行檢定，判斷哪些迴歸係數為 0 哪些不為 0。
如果一個β值等於 0，則代表該獨立變數無法解釋相依變數的任何變異。因此，當發現係數不能拒絕時，就必須將它從迴歸方程式中剔除。
檢定統計量為 t 分配，以及其自由度為 n－(k + 1) 。
14-*
個別迴歸係數的檢定
公式如下：
其中 bj 為任何一個迴歸係數，sbi 為迴歸係數 bj 之分配的標準差。
14-*
斜率之臨界t-stat
14-*
計算斜率之 t-stat
14-*
斜率顯著性結論
14-*
殘差分析
殘差為實際變數 Y 與預測變數 Y' 間的差異。
想要了解殘差是否服從常態分配 ，可以使用直方圖來表示。
繪製殘差與相對應的 Y' 值可以顯示在這些殘差中是否出現某種趨勢或型態。
14-*
殘差圖
14-*
殘差直方圖
14-*
評估複迴歸的假設
線性關係：獨立變數與相依變數間必須具有線性關係。
大與小的 值產生相同的殘差變異：不管的大小， 是不相關的。
殘差服從常態機率分配：殘差 是實際值 Y 與估計值 的差異，它近似常態分配，且平均數為0。
14-*
評估複迴歸的假設
獨立變數之間不應該有相關。
殘差是獨立的。即相依變數的相鄰觀測值是不相關的。但當時間因素被考慮進樣本觀測值，則這項假設經常不滿足。
14-*
變異膨脹因子
變異膨脹因子（variance inflation factor ）公式如下：
是判定係數，挑選的獨立變數被使用作為相依變數，剩下的獨立變數仍然作為獨立變數。若 VIF > 10，則顯示獨立變數應被刪除。
14-*
獨立的觀測
迴歸分析與相關分析的第五個假設是：殘差應該是獨立的。即殘差應該沒有固定的形式，它們應該不會相關。如果殘差有相關，這種情況稱為自相關（autocorrelation）。自相關經常發生在資料蒐集的過程持續一段時間。
14-*
質變數
通常希望在分析中使用名目尺度的變數──例如：性別區分、房屋是否有游泳池、或是球賽在主客場等。因為它們描述了一個特定的性質，所以稱為質變數（qualitative variables）。
14-*
虛擬變數
為了將質變數利用在迴歸分析中，使用虛擬變數來表示兩個可能的條件，並將之編碼為 0 或 1。
虛擬變數（dummy variables）：一種只有兩個可能結果的變數。進行分析時，將其中一個結果編碼為 1 ，另一個結果編碼為 0。
14-*
範例
表 14-1 的範例，有三個獨立變數與暖氣的成本有關：戶外溫度、天花板厚度、暖氣爐的使用年數。為所有獨立變數建立相關矩陣。是否有多重共線性的問題？為每個獨立變數求出變異膨脹因子，並解釋之。
14-*
範例 continued
運用 MINITAB 套裝軟體來建立相關矩陣。部分輸出如下：
14-*
範例 continued
沒有一個獨立變數的相關性超過－ 與 以外，所以沒有多重共線性的問題。獨立變數最大的相關性是－ 出現在使用年數與戶外溫度。
為了確定這個結論，我們為每個獨立變數求出變異膨脹因子。首先考慮戶外溫度。把戶外溫度當作相依變數，把天花板厚度與暖氣爐使用年數當作獨立變數，求戶外溫度的複判定係數。部分 MINITAB 輸出如下頁所示。
14-*
範例 continued
部分 MINITAB 輸出：
14-*
範例 continued
判定係數是 ，代入 VIF 公式，得到
因為 VIF < 10，表示戶外溫度這個獨立變數與其它變數沒有很強的相關。
求天花板厚度的 VIF，把天花板厚度當作相依變數，把戶外溫度與暖氣爐使用年數當作獨立變數。再求判定係數 ，代入公式 [14-7]，得到 VIF。
實際上，MINITAB 可求出每個獨立變數的 VIF，其值請見上表 MINITAB 輸出最右邊一行，兩個值皆是 1。因此，這題並沒有多重共線性的問題。
14-*
