1

第 五 章複迴歸分析

2

複相關係數 欲測量二組變數之間的關聯性，如果其中一組只有一個變數，另一組有二個以上的變數，則此二組變數間的相關稱為複相關。 如果二組變數都有二個以上的變數，則此二組變數間的相關稱為典型相關。

3

複相關係數 Yi = β0 + β1Xi1 + β2Xi2 + εi

X* = aX1 + bX2 ，找到 X1 、 X2 的線性組合與 Y 有最大的相關係數，此最大的相關係數值就稱為 X1 、 X2 與 Y 的複相關係數。

4

複迴歸分析簡介 複迴歸分析是探討預測變數有二個以上時，預測變數如何影響準則變數的問題。 Y 對 X 的複迴歸模式如下： Yi = β0 + β1Xi1 + β2Xi2 + εi

εi ~ N( 0 ， σ2 ) ， i = 1,2,…,n

模式設定後，第一件工作就是參數估計，即求參數 β0 、 β1 、 β2 的估計值，它的求法和簡單線性迴歸一樣，都是利用普通最小平方法。

5

各種方法求複迴歸的係數 （ 1 ）解正規方程式。（ 2 ）以矩陣方程式估計。（ 3 ）以另一種公式求解。（ 4 ）以統計軟體作分析。

6

複迴歸模式的統計推論 複迴歸模式的一般式

Yi = β0 + β1Xi1 + β2Xi2 + … + βp-1Xi,p-1 + εi

εi ~ N( 0 ， σ2 ) ， i = 1,2,…,n

參數之估計 Y = β0 + β1Xi1 + β2Xi2 + … + βp-1Xi,p-1

︿ ︿ ︿ ︿ ︿

7

偏迴歸係數的含義 β1 、 β2 稱為偏迴歸係數，其意義如下： β1 測量了在 X2 保持不變的情況下， X1 變動一單位所引起 Y 平均值 E(Y) 的改變量。 β2 測量了在 X1 保持不變的情況下， X2 變動一單位所引起 Y 平均值 E(Y) 的改變量。 偏迴歸係數反映了當模型中其他解釋變數保持不變時，某個解釋變數對反應變數平均值的影響。

8

模式之簡化 參數的檢定：模式是否合適，除了作殘差分析的方法之外，尚須討論模式的簡化問題。 模式的簡化問題有三種情形：（ 1 ）只去除其中一個預測變數。（ 2 ）同時去除幾個預測變數。（ 3 ）同時去除所有的預測變數。 上述三種簡化模式的情形，都是在作統計檢定的工作。

9

檢定某一個預測變數的迴歸係數是否等於0 以檢定最後一個預測變數 Xp-1 作說明，即檢定

Yi = β0 + β1Xi1 + β2Xi2 + … + βp-1Xi,p-1 + εi

H0 ： βp-1 = 0 H1 ： βp-1≠0

以上的假設檢定的意義為：當預測變數 X1, X2,...,Xp-2 已經放入模式內時，則預測變數 Xp-1是不是可以不用再放入模式內。

10

檢定某一個預測變數的迴歸係數是否等於0 要作此項檢定，主要是計算 F 統計量， F 值是二個平方和作自由度調整後的比值。 首先計算簡化模式（ Reduced Model ）的殘差平方

和 SSE(R) ，也就是模式中未放入 Xp-1 時的殘差平方和。 其次，再計算完整模式（ Full Model ）的殘差平方

和 SSE(F) ，也就是模式中除了預測變數 X1, X2,...,Xp-2 外，尚包含預測變數 Xp-1 時的殘差平方和。

11

檢定某一個預測變數的迴歸係數是否等於0 當模式越複雜時，其 SSE 會越小，所以

SSE(F) SSE(R)≦ ，而 SSE(R) – SSE(F) 的值越大，就表示 Xp-1 越有用（也就是 βp-1≠0 ，即拒絕H0 ）。

SSE(R) – SSE(F) 的值表示增加預測變數 Xp-1 到模式中後， Y 變異降低的部份，以 SSR(Xp-1 | X1, X2,...,Xp-2 ) 表示。

12

檢定某一個預測變數的迴歸係數是否等於0 到底變異要降低多少才表示預測變數 Xp-1 是有用的呢？統計學上以降低變異的比例為指標，亦即以 [ SSE(R) – SSE(F)] / SSE(F) 作為判斷準則。此為二個平方和的比值，再作自由度的調整後，就成了 F 分配。

F = [ (SSE(R) – SSE(F)) / 1 ] / [ SSE(F) / (n – p) ]

當 F > F1,n-p,α 時，拒絕 H0 。

上述的 F 值亦稱為偏 F 值（ Partial F ）。

多加一個解釋變數的貢獻

13

多加一個解釋變數的貢獻

14

P-2個

多加一個解釋變數的貢獻

15

P-2個

多加一個解釋變數的貢獻

16

P-2個

17

同時檢定幾個預測變數的迴歸係數是否等於0 以檢定最後 p - q 個預測變數 Xq , … , Xp-1 作說明，即檢定

Yi = β0 + β1Xi1 + β2Xi2 + … + βp-1Xi,p-1 + εi

H0 ： βq = βq+1 = … = βp-1 = 0 H1 ： βi 不全為 0 ， i = q, q+1,...,p-1

18

同時檢定幾個預測變數的迴歸係數是否等於0 首先計算簡化模式（ Reduced Model ）的殘差平方和

SSE(R) ，也就是模式中未放入預測變數 Xq , … , Xp-1 時的殘差平方和。 其次，再計算完整模式（ Full Model ）的殘差平方和

SSE(F) ，也就是模式中除了預測變數 X1, X2,...,Xq-1 外，尚包含預測變數 Xq , … , Xp-1 時的殘差平方和。

SSE(R) = SSE(X1, X2,...,Xq-1)SSE(F) = SSE(X1, X2,...,Xp-1)

19

同時檢定所有預測變數的迴歸係數是否都等於 0 H0 ： β1 = β2 = … = βp-1 = 0

H1 ： βi 不全為 0 ， i = 1, 2,,...,p-1

當模式中不放入任何預測變數時，則模式中只有常數項，因此，簡化的殘差平方和SSE(R) = SSTO 。所以 SSE(R) – SSE(F) = SSTO – SSE 。

X1, X2,...,Xp-1 對 Y 有影響並不表示每一個 Xi 都對 Y 有影響。

20

SAS 報表之分析 Analysis of Variance

Source DF Sum of Mean Square Square F Value Prob>FModel 3 950.16 316.72 19.11 0.001

8Error 6 99.43 16.57C Total 9 1,049.60

H0 ： β1 = β2 = … = βp-1 = 0H1 ：至少有一 βi 不為 0

21

SAS 報表之分析 Root MSE 4.07091 R-square 0.9053

Dep Mean 45.20000 Adj R-sq 0.8579C.V. 9.00644

22

SAS 報表之分析 Parameter Estimates

Parameter Standard T for H0 ：Variable DF Estimate Error Parameter=0 Prob>|T|Intercept 1 17.144 7.109 2.411 0.0525 X1 1 0.129 0.058 2.211 0.0691 X2 1 4.676 1.815 2.576 0.0420 X3 1 - 0.325 0.488 - 0.667 0.5296

迴歸式： Y = 17.144 + 0.129 X1 + 4.676 X2 – 0.325 X3 ︿

23

檢定聯合假設 H0 ： β1 = β2 = … = βp-1 = 0

H1 ： βi 不全為 0 ， i = 1, 2,,...,p-1

在複迴歸模型中，一個或多個解釋變數各自對反應變數沒有影響，但聯合起來卻對反應變數有影響。 這意味著 t 檢定雖然對於檢定單個迴歸係數的統計顯著性是有效的，但對於聯合假設的檢定卻是無效的。所以對聯合假設的檢定要改用 F 檢定。

24

SAS 報表之分析 ANOVA Table 是對整體的預測變數的預測能力作檢定。 H0 ： β1 = β2 = … = βp-1 = 0

H1 ： βi 不全為 0 ， i = 1, 2,,...,p-1

Parameter Estimates 則是對個別的預測變數的預測能力作檢定。 H0： β1 = 0 H0 ： β2 = 0 …… H0 ： βp-1 = 0 H1： β1 ≠ 0 H1 ： β2 ≠ 0 …… H1 ： βp-1 ≠ 0

25

SAS 報表之分析 在 Parameter Estimates 中，對個別預測變數的參數作檢定，若同時有二個預測變數的 P Value 均大於 0.05 ，則表示這二個預測變數可以從模式中刪除，但應一次刪除一個，而不是將二個同時刪除。通常以 P Value 較大者先刪除。 刪除掉一個預測變數後，需要重新跑迴歸式。

26

預測變數太多的困擾 對於一個準則變數，如果選用太多的預測變數，則可能會發生模式擬合得太好，出現

R2 = 1 的情形，這種情形通常發生在觀察的資料筆數 n 太少而預測變數 p 太多時。 事實上，當 p n+1 ≧ 時， R2 一般都會等於 1 。

27

預測變數取捨的依據 在模型建立過程中，要以經濟理論為依據，並充分利用以往的工作經驗。 一但建立起模型，就不要隨意地從模型中刪除某個解釋變數。