上課材料之六
第五章 多元線性回歸模型 在第四章中，我們討論只有一個解釋變量影響被解釋變量的情況，但在實際生活中， 往往是多個解釋變量同時影響著被解釋變量。需要我們建立多元線性回歸模型。 一、多元線性模型及其假定 多元線性回歸模型的一般形式是 [pic] 令列向量x是變量xk，k=1，2，的n個觀測值，并用這些數(shù)據(jù)組成一個n×K數(shù)據(jù)矩陣X， 在多數(shù)情況下，X的第一列假定為一列1，則β1就是模型中的常數(shù)項。最后，令y是n個觀 測值y1, y2, …, yn組成的列向量，現(xiàn)在可將模型寫為： [pic] 構(gòu)成多元線性回歸模型的一組基本假設(shè)為 假定1. [pic] 我們主要興趣在于對參數(shù)向量β進行估計和推斷。 假定2. [pic] 假定3. [pic] 假定4. [pic] 我們假定X中不包含ε的任何信息，由于 [pic] （1） 所以假定4暗示著[pic]。 （1）式成立是因為，對于任何的雙變量X，Y，有E(XY)=E(XE(Y|X))，而且[pic] [pic] 這也暗示 [pic] 假定5 X是秩為K的n×K隨機矩陣 這意味著X列滿秩，X的各列是線性無關(guān)的。 在需要作假設(shè)檢驗和統(tǒng)計推斷時，我們總是假定： 假定6 [pic] 二、最小二乘回歸 1、最小二乘向量系數(shù) 采用最小二乘法尋找未知參數(shù)β的估計量[pic]，它要求β的估計[pic]滿足下面的條件 [pic] （2） 其中[pic]，min是對所有的m維向量β取極小值。 也即 [pic] [pic] （3） 滿足（2）式或（3）式的估計量[pic]稱為β的最小二乘估計，這種求估計量的方法稱 為最小二乘法（OLS）。 展開上式得 [pic] 或 [pic] 最小值的必要條件是 [pic] 設(shè)b是解，則b滿足正則方程組 [pic] 這正是我們曾分析的最小二乘正則方程組。因為X是滿秩的，所以[pic]的逆存在， 從而得到解是 [pic] 為了證實這確實是最小值，我們需要二階編分矩陣 [pic] 是一個正定矩陣。 我們現(xiàn)在來證明這個結(jié)果。對任意一非零向量c，令[pic]，則 [pic] 除非[pic]的每一元素都為0，否則q是正的。但若[pic]為零的話，則X的各列的一個線性 組合等于0，這與X滿秩的假定相矛盾。 三、最小二乘估計量的統(tǒng)計特性 在本節(jié)中，我們對回歸量的兩種情況，即非隨機回歸量和隨機回歸量下分別作討論。 1、X非隨機回歸量 若回歸量當作非隨機來進行處理時，則將X當作常數(shù)矩陣處理就可導(dǎo)出最小二乘估計 量的各種特性?？傻?[pic] （4） 若X是非隨機的，或[pic]，則（4）中第二項的期望值是0。所以，最小二乘估計量是 無偏的，它的協(xié)方差矩陣是 [pic] [pic] [pic] [pic] [pic] 在前面的內(nèi)容中，對K=2的特殊b是β的最小方差的線性無偏估計量?，F(xiàn)在我們給出這 個基本結(jié)果的一個更一般的證明，令[pic]的另一個不同于b的線性無偏估計量，其中C是 一個K×n矩陣。若[pic]是無偏的， [pic] 這暗示著CX=I，并且[pic]。所以可以得到[pic]的協(xié)方差矩陣是 [pic] 現(xiàn)在令[pic]，由假設(shè)知D≠0。那么，[pic] [pic] 于是[pic]是非負定矩陣。 則 [pic] [pic] [pic] 在展開這個四項和式之前，我們注意到 [pic] 由于上面最后一項是I，有DX=0，所以 [pic] [pic] [pic]的方差矩陣等于b的方差矩陣加上一個非負定矩陣。所以，[pic]的每個二次型 都大于[pic]的相應(yīng)二次型。 利用這個結(jié)果可以證明高斯-馬爾科夫定理： 高斯—馬爾科夫定理： 對任意常向量w，古典線性模型中[pic]的最小方差線性無偏估計量是[pic]，其中b是 最小二乘估計量。 2、X隨機回歸量 在這樣的情況下，為了得到最小二乘估計量特性更多的一般性，有必要將上面的結(jié)果 推廣解釋變量X是來自某種概率分布的情況中去。獲得b的統(tǒng)計特性的一個方便的方法是 ，首先，第一步求得對X的條件期望結(jié)果，這等同于非隨機回歸量的情況，第二步，通過 條件分布得到無條件結(jié)果。此論點的關(guān)鍵是，如果我們對任意X都可能得到條件無偏性， 我們就可以得到一個無條件結(jié)果。 因為 [pic] 所以，以觀測到的X為條件我們得到 [pic] 一個有用的方法是利用重期望定律 [pic] [pic] 因為由假定4有[pic]，所以，b也是無條件無偏的，這樣， [pic]。 同樣，以X為條件的b的方差是 [pic] 為了求得確切的方差，我們使用方差分解公式： [pic] 由于對所有X，[pic]，所以第二項為零，因此， [pic] 我們原來的結(jié)論要稍作改變，我們必須用其期望值E[(X′X)-1]來代替原來[pic]以得到適 當?shù)膮f(xié)方差矩陣。 從上一段的結(jié)果可以合乎邏輯地建立高斯—馬爾科夫定理， 即對任何[pic]，在X給定的條件下有 [pic] 但若這一不等式對一特定X成立，則必須成立： [pic] 即，若它對每一特定X成立，則它一定對X的平均值也成立。這暗示，[pic]≤[pic]。 所以，不論我們是否將X看作是隨機的，即無偏性和高斯—馬爾科夫定理都成立。 四、最小二乘估計量的統(tǒng)計推斷 迄今為止，在我們?nèi)我唤Y(jié)果還未用到ε的正態(tài)性的假定6，但這一假定對構(gòu)造假設(shè)檢驗 的統(tǒng)計量是有用的和必須的。 1、回歸系數(shù)的假設(shè)檢驗 我們先討論X非隨機變量時的情況。 在（4）中，b是干擾向量ε的一個線性函數(shù)，如果我們假定ε服從多重正態(tài)分布。 利用前面結(jié)果及前邊推導(dǎo)的均值向量和協(xié)方差矩陣來表示即 [pic] 這是一個多重正態(tài)分布，所以b的每一元素的邊際分布都是正態(tài)分布的： [pic] 令[pic]是[pic]的第k個對角元素，則 [pic] （5） 服從標準正態(tài)分布。若[pic]的統(tǒng)計推斷可以基于[pic]。然而[pic]仍要估計，所以 （5）式中Zk不是統(tǒng)計量。我們要得到[pic]的無偏估計量，才能作進一步的推斷。 按定義最小二乘殘差向量是 [pic] [pic] [pic] [pic] M是回歸分析中一個基本的n×n矩陣，你可以容易地驗證M既是對稱的(M=M′)又是冪等 的（M=M2）。 性質(zhì)1：X′e=0和i′e=0 證明：由正則方程組，我們得到： [pic] [pic] 所以， i′e=0 由性質(zhì)1及證明過程我們得到兩個推論： 推論1：[pic]和MX=0。 推論2：[pic]和Mi=0。 推論2成立是因為X′的第一行是（1,1,…，1）。 性質(zhì)2：e和b互不相關(guān)。 [pic] [pic] 從幾何解釋來看這一性質(zhì)是顯然的，e表示Y到子樣空間的垂線估計量，[pic]和e互相 垂直。 性質(zhì)3：殘差e的均值向量和協(xié)方差陣分別是[pic] 證明：[pic] [pic] [pic] [pic] E(e)=0，暗示[pic]是y的無偏估計量。 性質(zhì)4：[pic] 證明：最小二乘殘差是 [pic]， 這是由于MX=0，[pic]的一個估計量將基于殘差平方和： [pic] 這個二次型的期望值是 [pic] 我們有 [pic][pic] 由于M是固定的，這就是 [pic] M的跡是 [pic] [pic] 所以， [pic]， [pic]的一個無偏估計量是 [pic] （6） 回歸的標準誤差是s2，其平方根為s。利用s2，我們可以計算估計量b的估計協(xié)方差矩陣 ： [pic] 通過利用s2替代[pic]，我們導(dǎo)出替代（5）中zk的一個統(tǒng)計量。此量 [pic] 是一個標準正態(tài)向量[pic]的冪等二次型，所以，它服從自由度為秩（M）=跡（M）=n—K 的x2分布。（6）中的x2分布變量獨立于（4）中的標準正態(tài)變量，為了證明這一點，只 要證明 [pic] （7a） 獨立于[pic]就足夠了。我們知道標準正態(tài)向量x的一個線性式Lx和一個冪等二次型x ′Ax獨立的充分條件是LA=0，令[pic]等x，我們發(fā)現(xiàn)這里所需求的是[pic]。這確實成立 ，因為[pic]。 在推導(dǎo)回歸分析中許多檢驗統(tǒng)計量中起中心作用的一般性結(jié)果是： 若ε服從正態(tài)分布，最小二乘系數(shù)估計量b統(tǒng)計獨立于殘差向量e及包括s2在內(nèi)的e的所 有函數(shù)。 所以，比率 [pic] [pic] （7） 服從自由度為（n—K）的t分布。這是我們作統(tǒng)計推斷的基礎(chǔ)。 線性約束檢驗 我們通常對含有不只一個系數(shù)的假設(shè)檢驗感興趣，我們可以利用一個類似于（7）中 的檢驗統(tǒng)計量。假定我們的假設(shè)是 [pic]， （通常某些r將為零）左邊的樣本估計是 [pic] 若[pic]顯著異于q，則我們推斷樣本數(shù)據(jù)與假設(shè)不一致。與（7）一樣，將假設(shè)基于下式 是很自然的。 [pic] （7a） 我們需要[pic]的標準誤差的一個估計。由于[pic]是b的一個線性函數(shù)，且我們已估計出 了b的方差矩陣[pic]，我們可用下式估計[pic]的方差。 [pic] （7）中的分母是這個量的平方根。若假設(shè)是正確的，我們的估計應(yīng)該反映這一事實，至 少在抽樣變化性的范圍內(nèi)如此。這樣，若前邊的t比率的絕對值大于適當?shù)谋O(jiān)界值，則應(yīng) 對假設(shè)產(chǎn)生懷疑。 2、隨機X及正態(tài)ε下的檢驗統(tǒng)計量 現(xiàn)在，我們考慮當X是隨機的，樣本檢驗統(tǒng)計量和推斷方法考慮（7）中檢驗[pic]的 t統(tǒng)計量： [pic] （8） 以X為條件，t|X服從自由度為（n—K）的t分布。然而，我們感興趣的是t的邊際（即無條 件）分布。正如我們所見，（7a）僅僅在以X為條件時b才是正態(tài)分布的，我們還沒有證 明它的邊際分布是正態(tài)分布的。類似地，當X是隨機的情況下，在給定X的條件下，我們 得到了（8）式的t統(tǒng)計量，我們還沒有證明t邊際分布也是以（n－K）為自由度的t分布 。事實上，t的邊際分布仍是以（n—K）為自由度的t分布，不論X的分布是什么，甚至不 論X是隨機的還是非隨機的或者是混合的。 這個令人迷惑的結(jié)果來自f(t|X)不是X的函數(shù)這一事實，同樣的原因可以用來推演不 論X是不是隨機的，通常用以檢驗線性約束的F比率都是有效的。 結(jié)論：若干擾項是正態(tài)分布的，我們可以在我們的過程中不加變化地進行檢驗和構(gòu)造 參數(shù)的置信區(qū)間，而不去考慮回歸量是隨機的、非隨機的，還是它們的混合。 3、擬合優(yōu)度和方差分析 由方差分解公式，我們有：[pic]。我們用冪等矩陣M0來表示： [pic] [pic] [pic] 所以，[pic]和[pic] 進一步研究回歸平方和SSR與殘差平方和SSE，我們可以得到下面三個結(jié)論： a）在β=0的假設(shè)條件下，回歸平方和[pic]服從自由度為K－1的卡方分布x2(K－1)； b）殘差平方和[pic]服從自由度為n－K的卡方分布x2(n－K)； c）在β=0的假設(shè)條件下，[pic]服從F（k-1,n－k）分布。 證明：a）M0－M是冪等矩陣。先證明M0M+MM0=2M。 M0M+MM0 [pic] [pic] =2M 從而[pic] [pic] 所以，[pic]。 在β=0的假設(shè)條件下，[pic]才服從自由度為K－1的卡方分布x2(K－1)（為什么？） b）因為M是冪等矩陣而且[pic][pic] c）只要驗證[pic]即可。 事實上，[pic] [pic]。 和前一章的情況一樣，我們要對回歸模型的好壞，作出評價，決定系數(shù)[pic]就是對 模型擬合的一個度量，計算R2有兩個等價的方法。 決定系數(shù)[pic] 進一步推導(dǎo)和化解，我們可以得到R2另一個公式。 [pic]，以及M0e=e（表示殘差已經(jīng)具有零均值）和X′e=0。 [pic] 所以，[pic] [pic] [pic] [pic] 第一個方法度量了y的總變差中由回歸變差所解釋的部分，第二個是y的觀測值和由估 計的回歸方程所產(chǎn)生的預(yù)測值間的相關(guān)系數(shù)的平方。 當利用R2來比較不同的線性統(tǒng)計模型的擬合度時，存在一個嚴重的缺點，就是它的值 隨著解釋變量的增多而增大。為了克服這個缺點，我們可以用調(diào)整的R2來測度一個模型 的解釋能力，這個調(diào)整的R2被記[pic]，它的表達式為 [pic] [pic] 這里[pic]的無偏估計量，（思考：當y服從正態(tài)分布時，[pic]的一個無偏估計量） 。[pic]不同的是，隨著解釋變量的增多，它的值可能變小，甚至要能取負值。 因為[pic] 所以，SSR=[pic] [pic] [pic] 我們得到了回歸方差的另一個表達式，請見多元線性回歸模型方差分析表。 表1 多元線性回歸模型方差分析 | |來源 |自由度 |均方 | |回歸 |[pic] |K－1 | | |殘差 |[pic] |n－K |s2 | |總 |[pic] |n－1 |[pic] | |[pic] | 4、回歸的顯著性檢驗 一個通常要檢驗的假定是回歸方程作為整體的顯著性，這是對除了常數(shù)項外所有常數(shù) 都為0的假設(shè)的聯(lián)合檢驗。若所有系數(shù)為0，則多重相關(guān)系數(shù)為0，所以我們可以將這一假 定的一個檢驗基于R2值上。統(tǒng)計量 [pic] 服從自由度為K－1和n－K的F分布，檢驗的邏輯是，F(xiàn)統(tǒng)計量是對我們強加所有斜率都是 0的這一約束時的擬合損失的一個度量（R2的全部），若F大，假設(shè)被拒絕。 五、預(yù)測 多元回歸環(huán)境下的預(yù)測結(jié)果與前一章中討論的那些本質(zhì)是一樣的。假定我們希望預(yù)測 與回歸向量x0相應(yīng)的y0值。它將是 [pic] （[pic]，且 [pic] i=1,…,n） 由高斯—馬爾科夫定理知 [pic] 是y0的最小方差線性無偏估計量。 個體預(yù)測（Individual Prediction）誤差是 [pic] （[pic]，且 [pic] i=1,…,n） 這個估計的預(yù)測方差是 [pic] [pic] 若回歸含有一個常數(shù)項，一個等價的表達式是 [pic] 其中X是X的不包含全為1的列的最后K－1列。這表明，和以前一樣，區(qū)間的寬度依賴 于x0的元素與數(shù)...
上課材料之六