上課材料之五
上課材料之五 第四章 古典線性回歸模型 在引論中，我們推出了滿足凱恩斯條件的消費函數(shù)與收入有關的一個最普通模型：C =α+βX+ε，其中α＞0，0＜β＜1ε是一個隨機擾動。這是一個標準的古典線性回歸模型。假 如我們得到如下例1的數(shù)據(jù) 例1 可支配個人收入和個人消費支出 |年份 |可支配收入 |個人消費 | |1970 |751.6 |672.1 | |1971 |779.2 |696.8 | |1972 |810.3 |737.1 | |1973 |864.7 |767.9 | |1974 |857.5 |762.8 | |1975 |847.9 |779.4 | |1976 |906.8 |823.1 | |1977 |942.9 |864.3 | |1978 |988.8 |903.2 | |1979 |1015.7 |927.6 | 來源：數(shù)據(jù)來自總統(tǒng)經(jīng)濟報告，美國政府印刷局，華盛頓特區(qū)，1984。 （收入和支出全為1972年的十億美元） 一、線性回歸模型及其假定 一般地，被估計模型具有如下形式： yi=[pic]+βxi+εi，i=1,…,n, 其中y是因變量或稱為被解釋變量，x是自變量或稱為解釋變量，i標志n個樣本觀測值 中的一個。這個形式一般被稱作y對x的總體線性回歸模型。在此背景下，y稱為被回歸量 ，x稱為回歸量。 構(gòu)成古典線性回歸模型的一組基本假設為： 1. 函數(shù)形式：yi=[pic]+βxi+εi，i=1,…,n, 2. 干擾項的零均值：對所有i，有：E[εi]=0。 3. 同方差性：對所有i，有：Var[εi]=σ2，且[pic]是一個常數(shù)。 4. 無自相關：對所有i≠j，則Cov[εi,εj]=0。 5. 回歸量和干擾項的非相關：對所有i和j有Cov[xi,εj]=0。 6. 正態(tài)性：對所有i，εi滿足正態(tài)分布N（0，[pic]）。 模型假定的幾點說明： 1、函數(shù)形式及其線性模型的轉(zhuǎn)換 具有一般形式 [pic] 對任何形式的g(x)都符合我們關于線性模型的定義。 [例] 一個常用的函數(shù)形式是對數(shù)線性模型： [pic]。 取對數(shù)得： [pic]。（[pic]） 這被稱作不變彈性形式。在這個方程中，y對于x的變化的彈性是 [pic]， 它不隨x而變化。與之相反，線性模型的彈性是： [pic]。 對數(shù)線性模型通常用來估計需求函數(shù)和生產(chǎn)函數(shù)。 盡管線性模型具有巨大的靈活性，但在實際中存在著大量的非線性模型的形式。 例如，任何變換也不能將 [pic]和[pic]（0＜[pic]＜1） 轉(zhuǎn)化為線性回歸模型。 2、回歸量 對于回歸量即解釋變量我們有兩種處理方法，第一種將X設定為非隨機變量，第二種 方法將X設定為隨機變量。 1）當X為非隨機變量 xi的值在yi的概率分布中是已知的常數(shù)。這條假定暗示yi的每一個值都是一個概率分 布的觀察值，這個概率分布具有均值 [pic] 和方差 [pic]。 此外，有必要假定，對n≥1 [pic] 是一個有限正數(shù)，這個假定被稱作識別條件，若xi沒有任何變化，我們所有的觀測值 將落在一條垂直線上，我們的觀測數(shù)據(jù)將不允許我們作出關于回歸[pic]+βx的任何推斷 。這個識別條件等同于子樣的極差max(X1,…,Xn)－min(X1,…,Xn)≠0。 2）當X為隨機變量 若x被當作一個隨機變量，則假定1成為一個對y和x的聯(lián)合分布的陳述。 我們就用條件期望和方差來處理。 3、隨機干擾項 1）如果干擾項不是零均值，即E[εi]=μ，對所有的i，則[pic]+βx+εi等同于（[pic] +μ）+βx+（εi－μ），令[pic]′=[pic]+μ及εi′=εi－μ可得到模型，[pic]，此模型滿足我 們原始模型的要求。 2）觀測值中的隨機部分假定是不相關的： E[εiεj]=0 對所有i不等于j。 這被稱為非自相關。 二、最小二乘法 1 最小二乘系數(shù) 總體回歸是E[yi|xi]= [pic]+βxi，而我們對E[yi|xi]的估計記作 [pic]。 和第i的數(shù)據(jù)點相聯(lián)系的干擾項是 [pic] 對a和b的任何值，我們用殘差 [pic] 來估計εi，從這些定義可知： [pic] [pic]。 對任何一對值a和b，殘差平方和是： [pic] 最小二乘法系數(shù)就是使這個擬合標準達到最小的a和b的值。最小化的一階條件是 [pic] [pic] 和 [pic] [pic] 將上兩式展開合并同類項后得到正規(guī)方程組 [pic] （1） [pic] （2） （1）式暗示[pic]，而（2）式暗示[pic] 為了得到解，我們首先用n除（1）結(jié)果是 [pic] 最小二乘回歸線通過均值點。現(xiàn)在分離a： [pic] （3） 有了a后，我們可以求解（2）得到b。首先，[pic]。將此和（3）代入（2）并重新安 排各項。 [pic] 或 [pic][pic] 最小的殘差平方和，對a和b的二階微商矩陣是 [pic] . 我們必須表明這是一個正定矩陣，兩個對角元素永遠為正，所以僅需證明行列式為正 ，行列式為[pic]，所以行列式為 [pic] 由識別條件得知這是一個正值。這樣a和b是平方和的最小化因子。 2 回歸擬合的評價 1）回歸量x是非隨機變量 總變差是離差的平方和： [pic] [pic][pic] [pic] 第二個等式成立是因為[pic] 我們將其寫作 總平方和=回歸平方和+殘差平方和 或 SST=SSR+SSE. 我們利用下式得到一個關于回歸直線對數(shù)據(jù)擬合程度的度量 [pic] 為了方便計算與分析，約定 [pic] [pic] 和 [pic] x和y間的樣本相關系數(shù)是[pic]。利用[pic]我們得到[pic]，這表明回歸的斜率和x、y間 的相關系數(shù)具有相同的符號，而且 [pic] . 這進一步證明了我們利用R2作為回歸模型擬合優(yōu)劣指標的正確性。 3 方差分析表 進一步研究回歸平方和SSR與殘差平方和SSE，我們可以得到下面三個結(jié)論： a）在β=0的假設條件下，回歸平方和[pic]服從自由度為1的卡方分布x2(1)（為什么 ？）； b）殘差平方和[pic]服從自由度為n-2的卡方分布x2(n－2)； c）在β=0的假設條件下，[pic]服從F（1,n－2）分布?，F(xiàn)在我們來證明這三個結(jié)論。 證明： a）[pic]，其中[pic]，易知[pic]， [pic]。 可以驗證[pic]是冪等矩陣。 [pic] [pic] 在β=0的假設條件下，[pic]才服從自由度為1的卡方分布x2(1)（為什么？） b）因為[pic] 所以[pic] 易驗證[pic]也是冪等矩陣 [pic] [pic] 最后一個等式成立是因為[pic]。 所以[pic]，從而[pic]。此結(jié)論成立不需要β=0的假設條件下，為什么？ c）因為[pic] [pic] 所以SSR與SSE是相互獨立的統(tǒng)計量。從而，在β=0的假設條件下，[pic]服從F（1，n －2）分布，所以，可以用來作模型的整體檢驗的統(tǒng)計量。 概括這些計算的一個方便的途徑是方差分析表，可總結(jié)在方差分析表1中。 表1 方差分析表 |變差來源 |變差 |自由度 |均方 | |回歸 |SSR=b2Sxx |1 |[pic] | |殘差 |[pic] |n－2 |[pic] | |總 |SST=Syy |n－1 |[pic] | |[pic] | 2）回歸量X是隨機變量 我們要利用方差分解公式 [pic] [pic] =[pic] 我們將它應用到子樣空間里來，即 [pic] [pic][pic] 所以，兩邊去掉1/n后得到： [pic][pic] 我們得到了和把X當成非隨機變量時同樣的結(jié)果，因此，方差分析表也是一樣的。 考慮消費函數(shù)的例子，這里C是消費而X是收入，我們得到 [pic] [pic] [pic] 總平方和的各個部分為 總平方和=64,972.12 回歸平方和=64,435.13 殘差平方和=537.00 [pic] 顯然，此回歸提供了一個很好的擬合。 對消費和收入數(shù)據(jù)，方差分析表如下所示 例1數(shù)據(jù)的方差分析表 |變差來源 |變差 |自由度 |均方 | |回歸 |64,435.15 |1 |64,435.13 | |殘差 |537.00 |8 |67.124 | |總 |64,972.13 |9 |7,219.12 | |[pic] | 另一個計算和通常R2相類似公式是： [pic] 任何一個模型的殘差都可用[pic]來計算。 三、最小二乘法估計量的統(tǒng)計特征 我們利用了最小二乘法，從純粹的代數(shù)方法，求得所擬合的最小二乘系數(shù)a和b，從統(tǒng) 計意義上來說，這個結(jié)果可以看作是對參數(shù)[pic]和β的一個估計（因為還存在著利用其 他估計方法得到的估計）。我們現(xiàn)在對a、b的無偏性，有效性和精確度等統(tǒng)計特性作分 析。 我們所考慮的計量模型是： [pic] β的最小二乘估計是 [pic] [pic] （1） 其中權數(shù)， [pic] （2） 僅僅是x1,…,xn的一個函數(shù)。 1、b是β的無偏估計 將[pic]代入（1），我們得到 [pic] [pic] [pic] （3） 所以 [pic] （4） 這是因為[pic]。不論ε的分布如何，在我們其他假定下，b是β的一個無偏估計量，利 用（3）得到b的樣本方差 [pic] 線性回歸模型的假定4暗示這個和的方差中的協(xié)方差項是零，所以有 [pic] 特別要注意b的方差中的分母。x的變差越大（也就是x的采樣范圍越廣），則這個方差越 小。 2、a是α的無偏估計 對于最小二乘截距a，我們有： [pic] [pic] [pic] 利用（3）式并加以整理，我們有 [pic] 其中 [pic] 由于求和中每一項的期望都為0，所以a也是α的估計量無偏估計量。a的樣本方差就是[pic] 的方差，根據(jù)獨立性有 [pic] （通過對括號中的項進行平方并利用[pic]的結(jié)果，可以得到上式中后一結(jié)果）。 3、a、b估計量的協(xié)方差矩陣 兩個估計的協(xié)方差是 [pic] [pic] a和b兩者都有[pic]的形式，因此它們都是線性估計量，前邊給出了它們的樣本均值 和方差并證實了它們是無偏的。正如已指出的，還存在利用數(shù)據(jù)估計[pic]和β的其他方 法。然而，從線性無偏估計量的角度，沒有任何估計量比最小二乘估計量具有更小的樣 本方差，這就是高斯—馬爾科夫定理。 ****當把正態(tài)分布干擾項的假定加入上面的過程時，我們得到估計量的分布的一個完 備的結(jié)果。由于a和b兩者都是正態(tài)分布變量的線性函數(shù)，因而它們也都是正態(tài)分布的。 其均值和方差已導出，概括起來，在正態(tài)性假設下，有 [pic] 4、b是β的最小線性無偏估計。 思考：證明b=[pic]是線性無偏估計量中，方差最小的一個估計量。 [證明] 令另一個估計量是 [pic] 在等式兩邊取期望，我們可以看到，若使[pic]是無偏的，必須有[pic]及[pic]。這樣， [pic]。[pic]的方差是 [pic] 令[pic] [pic] [pic] 利用[pic]，易得到[pic]，這就是在[pic]的方差中只留下兩個平方項，這意味著[pic] 一定大于[pic]。 推導[pic] [pic] [pic] 四、最小二乘估計量的統(tǒng)計推斷 在前面的內(nèi)容里，我們在假定干擾項是正態(tài)分布和樣本X1，…Xn是非隨機的條件下， 給出了最小二乘估計量的確切的樣本分布。但通常的參數(shù)估計過程包括構(gòu)造置信區(qū)間和 對α和β值的假設檢驗。為了做到這一點，我們需要參數(shù)的真正樣本方差的估計，這將需 要對未知參數(shù)[pic]的一個估計，并構(gòu)造假設檢驗方法。 1、[pic]的無偏估計量的推導 由于[pic]是[pic]的期望值，而[pic]的一個估計， [pic] 似乎是一個自然的估計量，通過寫出[pic]，并把[pic]，[pic]代入，我們得到 [pic] [pic] （1） 我們對某一個別干擾項[pic]的估計受兩種因素的扭曲：所有干擾項的樣本平均和我 們可以歸于β并非完美估計這一事實所造成的影響。回憶所有干擾項是獨立的，所以[pic] ?，F(xiàn)在我們平方的兩邊并取期望值，可得到 [pic] [pic] 在對這些項求和時，我們利用[pic]。整理后，我們有 [pic] 這表明[pic]的一個無偏估計量是 [pic] 這樣，我們可以得到b的抽樣方差的一個估計為 [pic] . 以后，我們將用記號[pic]表示一個估計量的抽樣方差的一個樣本估計。 t分布統(tǒng)計量的構(gòu)造 [pic] （1） 的分布是標準正態(tài)。由[pic]服從[pic] [pic] （2） 并且和b是獨立的。 根據(jù)（1）和（2），我們得到： [pic] 是一個標準正態(tài)變量和一個除以其自由度的卡方量的平方根之比，它服從自由度為（ n－2）的t分布。這樣，記[pic]，則比率 [pic] （3） 可以形成統(tǒng)計推斷的基礎。 2、抽樣分布 β的置信區(qū)間將以（3）為基礎。特別的，我們可以有 [pic]≤[pic]≤[pic]， 其中[pic]是要求的置信水平，[pic]是來自于自由度為（n－2）的t分布的適當?shù)呐R 界值。利用a及其估...
上課材料之五