第二章 一元线性回归模型
第一节 回归模型概述
第二节 参数的最小二乘估计
第三节 最小二乘估计量的统计性质
第四节 一元线性回归模型的统计检验
第五节 一元线性回归模型的预测
第六节 一元线性回归模型案例分析
第二节 参数的最小二乘估计
一、经典线性回归模型：OLS基本假定
二、普通最小二乘法（OLS）
三、例题示范
一、经典线性回归模型：OLS基本假定
1.零均值假定：随机扰动项可正可负，可相互抵消
2.同方差假定：各次观察值中ui具有相同的方差
3.无序列相关假定：随机扰动项相互独立
4.解释变量与随机扰动项不相关假定：
5.随机扰动项服从正态分布假定
1、 E(ui)=0
2、 Var(ui)=σ2
3、Cov(ui,uj)=0
4、Cov(ui,Xi)=0
5、Ui~N(0, σ2 )
注意：
对于线性回归模型，模型估计的任务是用回归分析的方法估计模型的参数。
最常用的估计方法是普通最小二乘法。
为保证参数估计量具有良好的性质，通常对模型提出若干基本假设。如果实际模型满足这些基本假设，普通最小二乘法就是一种适用的估计方法；
如果实际模型不满足这些基本假设，普通最小二乘法就不再适用，而要发展其它方法来估计模型。
二、普通最小二乘法（OLS）
普通最小二乘法是一种参数估计方法，确定估计参数的准则是使全部观察值的残差平方和最小，
由此得出选择回归参数 b0 , b1 的最小二乘估计式。
残差平方和
使偏导数为零
得正规方程
Yi = nβo + β 1 Xi
XiYi = β o Xi + β 1 Xi2
解得
记 X，Y的平均数
则得
几个常用的结果
●样本回归线通过点
●估计值 的均值等于实际观测值 的均值
●残差项 的均值为零
●解释变量 与残差 不相关
●因变量的估计值 与残差项 不相关
顺便指出 ，记
可得
（*）式也称为样本回归函数的离差形式。
（*）
注意：
在计量经济学中，往往以小写字母表示对均值的离差。
将 代入
注意：几个概念的区别
误差：error 即随机项µ
残差：residual 观测值减去拟合值，是误差的估计值
离差：deviation样本观测值减去样本平均值
（以后我们都用小写字母表示离差）
思考：估计值和估计量的联系和区别？
三、例题示范
计算结果的解释：
回归参数的数学意义：
当X增加1个单位时，Y约增加个单位。
回归参数的经济学意义：
当人均居民可支配收入增加1元时，人均居民消费性支出 将平均增加元。
估计值和估计量（Estimates and Estimators）
我们通常用希腊字母表示未知参数的真值。假设β是一个我们想知道的参数值，当然，它的真值一般是得不到的，但可以对它进行估计。应用统计技术，我们可以得到β的合理估计值。在任何实际应用中，β的估计值就是一个数字，如β被估计为 –。
一般来说，经济理论所关注的焦点并不是估计值，而是估计量，形式上估计量是用于将数据转换成估计值的公式。之所以更关注后者，是因为从一特定样本计算的估计值是不是好，取决于估计方法（估计量）是不是好。本文中估计量是随机变量。 β的估计量通常表示为 和 。
第三节、最小二乘估计量的统计性质
一个用于考察总体的估计量，可从如下几个方面考察其优劣性：
（1）线性性，即它是否是另一随机变量的线性函数；
（2）无偏性，即它的均值或期望值是否等于总体的真实值；
（3）有效性，即它是否在所有线性无偏估计量中具有最小方差。
拥有这类性质的估计量称为最佳线性无偏估计量（best liner unbiased estimator, BLUE）。
一、线性性Linear
线性特性是指估计量 βo 和 β 1 是Yi 的线性函数。
^
^
证：
å
å
å
å
å
å
å
å
+
=
-
=
=
2
2
2
2
1
)
(
ˆ
i
i
i
i
i
i
i
i
i
i
i
x
x
Y
x
Y
x
x
Y
Y
x
x
y
x
β
令
å
=
2
i
i
i
x
x
k
，因
å
å
=
-
=
0
)
(
X
X
x
i
i
，故有
å
å
å
=
=
i
i
i
i
i
Y
k
Y
x
x
2
1
ˆ
β
å
å
å
å
=
-
=
-
=
-
=
i
i
i
i
i
i
i
Y
w
Y
k
X
n
X
Y
k
Y
n
X
Y
)
1
(
1
ˆ
ˆ
1
0
b
β
二、无偏性unbiased
无偏性指估计量 和 的均值等于总体回归参数 和
三、最小方差性valid
最小方差性是指估计量 和 具有最小方差的性质，又叫有效性。
证明最小方差性
假设
*
1
ˆ
b
是其他方法得到的关于
1
b
的线性无偏估计量：
å
=
i
i
Y
c
*
1
ˆ
b
其中，
i
i
i
d
k
c
+
=
，
i
d
为不全为零的常数。
å
å
å
å
å
+
=
+
=
=
=
i
i
i
i
i
i
i
i
i
X
c
c
X
c
Y
E
c
Y
c
E
E
1
0
1
0
*
1
)
(
)
(
)
(
)
ˆ
(
b
b
b
b
b
由
*
1
ˆ
b
的无偏性，即
1
*
1
)
ˆ
(
b
b
=
E
可知：
å
å
=
+
1
1
0
b
b
b
i
i
i
X
c
c
从而有：
å
=
0
i
c
，
å
=
1
i
i
X
c
高斯马尔可夫定理(Gauss-Markov theorem)
在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量。
一个估计量如果它是线性的，同时又是有效的（即无偏的，又具有最小方差）那它就是最佳线性无偏估计量BLUE
Best Linear Unbiased Property of an Estimator
第四节、一元线性回归模型的统计检验
一、拟合优度检验
二、变量的显著性检验
三、参数的置信区间
回忆：在统计检验之前还需要做什么？
回归分析是要通过样本所估计的参数来代替总体的真实参数，或者说是用样本回归线代替总体回归线。
尽管从统计性质上已知，如果有足够多的重复抽样，参数的估计值的期望（均值）就等于其总体的参数真值，但在一次抽样中，估计值不一定就等于该真值。
那么，在一次抽样中，参数的估计值与真值的差异有多大，是否显著，这就需要进一步进行统计检验。
主要包括拟合优度检验、变量的显著性检验及参数的区间估计。
一、拟合优度检验 goodness-of-fit
拟合优度检验：对样本回归直线与样本观测值之间拟合程度的检验。
度量拟合优度的指标：判定系数（可决系数）
R2 Coefficient of determination
1、总离差平方和的分解
已知由一组样本观测值（Xi,Yi），i=1,2…,n得到如下样本回归直线
如果Yi=Ŷi 即实际观测值落在样本回归“线”上，则拟合最好。
可认为，“离差”全部来自回归线，而与“残差”无关。
对于所有样本点，则需考虑这些点与样本均值离差的平方和,可以证明：
记
总体平方和（Total Sum of Squares）
回归平方和（Explained Sum of Squares）
残差平方和（Residual Sum of Squares ）
TSS=ESS+RSS
Y的观测值围绕其均值的总离差(total variation)可分解为两部分：一部分来自回归线(ESS)，另一部分则来自随机势力(RSS)。
在给定样本中，TSS不变，
如果实际观测点离样本回归线越近，则ESS在TSS中占的比重越大，因此
拟合优度：回归平方和ESS/Y的总离差TSS
2、可决系数R2统计量
称 R2 为（样本）可决系数/判定系数（coefficient of determination)。
可决系数的取值范围：[0，1]
R2越接近1，说明实际观测点离样本线越近，拟合优度越高。
注：可决系数是一个非负的统计量。它也是随着抽样的不同而不同。为此，对可决系数的统计可靠性也应进行检验。
3.相关检验correlation
正线性相关 负线性相关 非线性相关 不相关
取值范围：
0 R2 1 - 1 r 1
（1）样本相关系数:是变量X和Y之间线性相关程度的度量指标
（2）样本相关系数检验
什么是自由度degree of freedom
模型中样本值可以自由变动的个数，称为自由度
自由度 = 样本个数 — 样本数据受约束条件（方程）的个数
例如，样本数据个数为n，它们受k个方程的约束（系数矩阵秩为k），那么自由度df = n-k
举例:TSS、RSS、ESS的自由度
对应于平方和分解的自由度的分解
TSS = ESS + RSS
n-1 1 n-2
总自由度dfT 回归自由度dfE 残差自由度dfR
自由度分解：dfT= dfE +dfR
可决系数和相关系数的关系：（1）联系
数值上，可决系数等于应变量与解释变量之间简单相关系数的平方:
可决系数和相关系数的关系：（2）区别
取值：[－1,1]
取值：[0,1]
度量不含因果关系的对称相关关系
度量不对称的因果关系
度量两个变量线性依存程度。
说明解释变量对被解释变量的解释程度
就两个变量而言
就模型而言
相关系数
可决系数
二、变量的显著性检验
回归分析是要判断解释变量X是否是被解释变量Y的一个显著性的影响因素。
在一元线性模型中，就是要判断X是否对Y具有显著的线性影响。这就需要进行变量的显著性检验。
变量的显著性检验所应用的方法是数理统计学中的假设检验。
计量经计学中，主要是针对变量的参数真值是否为零来进行显著性检验的。
1、假设检验 Hypothesis testing
所谓假设检验，就是事先对总体参数或总体分布形式作出一个假设，然后利用样本信息来判断原假设是否合理，即判断样本信息与原假设是否有显著差异，从而决定是否接受或否定原假设。
假设检验采用的逻辑推理方法是反证法。
先假定原假设正确，然后根据样本信息，观察由此假设而导致的结果是否合理，从而判断是否接受原假设。
判断结果合理与否，是基于“小概率事件不易发生”这一原理的
2、变量的显著性检验
检验步骤：
（1）对总体参数提出假设
H0： 1=0， H1：10
（2）以原假设 构造t统计量，并由样本计算其值
（3）给定显著性水平，查t分布表，得临界值t /2(n-2)
(4) 比较，判断
若 |t|> t /2(n-2)，则拒绝H0 ，接受H1 ；
若 |t| t /2(n-2)，则拒绝H1 ，接受H0 ；
对于一元线性回归方程中的0，可构造如下t统计量进行显著性检验：
假设检验可以通过一次抽样的结果检验总体参数可能的假设值的范围（如是否为零），但它并没有指出在一次抽样中样本参数值到底离总体参数的真值有多“近”。
要判断样本参数的估计值在多大程度上可以“近似”地替代总体参数的真值，往往需要通过构造一个以样本参数的估计值为中心的“区间”，来考察它以多大的可能性（概率）包含着真实的参数值。这种方法就是参数检验的置信区间估计。
三、参数的置信区间
如果存在这样一个区间，称之为置信区间（confidence interval）； 1-称为置信系数（置信度）（confidence coefficient）， 称为显著性水平（level of significance）；置信区间的端点称为置信限（confidence limit）或临界值（critical values）。
一元线性模型中，i (i=1，2）的置信区间:
在变量的显著性检验中已经知道：
意味着，如果给定置信度（1-），从分布表中查得自由度为(n-2)的临界值，那么t值处在(-t/2, t/2)的概率是(1- )。表示为：
即
于是得到:(1-)的置信度下, i的置信区间是
由于置信区间一定程度地给出了样本参数估计值与总体参数真值的“接近”程度，因此置信区间越小越好。
思考：如何要缩小置信区间？
要缩小置信区间，需
（1）增大样本容量n，因为在同样的置信水平下，n越大，t分布表中的临界值越小；同时，增大样本容量，还可使样本参数估计量的标准差减小；
（2）提高模型的拟合优度，因为样本参数估计量的标准差与残差平方和呈正比，模型拟合优度越高，残差平方和应越小。
第五节 一元线性回归模型的预测
回归分析结果的报告
经过模型估计、检验，得到一系列的数据，一般用格式规范表示。例如：
被解释变量的点预测、区间预测
基本思想
(1)计量经济预测是利用所估计的样本回归模型，用解释变量的已知值或预测值，对预测期或样本以外的被解释变量作出定量的估计。
(2)计量经济预测是一种条件预测：
条件：
a.所估计参数不变
b.模型设定关系不变
c.解释变量在预测期的取值已作出预测
一、点预测
注意：严格地说， 这只是被解释变量的预测值的估计值，而不是预测值。
原因:（1）参数估计量不确定；
（2）随机误差项的影响。
内插预测interpolation 外推预测extrapolation
Ŷ0是条件均值E(Y|X=X0)或个值Y0的一个无偏估计
对总体回归函数E(Y|X)=0+1X，X=X0时
E(Y|X=X0)=0+1X0
于是
可见，Ŷ0是条件均值E(Y|X=X0)的无偏估计。
对总体回归模型Y=0+1X+u，当X=X0时
二、总体条件均值与个值的区间预测
1、总体均值的预测区间
由于
于是
可以证明
因此
故
其中
于是，在1-的置信度下，总体均值E(Y|X0)的置信区间为
2、总体个值的预测区间
由 知:
于是
式中 :
从而在1-的置信度下， Y0的置信区间为
在上述收入-消费支出例中，得到的样本回归函数为
则在X0=1000处， Ŷ0 = –+×1000=
而
因此，总体均值E(Y|X=1000)的95%的预测区间为：
< E(Y|X=1000) <+
即 （, ）
同样地，对于Y在X=1000的个体值，其95%的预测区间为：
- <Yx=1000 < +
即 (, )
总体均值与个体值的置信带（域）（confidence band）：
对于Y的总体均值E(Y|X)与个体值的预测区间（置信区间）:
（1）样本容量n越大，预测精度越高，反之预测精度越低；
（2）样本容量一定时，置信带的宽度当在X均值处最小，其附近进行预测（内插预测）精度越高；X越远离其均值，置信带越宽，预测精度下降。
第六节 一元线性回归模型案例分析
第一步、建立模型
第二步、估计参数
第三步、评价模型
第四步、预测
也可以改进过程：
1、关于问题的经济理论分析
2、收集数据，注意影响因素数据的可得性
3、绘制散点图，猜测模型的形式
4、采用合适方法估计参数
5、进行必要的检验
6、应用和预测
例题:书本上
天津市城镇居民年人均可支配收入x，研究它与年人均消费性支出y之间的关系。
1980-1998年样本观测值见表
第一步：建立模型
理论分析：
影响城市居民人均消费支出的因素有多种，但从理论和经验分析，最主要的影响因素应是居民收入。从理论上说可支配收入越高，居民消费越多，但边际消费倾向大于0，小于1。
建立模型：
Y—城市居民家庭平均每人每年消费支出(元)
X—城市居民人均年可支配收入(元)
第二步：估计模型（eviews软件）
安装
建立新文件
线性回归操作
软件操作
1、建立文件File-new-workfile
2、样本范围Quick-sample
3、输入数据Quick-empty group
4、绘制散点图
Quick-graph-scatter
5、估计模型Quick-estimate equation
一般可写出如下回归分析结果：
第三步：模型检验
1. 经济意义检验：
估计的解释变量的系数为，说明城镇居民人均可支配收入每增加1元，人均年消费支出平均将增加元。这符合经济理论对边际消费倾向的界定。
常数项的估计值是，表示不受可支配收入影响的自发消费行为。
两个参数的符号大小都符合经济理论和该市的实际情况
2. 可决系数： ，模型拟合较好。
3. 系数显著性检验：给定 ，查 t 分布表，
在自由度为n-2=17时临界值为
因为 t = >
说明城镇人均可支配收入对城镇人均消费支出有显
著影响。
4. 用P值检验 >> p=
第四步：预测
假如给定1999和2000年该市人均可支配收入（1980年不变价）分别为1763和1863元，求99和2000年人均消费性支出预测值。
软件操作：
样本选择quick-sample
更新数据quick-empty group
预测forecast
分析图表quick-graph-line graph
样本选择quick-sample
更新数据edit+/-
预测forecast:在回归模型结果窗口
分析图表
