第三讲 线性回归模型
Linear Regression Model
一、基本概念
二、二元线性回归模型
三、多元线性回归模型
四、回归模型的函数形式
五、包含虚拟变量的回归模型
1. 回归的涵义
2. 总体回归函数和样本回归函数
3. 回归分析中的常用术语
4. 经济数据的分类
一、基本概念
回归的涵义
o regress: return to an earlier or more primary form or
state
o 最初的涵义：“回归”一词最早由英国生理学家高尔顿
（Galton,1886）提出，用以指儿女的身高有回复到人口总
体平均身高的趋势。
o 回归分析研究因变量对一个或多个自变量的依赖关系，其
用意在于通过后者的已知值，去估计或预测前者的总体均
值（古扎拉蒂，1995）
回归的涵义
o 例子
U
X 年龄 收入 消费
Y 收入 消费 效用
X
Y
总体回归函数和样本回归函数
总体回归函数（population regression function,PRF）
o 总体：北京师范大学全体教职工（3000人）
o 问题：北京师范大学教职工的工资W与受教育年限S的关系
W
S
总体回归函数和样本回归函数
o 总体回归函数的另一种表述
o 误差（error）的来源
其他解释变量的影响
测量误差
人类行为的随机性
总体回归函数和样本回归函数
o 总体回归函数图解
Si
PRF
Wi
A
C
E(W|Si)
PRF
ui
总体回归函数和样本回归函数
样本回归函数（sample regression function,SRF）
o 样本：从上述总体中随机抽取了100人
o 问题：根据样本数据估计总体中工资W与受教育年限S的关系
W
S
总体回归函数和样本回归函数
o 样本回归函数的另一种表述
W
S
对于每一个样本都会有一个SRF，每一个
SRF都各不相同，都是PRF的一个近似。
至于真正的PRF是什么，我们不知道
SRF1
SRF2
总体回归函数和样本回归函数
o 图解
Si
PRF
SRFWi
A
B
C
E(W|Si)
总体回归函数和样本回归函数
o 小结
确定性回归函数 随机回归函数
总体
样本
回归分析中的常用术语
o 线性模型（Linear model）：所谓线性，是指对参数是线
性的，并非指对变量是线性的。
回归分析中的常用术语
自变量
Independent
variable
解释变量
Explanatory
variable
控制变量
Control
variable
外生变量
Exogenous
variable
预测元
Predictor
回归元
Regressor
因变量
Dependent
variable
被解释变量
Explained
variable
响应变量
Response
variable
内生变量
Endogenous
variable
预测子
Predictand
回归子
Regressand
回归分析中的常用术语
相关与回归（correlation & regression）
o 从逻辑上说，回归分析本身并不意味着因果关系，对因果
关系的判断来源于经济理论
目的 变量间的关系 变量的性质 指标
相关分析
(correlatio
n analysis)
分析变量之间
的线性关联程
度
对称的 都是随机变量 相关系数
回归分析
(regression
analysis)
根据自变量的
给定值估计因
变量的均值
不对称的 因变量是随机
变量，自变量
是给定的
回归系数
判定系数
回归分析中的常用术语
o 确定性关系（deterministic relationship）
——处理确定性变量
o 统计关系（statistical relationship）
——处理随机变量（random/stochastic variable）
经济数据的分类
根据数据的结构
a. 时间序列数据（time series data）
b. 横截面数据（cross-sectional data）
c. 混合数据（pooled data）
o 平面板数据/综列数据（panel data）
根据数据的性质
a. 定类变量（nominal/categorical variable）
b. 定序变量（ordinal variable）
c. 定距变量（interval variable）
根据数据的来源
a. 非实验/观测数据（non-experimental/observational data）
b. 实验数据（experimental data）
研
究
结
果
不
可
能
比
数
据
的
质
量
更
好
！
1. 经典线性回归模型
2. 参数估计
3. 假设检验
4. 预测
二、二元线性模型
经典线性回归模型
o 如果线性回归模型满足下列条件，称之为经典线性回归模
型（classical linear regression model, CLRM）
o 上述假定是针对总体回归函数的，而对于样本回归函数，
这些假定可能不成立
参数估计
o 普通最小二乘法（method of ordinary least square,OLS ）
的基本思想，就是要找到一组合适的参数估计值，使得因变量
的估计值与实际值在总体上最为接近
X3
SRF
X1 X2
Y3
Y2
Y1
参数估计
截距系数和斜率系数的OLS估计量（OLS estimator , ）
参数估计
回归标准误：误差项标准差的估计
参数估计
OLS估计量的方差和标准差（）
o 有了OLS估计量之后，还应判定估计量离参数真值的平均
距离，这就需要对估计量的方差进行估计。这也是以后进
行假设检验的要求
参数估计
OLS估计量的方差估计和标准差估计（）
参数估计
OLS估计量的性质：
o 高斯—马尔科夫定理：在经典线性回归模型的假定下，最
小二乘估计量是最优线性无偏估计量（BLUE）
参数估计
例题
o 已知家庭消费支出C与家庭可支配收入I的相关数据如下：
a.用最小二乘法估计出以C为因变量的样本回归方程
b.计算回归标准误和回归系数估计量的标准误
o 参看：课本p92-94的实例
C 770 1100 1300 2200 2100 2700 3800 3900 5500 6600
I 800 1200 2000 3000 4000 5000 7000 9000 10000 12000
参数估计
习题
o 已知1970-1980年美国咖啡的真实价格P（美元/磅）与人
均每日咖啡消费量D（杯）的相关数据如下：
a.请用最小二乘法估计出以D为因变量的样本回归方程
b.计算回归标准误和回归系数估计量的标准误
年份 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990
P
D
参数估计
经典正态线性回归模型
o 如果仅仅进行参数的点估计，不需要对误差项的概率分布
作出假设；但如果要进行区间估计和假设检验，就需要知
道误差项的概率分布。
o 如果经典线性回归模型的误差项服从正态分布，则称该模
型为经典正态线性回归模型（classical normal linear
regression model, CNLRM）
参数估计
经典正态线性回归模型
正态性假定的依据：中心极限定理
o 误差项代表除了模型中的自变量以外，其他诸多因素对因
变量的综合影响程度。根据中心极限定理，这样的一个随
机变量趋向于服从正态分布，而经典线性模型的其他假定
保证了误差项的均值为0，而且是同方差的。因此，误差项
服从均值为0的、方差相同的正态分布（课本p105）。
参数估计
正态性假定下OLS估计量的性质
参数估计
正态性假定下OLS估计量的性质
参数估计
区间估计
参数估计
区间估计
参数估计
例题：家庭消费支出C与家庭可支配收入Y的相关数据如下：
C 70 65 90 95 110 115 120 140 155 150
Y 80 100 120 140 160 180 200 220 240 260
假设检验
置信区间法
o 根据估计值和置信系数构造置信区间，可以对原假设作出检验
假设检验
显著性检验法
假设检验
例题
假设检验
例题
假设检验
t检验和“2倍法则”
例题：课本
假设检验
拟合优度检验
o 为了衡量根据OLS估计得出的样本回归线对真实数据的拟
合程度，引入拟合优度（goodness of fitness）的概念，
并用判定系数（coefficient of determination）作为度量
总平方和（total sum of squares,TSS）
解释平方和（explained sum of squares,ESS）
残差平方和（residual sum of squares,RSS）
o 证明见课本P110-111
假设检验
o 拟合优度图解
Xi
SRFYi
A
B
C
假设检验
o 判定系数的计算
o 注意：只有两个模型的因变量相同，而且基于同一样本时，
根据两个模型得出的判定系数才能比较
假设检验
正态性检验：关于误差项是否服从正态分布的检验
a.残差直方图（Histogram）
b.雅克-贝拉检验（Jarque-Bera test）
假设检验
回归分析结果的报告（参看：课本）
o 参看课本-117
假设检验
习题：
o 课本：习题
预测
o 预测（prediction）：对不知道的或尚未发生的数据或事
件所作的估计
a)均值预测（mean prediction）：给定自变量的值，预测
因变量的均值
b)个值预测（individual prediction）：给定自变量的值，
预测与之对应的因变量的个别值
如果X0包含在样本内，则预测值实际上就是拟合值
预测
o 图解
X0
PRF
SRFY0
A
B
C
E(Y|X0)
预测
预测
预测
例题
1. 基本概念
2. 参数估计
3. t检验
4. F检验
5. 对于线性约束的检验
6. 预测
三、多元线性模型
基本概念
多元回归分析的普遍性：一些例子
因变量 自变量
工资 学历；工龄
猪肉需求量 猪肉价格；牛肉价格；收入……
货币需求 利率；国民收入
学习成绩 智商；性别；学习时间；学习支出；
家庭收入；父母受教育程度；
教师；班级平均成绩；学校类型……
基本概念
经典正态线性回归模型（CNLRM）的假定
与二元回归分析类似，正态性假定是针对假设检验的
基本概念
多元回归分析的涵义
基本概念
例题
参数估计
偏回归系数（partial regression coefficients）
参数估计
例题：偏回归系数
多元回归分析的功能
o 在非实验的环境中完成受控试验，既保持其他因素不变
参数估计
偏回归系数的OLS估计
参数估计
偏回归系数OLS估计量的性质
参数估计
回归标准误：误差项方差的估计
参数估计
拟合优度
o 为了衡量根据OLS估计得出的样本回归线对真实数据的拟
合程度，引入复判定系数（multiple coefficient of
determination）来度量模型的拟合优度
参数估计
例题：拟合优度
注意！
o 增加解释变量一般会使复判定系数变大，因此，不能简单
地根据复判定系数是否增大来决定是否加入某个解释变量
o 只有两个模型的因变量相同，而且基于同一样本时，根据
两个模型得出的复判定系数才能比较
参数估计
调整的复判定系数
例题
注意：重要的是回归系数的大小及其显著性，而不是判定系数
参数估计
偏回归系数的方差估计和标准误
例题：课本p132
参数估计
OLS估计量的性质
参数估计
OLS估计量的性质
参数估计
例题：区间估计
参数估计
模型设定与OLS估计量的性质
a.模型中包含了无关变量：偏回归系数的OLS估计量仍
然是无偏的，但其方差估计偏大，因而不是最有效的
b.模型中遗漏了相关变量：偏回归系数的OLS估计量是
有偏的（）
o什么时候增加新的解释变量：要增加的变量的回归
系数的t值的绝对值大于1，或增加变量后调整的R2
变大
关于单个偏回归系数的检验：t检验
基本思想
关于单个偏回归系数的检验：t检验
例题：住房价格与空气污染
关于单个偏回归系数的检验：t检验
t检验（t test）
关于单个偏回归系数的检验：t检验
例题：消费函数（中国，1981-1996）
关于回归总体显著性的检验：F检验
基本思想
关于回归总体显著性的检验：F检验
两点说明
a.单个系数的t检验显著并不能保证F检验显著，同样，单个系
数的t检验不显著也不能保证F检验不显著。因此，F检验是
必要的
b. F值的直观含义
关于回归总体显著性的检验：F检验
例题：消费函数（中国，1981-1996）
关于回归总体显著性的检验：F检验
例题：附加预期的菲利普斯曲线（ 美国，1970-1982）
关于回归总体显著性的检验：F检验
例题：附加预期的菲利普斯曲线（ 美国，1970-1982）
其他例题：课本，-146
对于线性约束的检验
问题的引入
对于线性约束的检验
基本思想
对于线性约束的检验
例题：台湾农业部门的柯布-道格拉斯生产函数（1958-
1972）
对于线性约束的检验
例题：牛肉的需求函数
对于线性约束的检验
应用一：回归模型的结构稳定性检验（Chow检验，p141-144）
对于线性约束的检验
应用二：F检验
预测
预测
例题
1. 对数-对数模型
2. 对数-线性模型
3. 线性-对数模型
4. 倒数模型
5. 多项式模型
6. 过原点回归模型
四、回归模型的函数形式
对数-对数模型
o 对数-对数模型（log-log model，双对数模型）
对数-对数模型
o 需求价格弹性
Qd
P
LnQd
LnP
对数-对数模型
例题
其他例题：课本-160
对数-线性模型
o 对数-线性模型（log-lin model ，不变增长率模型）
对数-线性模型
o 工资模型
W
S
LnW
S
对数-线性模型
例题
其他例题：课本-162
线性-对数模型
o 线性-对数模型（lin-log model）
线性-对数模型
例题：课本
倒数模型
o 倒数模型（reciprocal model）
U
倒数模型
例题
其他的例题：课本-167
多项式模型
例题：课本
o 多项式回归在成本和生产函数研究中应用较广
产出(X) 1 2 3 4 5 6 7 8 9 10
成本(TC) 193 226 240 244 257 260 274 297 350 420
多项式模型
例题
TC
X
过原点回归模型
过原点回归（regression through the origin）
o 实例：
• 可变成本正比于产量
• 永久性消费正比于永久性收入
• 通货膨胀率正比于货币供给量
o 可以用OLS估计，但应注意：
如果截距系数不为0，则模型设定错误，斜率估计是有偏的
复判定系数是无意义的
1. 什么是虚拟变量
2. 自变量包含虚拟变量的回归模型
3. 因变量为虚拟变量的回归模型
五、包含虚拟变量的回归模型
什么是虚拟变量
回忆：变量的分类
a.定类变量（nominal/categorical variable）
b.定序变量（ordinal variable）
c.定距变量（interval variable）
o 在定类变量中，有一类变量的取值只有0，1两种情况，称之
为虚拟变量（dummy variable），也称为二分变量（binary
variable）。其中，赋值为0的一类称为对照组（reference
group）或基准组（benchmark group）
自变量包含虚拟变量的回归模型
自变量仅为虚拟变量
o 如果自变量仅为虚拟变量，称为方差分析模型（analysis-
of-variance, ANOVA）。这一模型实际上是以自变量为分
类依据，讨论因变量的均值差异
自变量包含虚拟变量的回归模型
例题:课本
o 教育与年薪
o 其他例题：
自变量包含虚拟变量的回归模型
虚拟变量有多种分类
例题：1999年中国人均GDP的地区差异
east central west
东部 1 0 0
中部 0 1 0
西部 0 0 1
自变量包含虚拟变量的回归模型
例题
o 1999年中国人均GDP的地区差异
自变量包含虚拟变量的回归模型
例题
o 1999年中国人均GDP的地区差异
其他的例题：
课本p182
在模型中引
入的虚拟变
量数目比改
变量的分类
数少1
自变量包含虚拟变量的回归模型
自变量包括虚拟变量和定距变量
例题：课本-181
自变量包含虚拟变量的回归模型
含有交互项（interaction item）的回归模型
例题：教育收益率的性别差异
例题：p189-191
自变量包含虚拟变量的回归模型
含有交互项（interaction item）的回归模型
例题：回归模型结构稳定性检验（-189）
1970-1981
PS
PDI
1982-1995
因变量为虚拟变量的回归模型
线性概率模型（linear probability model, LPM）
例题：课本
因变量为虚拟变量的回归模型
线性概率模型存在的问题
a.误差项不服从正态分布
b.误差项的方差可能是不相同的
c.概率的不会随着自变量的变化呈现简单的线性关系
d.概率的估计值很可能小于0或大于1
因变量为虚拟变量的回归模型
Logit模型
因变量为虚拟变量的回归模型
Logit模型的估计方法（课本-296）
a.个体数据：ML估计（极大似然估计）
b.分组数据：OLS估计
P
X0
1
因变量为虚拟变量的回归模型
例题：劳动参与模型
LPM Logit
husband_income () ()
edu () ()
age () ()
kids () ()
例题：p294-296
