《中级计量经济学》
蒋岳祥
课程简介
课程号：
课程名称(含英文主)：研究生《中级计量经济学》（Intermediate Econometrics）
学分：2
周学时：4
预修课程：经济学、高等数学、概率论和数理统计
内容简介：
首先介绍计量经济学中必须具备的数学知识如高等代数中矩阵、概率论与数理统计中点估计、有效估计、一致估计、区间估计、假设检验、大样本与极限理论等。而后介绍古典线性回归模型、多元线性回归模型、带有线性约束的多元线性回归模型及其假设检验、正态线性统计模型的最大似然估计、古典线性的大样本理论、非球形扰动与广义最小二乘、异方差性、非线性回归模型等。
选用教材或参考书：
教材：
William H. Greene，Econometrics Analysis, fourth edition。
参考书：
1．William H. Greene，经济计量分析，Econometrics Analysis 的翻译, 中国社会科学出版社。
2．课件。
教学大纲
课程号：
课程名称(含英文主)：研究生《中级计量经济学》（Intermediate Econometrics）
学分：2
周学时：4
预修课程：经济学、高等数学、概率论和数理统计
一、课程的教学目的和基本要求：
本课程为已具备经济学，概率论和数理统计以及初级计量经济学的研究生开设的《中级计量经济学》。目的是为他们今后在经济和金融领域能够独立开展科学研究和调查提供坚实的统计与计量经济学的方法与技巧。本课程的重点是使学生充分掌握和理解以下三个方面的知识与技能：
1．计量经济学的理论与原理；
2．计量经济学中广泛使用的统计推断知识，方法与技巧；
3．掌握各种模型需要的条件与模型的局限性和适用性。
二、课程内容与学时分配
第一章 引言…………………………………………………………………..1学时
计量经济学概念
为什么学计量经济学
计量经济学模型
第二章 矩阵的基础知识……………………………………………………..4学时
矩阵的概念与运算
矩阵的特征根与特征向量
矩阵的二次型与二项式
矩阵的微分
第三章概率论与数理统计……………………………………………………..4学时
随机变量与概率
分布函数与中心极限定理
二元态分布与多元正态分布
样本与样本的分布函数
统计量及其分布
点估计
有效估计
一致估计
区间估计
假设检验
第四章 古典线性回归模型…………………………………………………..4学时
古典线性回归模型与其假设条件
最小二乘回归
方差分析
最小二乘统计量的有限样本性质
预测
第五章 多元线性回归模型…………………………………………………..4学时
多元线性回归模型与其假设条件
最小二乘回归
方差分析
最小二乘统计量的有限样本性质
预测
第六章 带有线性约束的多元线性回归模型及其假设检验…………………4学时
带有线性约束的多元线性回归模型与其假设条件
线性约束的检验
参数带有约束的最小二乘回归
Wald检验
实例
第七章 正态线性统计模型的最大似然估计………………………………..4学时
模型及其假设条件
模型求解
与最小二乘估计量的比较
第八章 古典线性回归的大样本理论………………………………..4学时
最小二乘统计量的有限样本性质
古典回归模型的渐近分布理论
最小二乘估计量的渐近正态性
标准检验统计量的渐近行为
第九章 非线性回归模型………………………………..2学时
非线性回归模型
可供选择的几个统计量
假设检验与参数约束
Box-Cox 变换
第十章 异方差性………………………………..2学时
OLS估计的探讨
异方差性的检验
GLS估计
二阶段估计
第一章 引言
什么是计量经济学？
计量经济学是由挪威经济学家在三十年代首先创立的一门学科，是关于运用统计方法测量经济关系的艺术与科学，已经成为现代经济学的重要组成部分之一。
如果要给计量经济学（Econometrics）下一个较为确切的定义，我们可以这样界定：
计量经济学是这样一门学科，它根据以往历史的经济资料与数据，从经济理论出发，运用数理统计的分析方法对经济关系建立经济计量模型，并依据所建立的模型对经济系统进行结构分析，经济预测和政策评价。所以计量经济学涉及数学学科中的统计学领域和经济学领域，统计学与经济理论是计量经济学的两块基石。
经济现象包罗万象，影响经济的因素有很多，如果我们企图将所有的因素作为研究的对象，我们可能什么结论也得不到，研究经济问题的一般方法是：我们总是选用最重要的因素变量而屏弃一些非本质的因素（变量），还需要了解哪些经济现象是有待解释的，哪些重要因素是有助于解释这些经济现象的，如何度量量化那些因素，并努力寻求它们之间存在的数量关系，并用统计推断来检验这些关系，故一般建立计量经济模型的过程与方法是：
计量经济模型建立，求解，解释过程图
计量经济模型(Econometric Modeling)实例
学过经济学中凯恩斯经济理论的人都知道，理论上说消费和收入存在着密切的联系，如果C表示消费，Y表示收入。则C与Y的关系，可用消费函数表示：
C=f（Y） （1）
这样的函数满足：
1）边际消费倾向（MPC）位于0和1之间，即 0＜＜1；
2）平均消费倾向（APC）是随着收入的增加而减少。
我们不妨将第二个条件作些化解，这个条件用数学语言表示是：＜0，
而
＜0
即MPC＜APC。
在现实经济社会中，消费与收入之间的关系很难确切地用方程（1）表示收入，我们所能采集到的数据往往受到这样那样的影响，我们可用随机扰动来表示这些影响，所以，我们要对方程（1）要作适当调整，于是消费和收入之间的关系可以写成如下形式：
（2）
其中是随机扰动。
满足凯恩斯条件的很多，无法枚举穷尽，但我们可以大致将它们分为线性模型与非线性模型两类。
[例1]线性模型(Linear Model)
方程（2）的一个最简单的情况，是C与Y的线性关系，即
C=+Y+ （3）
其中0＜＜1，＞0
如果我们现在从历史记录中或观察到N个样本，即（Yt，Ct），t=，……N，于是我们有如下一组方程：
C1=+Y1+1
C2=+Y2+2
…………………
CN=+YN+N
这便是典型的一元线性回归模型。
[例2]非线性模型(Nonlinear Model)
一般情况下，方程（2）都是非线性的情况。例如：
C=+Y+, 其中0＜＜1，＞0
显然，当=1时，它就是例1的情况。而，，现在我们假设0＜＜1则，MPC＞0即该模型满足凯恩斯的两个条件，这就是一个典型非线性模型。
其他实例
1、社会保障水平与国内生产总值
直现上看，社会保障水平的相关因素中，最主要的因素是人均国内生产总值。只有人均国内生产总值的增长，才会有资金支撑社会保障的各项支出，我们可以建立相应的线性回归模型：
利用有关国家的数据，算出常数项a和系数b，如下：
社会保障水平与人均GDP增长之间的相关函数和回归方程：
国家
相关系数Y
回归方程Y=a+bx
样本年份
英国
瑞典
丹麦
Y=+
Y=+
Y=+
1960—1995
美国
日本
德国
Y=+
Y=+
Y=+
1960—1995
资料来源：①世界银行，世界发展报告（1982—1998）北京：中国财政经济出版社
②联合同，人类发展报告，（1982—1999）伦墩：天津大学出版社
从统计分析结果证明了2点。
1、社会保障水平与人均GDP队长之间存在着高度相关。（相关系数在至之间）
2、回归方程中的自变量系数b值，福利型国家明显都高于自保公助型国家，上述关系表明，人均GDP每增长一亿本币，社会保障支出相应增长，福利型国家为%～%，自保公助型国家为%～%，二者相差一个小数点，从而说明，在相同人均国内生产总值增长速度下，福利型国家社会保障水平的上升速度快于自保公助型国家。
2、失业、国内生产总值GDP与奥肯定理（Okun’s Law）
失业与实际GDP之间的负相关关系，首先被奥肯发现，称之为奥肯定理。
利用美国1951年至1997年的经济数据，发现：
实际GDP变动的百分比=3%—2 x 失业率的变动。
如果失业率保持不变，实际的GDP增长3%左右，这种正常的增长是由于人口增长、资本积累和技术进步引起的。此外，失业率每上升一个百分点，实际GDP一般减少两个百分点。因此，如果失业率从6%上升到8%，那么，实际GDP的增长将是：
实际GDP变动的百分比=3%—2（8%—6%）=—1%。奥肯定理说明了，在这种情况下，GDP将在原有的基础上下降1%，表明经济处于衰退中。
3、带技术进步的Solow模型
假定生产函数为希克斯（Hicks）中性技术进步条件下的产出增长型函数，其一般形式Solow模型为：
（1）
对A（t）作进一步假定，令，这里A0为基本的技术水平，表示由于技术进步而使产出增长的部分，称为技术进步增长率。于是（1）式变为：
（2）
对（2）式两边取对数并求导得到：
（3）
由于Y、L、K的实际数据都是离散的，故对（3）进行离散化，并令年，于是有：
（4）
表示产出的劳动力弹性，表示产出的资本弹性。于是（4）式实际上就是我们的科技进步贡献率的测算模型，注意到：
这里表示科技进步对产出增长的贡献率，表示劳动力增长对产出增长的贡献率，表示资本增长对产出增长的贡献率。从而有：
（5）
（5）式就给出了技术进步贡献率的测算公式。
通过假定一定规模报酬不变，即这一条件，比较合理有效地预防或克服了变量间可能出现的共线性。由（4）式，根据，有：
设，则有：
（6）
一般来讲，只要D1序列不存在异方差性，（6）式就是测算科技进步增长率所用的最终模型。
1=
1．3 计量经济模型的类别
一般的模型是广义回归模型，即假设
（0）
其中Ω是一般的正定矩阵，是样本的协方差矩阵。
假设Cov(,)= , 样本的协方差矩阵（the covariance matrix）是:
中应该有1+2+…+n = 未知的参数，再加上未知参数的个数，是一个只有n个样本点难以完成任务的，即使完成，效率和准确性是不高的。即不简化模型我们将一事无成。
模型 1. .
模型 1a. Large-sample.
模型2. 异方差（Heteroscedasticity）
即使这样，也有超过n个未知的参数要估计，所以，进一步假设组间异方差（group-wise）
模型3. 自相关（Autocorrelation）
We need to estimate 2 parameters (,) in it.
模型 4. ARCH (条件异方差) or GARCH（广义条件异方差）
All ’s are different from observations to observations, but there exist some relationships between them:
ARCH: (. ) 在条件Cov(,)=0下。
GARCH: (. =a+b+c+…)
1=
1．4 回归的本质
设随机变量是维随机向量，它是可以预先测量的，希望通过X预测Y，也就是说要寻找一个函数当X的观察值为x时，就把作为对Y的预测值。当然一般总希望一个好的预测，其均方预测误差应达到最小,即
(1)
某中min是对一切x的(可测)函数L(x)取极小,对此有
定理1当取作为条件数学期望
(2)
时,使得(1)式成立,即
(3)
且与具有最大相关,即
(4)
[证明](仅对连续型情形给出)
设的分布密度是的边际分布密度是关于的条件分布密度是
则关于的条件期望是
由于
(5) 因而
(6)
(6)右边第一项与无关,第二项大于等于零,它等于零的充要条件是
它表示当时,达到最小值。
在统计学上，我们称Y= 为Y关于X的回归曲线。
问题：与C=f（Y）+ 两者间的区别？
计量经济学数学基础知识
1、本科所学专业： 属 1）理科 2）文科 。
2、请在你学过的课程中打“√”：
1）高等数学 2）概率论 3）数理统计 4）数学分析
5）线性回归分析 6）中级计量经济学 7）随机过程 8）常微分方程
3、若将二次型转化成，则。
4、若矩阵求A-1。（略）
5、若矩阵，求A的秩、特征根及特征向量。
6、假设连续随机变量Z，它的概率密度函数为
， ，求E（Z），和Var（Z）。
7、设Z，Y的联合概率密度函数为
证明Z与Y的相关系数。
8、如果是相互独立的标准正态分布，那么服从何分币？又服从何分币？
9、，请写出在点处泰勒展开式。
10、设是一个随机样本，其总体分布为
，0＜x＜1
（1）利用矩方法求参数的估计量；
（2）求参数的极大似然ML估计量。
11、对教师如何上好《中级级计量经济学》的建议。
上课材料之二：
第二章 数学基础 (Mathematics)
第一节 矩阵(Matrix)及其二次型(Quadratic Forms)
第二节 分布函数(Distribution Function)，数学期望(Expectation)及方差(Variance)
数理统计（Mathematical Statistics）
第一节 矩阵及其二次型(Matrix and its Quadratic Forms)
矩阵的基本概念与运算
一个m×n矩阵可表示为：
矩阵的加法较为简单，若C=A+B，cij=aij+bij
但矩阵的乘法的定义比较特殊，若A是一个m×n1的矩阵，B是一个n1×n的矩阵，则C=AB是一个m×n的矩阵，而且，一般来讲，AB≠BA，但如下运算是成立的：
结合律（Associative Law） (AB)C=A（BC）
分配律（Distributive Law） A(B+C)=AB+AC
问题：(A+B)2=A2+2AB+B2是否成立？
向量（Vector）是一个有序的数组，既可以按行，也可以按列排列。 行向量(row vector)是只有一行的向量，列向量(column vector)只有一列的向量。
如果α是一个标量，则αA=[αaij]。
矩阵的转置矩阵(transpose matrix)记为，是通过把的行向量变成相应的列向量而得到。
显然()′=，而且（+）′=+，
乘积的转置（Transpose ofａ production ） ，。
可逆矩阵（inverse matrix），如果n级方阵(square matrix)A和B，满足AB=BA=I。则称A、B是可逆矩阵，显然，。如下结果是成立的：
。
特殊矩阵
1）恒等矩阵(identity matrix)
对角线上元素全为1，其余全为0，可记为I；
2）标量矩阵(scalar matrix)
即形如αI的矩阵，其中α是标量；
3）幂等矩阵(idempotent matrix)
如果矩阵具有性质，这样的矩阵称为幂等矩阵。
定理：幂等矩阵的特征根要么是1，要么是零。
4）正定矩阵（positive definite）和负定矩阵（negative definite），非负定矩阵(nonnegative ) 或 半正定矩阵（positive semi-definite ），非正定矩阵(nonpositive definite) 或 半负定矩阵（negative semi-definite）；
对于任意的非零向量，如有＞0（＜0），则称A是正（负）定矩阵；如有≥0（≤0），非负（非正）定矩阵。如果A是非负定的，则记为A≥0；如果是正定的，则记为A＞0。协方差矩阵是半正定矩阵，几个结论：
a）恒等矩阵或单位矩阵是正定的；
b）如果是正定的，则也是正定的；
c）如果是正定的，是可逆矩阵，则是正定的；
d）如果是一个n×m矩阵，且n＞m，，则是正定的，是非负定矩阵。
5）对称矩阵（symmetric matrix）；
如果=′，则称为对称矩阵。
矩阵的迹（trace）
一个n×n矩阵的迹被定义为它的对角线上的元素之和，记为，则，如下结论是显然的。
1） （是标量） 特例
2）
3）
4），特例
５）循环排列原则 tr(ABCD)=tr(BCDA)=tr(CDAB)=tr(DABC)
定理：实对称矩阵A的迹等于它的特征根之和。
因为A是实对称矩阵，故有在矩阵C，使得，其中，所以，。
矩阵的秩(rank)
一个矩阵A的行秩和列秩一定相等，一个矩阵的秩就可以定义为它的行秩或列秩，记为r(A)，不加证明，我们给出如下结果：
1）≤（行数、列数）
2）≤≤ EMBED ，其中A、B分别为m×n1、n1×n矩阵，特例：如果A、B为n×n矩阵，而且AB=0，则≤
3），其中是n×n的方阵
4）≤
5）设是n×n矩阵，且，则
6）设是n×n矩阵，且，则
统计量的矩阵表示
向量可理解为特殊的矩阵。是一个其元素都为1的n维列向量，即=（1，1，…，1），如果我们再假定，计量经济模型中的许多统计量就可以用矩阵的形式表示出来，很方便进行数学推导。
显而易见，，，样本的均值与方差的矩阵表示如下：
1）样本均值矩阵表示；
事实上即，而，；
2）样本方差矩阵表示
易知：。其中矩阵是一个每个元素都为的阶方阵，从而。
矩阵的对角线上的元素为，非对角线的元素为，是一个对称矩阵。
故样本方差：
。
定理：矩阵是幂等矩阵。
矩阵的二次型与多元正态分布
1）矩阵的二次型（Quadratic Forms）和线性变换（linear transferring）
设P是一数域，一个系数在数域P中的的二次齐次多项式
……………………………
（1）
称为数域P上的一个n元二次型，或者，在不致引起混淆时简称二次型。例如
就是有理数域上的一个三元二次型，为了以后讨论上的方便，在（1）中，＜的系数写在。而不简单地写成。
和在几何中一样，在处理许多其它问题时也常常希望通过变量的线性替换简化有关的二次型，为此，我们引入
定义1 设；是两组文字，系数在数域P中的一级关系式
（2）
称为由，到的一个线性替换，或简称线性替换，如果系数行列式
那么线性替换（2）就称为非退化的。
在讨论二次型时，矩阵是一个有力的工具，因此我们先把二次型与线性替换用矩阵来表示。
令
， ＜
由于
所以二次型（1）可以写成
……………………………………
（3）
把（3）的系数排成一个n×n矩阵
（4）
它就称为二次型（3）的矩阵，因为，，所以
我们把这样的矩阵称为对称矩阵，因此，二次型的矩阵都是对称的。
令
于是，二次型可以用矩阵的乘积表示出来，
故
应该看到，二次型（1）的矩阵的元素正是它的项的系数的一半，因此二次型和它的矩阵是相互唯一决定的，由此还能得到，若二次型
且，，则。
令
于是线性替换（2）可以写成
或者
我们知道，经过一个非退化的线性替换，二次型还是变成二次型，现在就来看一下，替换后的二次型与原来的二次型之间有什么关系，也就是说，找出替换后的二次的矩阵与原二次型的矩阵之间的关系。
设
（5）
是一个二次型，作非退化线性替换
（6）
我们得到一个的二次型
现在来看矩阵B与A的关系。
把（6）代入（5），有
容易看出，矩阵也是对称的，事实上，
由此，即得
这就是前后两个二次型的矩阵的关系，与之相应，我们引入
定义2 数域P上n×n矩阵A，B称为合同的，如果有数域P上可逆的n×n矩阵C，使
合同是矩阵之间的一个关系，不难看出，合同关系具有
1）反身性：；
2）对称性：由即得；
3）传递性：由即得
因之，经过非退化的线性替换，新二次型的矩阵与原二次型的矩阵是合同的。这样，我们就把二次型的变换通过矩阵表示出来，为以下的探讨提供了有力的工具。
最后指出，在变换二次型时，我们总是要求所作的线性替换是非退化的。从几何上看，这一点是自然的，因为坐标变换一定是非退化的，一般地，当线性替换
是非退化时，由上面的关系即得
这也是一个线性替换，它把所得的二次型还原。这样就使我们从所得二次型的性质可以推知原来二次型的一些性质。
定理：若A是实对称矩阵，则存在可逆矩阵C，满足：。
2）多元正态分布
a）二元正态分布
直观上，二元正态分布是两个正态随机变量的联合分布。如果两个随机变量X1和X2的联合密度函数为
这里＜，＜，＞0，＞0，＜＜1，
，
我们称X1和X2服从二元正态分布。通过计算可得X1和X2的边际分布分别为和。上式中的参数是X1和X2的相关系数。
如果X1和X2服从二元正态分布，那么在给定的条件下X2的条件分布也是正态的。它的条件密度函数为
这里
条件均值是的线性函数。并且，二元正态分布具有一个独特的性质，那就是如果，那么X1和X2是相互独立的。这是由于当时，我们有。这对于一般的两个随机变量是不对的。
有时如果把联合概率密度函数写成矩阵的形式，则从形式上来看就简单多了。记，那么二元正态概率密度函数可以写成如下的简单形式
这里
b）多元正态分布
，这就是均值为协方差矩阵为的多元正态分布，记为。
c）多元正态分布的二次型的分布
如果，那么
这里n是X的维数。我们可以简单地证明这个结果。由于是对称可逆矩阵，那么存在一个可逆的矩阵A，使得。我们有，所以。
幂等矩阵与二次型
1、幂等矩阵满足A2=A的矩阵称为幂等矩阵。
幂等矩阵可以是对称的，也可以是非对称的，但在我们计量统计学中，所研究的幂等矩阵都是对称的。与幂等矩阵的有关的结果有：
1）幂等矩阵的特征根要么是1，要么是零。
证明：设是A的特征根，则AE=，同时=A=A2=，故，从而或。
2）唯一满秩的对称幂等矩阵是单位矩阵。
证明：∵A2=A
即除了单位矩阵外，所有幂等矩阵是奇异的。
3）A是幂等矩阵，则I－A也是幂等矩阵，且秩（A）+秩（I－A）=n。
4）对称幂等矩阵的秩等于它的迹。
从而我们很容易知道M0的秩。
因M0的每个对角元素都是，因此。
5）的服从分布（如果
这是因为：和。
6） X是一个n×m的矩阵，秩（X）=m
则M是幂等矩阵。
微分及其矩阵的微分表示
1）微分的应用
微分的应用在经济学领域中被广泛地用来作近似计算。为了说明这种技巧如何运作，考虑一个例子。设P代表GDP平减指数，Y代表实际GDP，则名义GDP为P×Y，于是有：
（P×Y）变动的百分比的≈（P变动的百分比）+（Y变动的百分比）；
同样一个比率变动的百分比近似地是分子变动的百分比减去分母变动的百分比。例如：设Y代表GDP，而L代表人口数，则人均GDP为，则：
（Y/L）变动的百分比≈（Y变动的百分比）－（L变动的百分比）
问题1：1）上述2个近似公式在什么条件下成立？
2）推导上述两个公式
3）宏观经济中，GDP的确定由4个组成部分，即：GDP=C+I+G+NX。能否按如下公式计算GDP变动百分比：
GDP变动的百分比≈（消费C变动的百分比）+（投资I变为的百分比）+（政府购买G变动的百分比）+（净出口NX变动百分比）。
如果不能，哪边的值较大？为什么？
问题2:
In the country of Wiknam, the velocity of money is constant. Real GDP grows by 5 percent per year, the money stock grows by 14 percent per year, and the nominal interest rate is 11 percent . What is the real interest rate?
2）计量模型的推导
带技术进步的Solow模型
假定生产函数为希克斯（Hicks）中性技术进步条件下的产出增长型函数，其一般形式Solow模型为：
（1）
对A（t）作进一步假定，令，这里A0为基本的技术水平，表示由于技术进步而使产出增长的部分，称为技术进步增长率。于是（1）式变为：
（2）
对（2）式两边取对数并求导得到：
（3）
由于Y、L、K的实际数据都是离散的，故对（3）进行离散化，并令年，于是有：
（4）
表示产出的劳动力弹性，表示产出的资本弹性。于是（4）式实际上就是我们的科技进步贡献率的测算模型，注意到：
这里表示科技进步对产出增长的贡献率，表示劳动力增长对产出增长的贡献率，表示资本增长对产出增长的贡献率。从而有：
（5）
（5）式就给出了技术进步贡献率的测算公式。
通过假定一定规模报酬不变，即这一条件，比较合理有效地预防或克服了变量间可能出现的共线性。由（4）式，根据，有：
设，则有：
（6）
一般来讲，只要D1序列不存在异方差性，（6）式就是测算科技进步增长率所用的最终模型。
3、矩阵的微分
如果或写成，那么梯度向量为
二阶偏导数矩阵为
特别地，如果，那么
同样地可得
如果A是对称矩阵，那么
一般地，有
思考题：
1、证明：
2、证明矩阵M0是幂等矩阵。
3、如果L1、L2…Ln的百分比变动较小
如果Y1、Y2…Ym的百分比变动较小
则如下计算公式是否可行？
a）
b）
4. 矩阵的分块（partitioned matrix）
在表述一个矩阵的元素时——如构造一个方程组——将一些元素以子矩阵的形式进行分组有时是有用的，例如，我们可以写
A称为一个分块矩阵，子矩阵的下标和矩阵中的元素的下标按同样方式定义，一个普通的特殊情形是分块对角矩阵。
其中A11和A22都是方阵。
分块矩阵的加法和乘法
加法和乘法可以推广到分块矩阵，对一致的分块矩阵A和B有：
（1）
和
（2）
其中所有矩阵必须适于所用运算，对于加法，Aij和Bij的阶数必须相同；在乘法中，对所有的数对i和j，Aij的列数必须等于Bij的行数，即矩阵相乘所必需的条件都要得到满足。
两个经常遇到的情况是如下的形式：
（3）
和
（4）
分块矩阵的行列式
类似于对角矩阵的行列式，分块对角矩阵的行列式可以得到
（5）
一个一般的2×2分块矩阵的结果为：
（6）
大于2×2分块矩阵的结果极其繁琐，且在我们的工作中也不必要。
分块矩阵的逆
分块对角矩阵的逆是：
（7）
这可由直接相乘证实。
对一般的2×2分块矩阵，分块逆的一个形式是：
（8）
其中
这可以最简单地用逆去乘A来证实。由于计算的对称性，左上块可以写作：
问题：请推倒上面的公式（5）、（6）、（7）和（8）。
对均值的偏差
上述内容的一个有用的应用是如下的计算：假设我们从一个n个元素的列向量x开始。且令
我们关心的是A-1中的右下角元素，根据（8）中F2的定义，这将是
所以，逆矩阵中的右下角值是
现在，假设以含有若干列的矩阵X代替只有一列的x，我们要求[Z′Z]-1中的右下块，这里Z=[i,X]，类似的结果是
这暗示着[Z′Z]-1的右下块，K×K矩阵是第jk元素为的K×K矩阵的逆，这样，当一个数据矩阵含有一列1时，平方和及交叉积矩阵的逆的元素将用原始数据以对其相对应列均值的离差的形式计算得出。
上课材料之三：
分布函数(Distribution function)，数学期望(Expectation)
与方差(Variance)
本节主要介绍概率及其分布函数，数学期望，方差等方面的基础知识。
一、概率(Probability)
1、概率定义(Definition of Probability)
在自然界和人类社会中有着两类不同的现象，一类是决定性现象，其特征是在一定条件必然会发生的现象；另一类是随机现象，其特征是在基本条件不变的情况下，观察到或试验的结果会不同。换句话说，就个别的试验或观察而言，它会时而出现这种结果，时而出现那样结果，呈现出一种偶然情况，这种现象称为随机现象。
随机现象有其偶然性的一面，也有其必然性的一面，这种必然性表现为大量试验中随机事件出现的频率的稳定性，即一个随机事件出现的频率常在某了固定的常数附近变动，这种规律性我们称之为统计规律性。
频率的稳定性说明随机事件发生可能性大小是随机事件本身固定的，不随人们意志而改变的一种客观属性，因此可以对它进行度量。
对于一个随机事件A，用一个数P（A）来表示该事件发生的可能性大小，这个数P（A）就称为随机事件A的概率，因此，概率度量了随机事件发生的可能性的大小。
对于随机现象，光知道它可能出现什么结果，价值不大，而指出各种结果出现的可能性的大小则具有很大的意义。有了概率的概念，就使我们能对随机现象进行定量研究，由此建立了一个新的数学分支——概率论。
概率的定义
定义在事件域F上的一个集合函数P称为概率，如果它满足如下三个条件：
（i）P（A）≥0，对一切F
（ii）P（Ω）=1；
（iii）若，i=1,2…，且两两互不相容，则
性质（iii）称为可列可加性（conformable addition）或完全可加性。
推论1：对任何事件A有；
推论2：不可能事件的概率为0，即；
推论3：。
2、条件概率(Conditional Probability)
如果P（B）＞0，记，称P（A|B）为在事件B发生的条件下事件A发生的条件概率。
转化后有：如果（P（A）＞0），称为概率的乘法原理。
推广后的乘法原理：
其中＞0。
3、全概率公式与贝叶斯（Bayes）公式
设事件A1，A2，…，An……是样本空间Ω的一个分割，即AiAj=φ，i≠j，而且：。
从而，这里AiB也两两互不相容。
则。
这个公式称为全概率公式。
由于
故
再利用全概率公式即得
这个公式称为贝叶斯公式。
贝叶斯公式在概率论和数理统计中有着多方面的应用，假定A1，A2，…是导致试验结果的“原因”，P（Ai）称为先验概率，它反映了各种“原因”发生的可能性大小，一般是以往经验的总结，在这次试验前已经知道，现在若试验产生了事件B，这个信息将有助于探讨事件发生的“原因”，条件概率P（Ai|B）称为后验概率，它反映了试验之后对各种“原因”发生的可能性大小的新知识。
4、事件(Random event)独立性(Independence)
1）两个事件的独立性
定义 对事件A及B，若
P（AB）=P（A）P（B）
则称它们是统计独立的，简称独立的。
推论1 若事件独立，且P（B）＞0，则
P（A|B）=P（A）
[证明]由条件概率定义
因此，若事件A，B相互独立，由A关于B的条件概率等于无条件概率P（A），这表示B的发生对于事件A是否发生没有提供任何消息，独立性就是把这种关系从数学上加以严格定义。
推论2 若事件A与B独立，则下列各对事件也相互独立：
[证明] 由于
所以与B相互独立，由它立刻推出与相互独立，由又推出A，相互独立。
2）多个事件的独立性
定义 对n个事件A1，A2，…，An，若对于所有可能的组合1≤i＜j＜…≤n成立着
则称A1，A2，…An相互独立。
这里第一行有个式子，第二行有个式子，等等，因此共应满足
EMBED EMBED
个等式。
二、随机变量(Random Variable)和概率分布函数(Probability Distribution Function)
1、随机变量(Random Variable)
如果A为某个随机事件，则一定可以通过如下示性函数使它与数值发生联系：
这样试验的结果就能有一个数来表示，这个数是随着试验的结果的不同而变化，也即它是样本点的一个函数，这种量以后称为随机变量，随机变量可分为离散型随机变量和连续型随机变量。
2、概率分布函数（=probability density function）
称F（x）=P{＜x}，＜x＜为随机变量的分布函数cdf，对于连续型随机变量，存在可能函数f(x)，使
，f（x）称为随机变量的（分布）密度函数（density function）。
3、随机向量（Random Vector）及其分布
在有些随机现象中，每次试验的结果不能只用一个数来描述，而要同时用几个数来描述。试验的结果将是一个向量（Χ1，Χ2，…Χn），称n维随机向量。
随机向量的联合分布函数也有离散型与连续型的分别，在离散型场合，概率分布集中在有限或可列个点上，多项分布，就是一个例子；在连续型场合，存在着非负函数f(x1,x2,…xn)，使
这里的f(x1，…，xn)称为密度函数，满足如下两个条件
≥0
一般地，若(ξ,η)是二维随机向量，其分布函数为F(x,y)，我们能由F(x,y)得出ξ或η的分布函数，事实上，
＜＜＜
同理
＜
F1(x)及F2(y)称为F(x,y)的边际分布函数（Marginal Distribution Function）。
[例] 若F(x,y)是连续型分布函数，有密度函数f(x,y)，那么
因此F1(x)是连续型分布函数，其密度函数为
同理F2(x)是连续型分布函数，其密度函数为
f1(x)及f2(y)的边际分布密度函数。
[二元正态分布] 函数
这里a,b,，r为常数，＞0，＞0，|r|＜1，称为二元正态分布密度函数。
定理：二元正态分布的边际分布仍为正态分布。
条件分布(Conditional Distribution)
离散型：若已知ξ=xi，（p1(xi)＞0）则事件{η=yi}的条件概率为
这式子定义了随机变量η关于随机变量ξ的条件分布。
连续型：在给定ξ=x的条件下，η的分布密度函数为
同理可行在给定η=y的条件下，ξ的分布密度函数为
这里当然也要求f2(y)≠0
定理：二元正态分布的条件分布仍然是正态分布
其均值 是x的线性函数，这个结论在一些统计问题中很重要。
4、随机变量的独立性
定义 设ξ1，…，ξn为n个随机变量，若对于任意的x1，…，xn成立
＜＜＜＜ （1）
则称是相互独立的。
若的分布函数为，它们的联合分布函数为，则（1）等价于对一切x1,…,xn成立
在这种场合，由每个随机变量的（边际）分布函数可以唯一地确定联合分布函数(Joint Distribution Function)。
对于离散型随机变量，（1）等价于任何一组可能取的值（x1,…,xn）成立
对于连续型随机变量，条件（1）的等价形式是对一切x1,…,xn成立
这里f(x1,…,xn)是联合分布密度函数(Joint density function)，而fi(xi)是各随机变量的密度函数。
此外，注意到若相互独立，则其中的任意r(2≤r＜n）个随机变量也相互独立，例如，我们证明相互独立。
＜＜＜＜＜
＜＜＜
＜＜
随机变量的独立性概念是概率论中最基本的概念之一，也是最重要的概念之一。
5、随机向量变换(Transformation)及其分布
若的密度函数为，求的分布，这时有
＜＜
（1）
若对存在唯一的反函数，且的密度函数为，那么
（2）
比较（1）与（2）可知
其中J为坐标变换的雅可比行列式(Jacobian Determinant)
这里，我们假定上述偏导数存在而且连续。
随机变量的函数的独立性
定理 若ξ1，…，ξn是相互独立的随机变量，则也是相互独立的，这里是任意的一元函数。
三、数字期望及方差
1、数学期望
一般地，如果X是随机变量，它的概率密度函数为f(x)，那么它的期望值为
在许多问题中我们不仅需要知道E[X]，而且还想知道X的某个函数g(X)的数学期望。
我们可以用同样的方法定义多元随机变量的函数的数学期望。假设随机变量X1，X2，…Xn的联合概率密度函数为，，那么
如果随机变量是离散的，那么上面公式里的积分号用和号代替。
利用这个定义我们可以得到下列结果
（1）如果a0,a1…,an是常数，那么
（2）如果X1，X2…，Xn是相互独立的随机变量，那么
2、方差(Variance)与协方差(Covariance)
一个随机变量X的r阶中心矩被定义为记为。如果被称为X的分布的方差或X的方差，常常记为。的正平方根被称为X的标准差。关于方差，我们有一个有用的公式
X和Y之间的协方差，记为或
X和Y之间的协方差是对它们之间的相关性的一个测度。如果X和Y是相互独立的，那么=0。这导致下面的相关系数的定义，X和Y之间的相关系数记为被定义为
由这个定义，的取值一定在-1和1之间。如果X和Y是相互独立的，那么=0。如果Y=aX+b，这里a,b是不等于0的常数，那么|ρXY|=1，此时，我们说X和Y是完全相关的。X和Y的值越接近线性关系，|ρXY|值接近1。
利用这些定义，我们可以得到下面的结果：如果a0,a1…,an是常数，X1，X2…，Xn是随机变量，那么
特别地，有
3、随机向量的协方差矩阵
对于随机向量而言，我们可以相似地定义它的期望和协方差矩阵。用X表示随机变量组成的向量，即
假设。那么X的期望值为
也即是一个随机向量的期望值等于它的各个分量的期望值组成的向量。
我们定义一个随机向量X的协方差矩阵(Covariance Matrix)如下
X的协方差矩阵常常记为，它是一个正定矩阵，如下是证明：
对于任意的不为零的向量， 我们构造一个变量
那么Y的方差
，即证明了是非负定的。
线性变换后的向量的均值与协方差
如果P是一个m×n常数矩阵，m≤n，那么Z=PX是一个m维随机向量，可以得到
a）
b）
四、条件分布(Conditional Distribution)、条件数学期望(Conditional Expectation)及其条件方差（Conditional Variance）
条件均值（Conditional Mean）是条件分布的均值，其定义为
条件均值函数。
条件方差（Conditional Variance）
条件方差是条件分布的方差：
或
（离散时）
利用下式可以简化计算
并且有：
记号Ex[·]表示对X的值的期望。
几个重要的公式
1）、
思考：是否成立？
2）、
3）、方差分解公式(Decomposition of Variance )
推导：分两步，先证明
i）
这是因为：
进而有
我们考察 EMBED
∴
ii）对于任意Y有：
因为X与E（Y|X）是不相关，故
而
我们得到方差分解公式：
方差分解结果表明，在双变量分布中，y的变差出自两个来源：
1、由于E[y|x]随x变化的事实所产生的变差为回归方差（Regression Variance）：
回归方差=Varx[E[y|x]]
2、由于在每一条件分布中，y都围绕条件均值变化而产生的变差为残差方差(Residual Variance)：
残差方差=Ex[Var[y|x]]
这样， Var[y]=回归方差 + 残差方差。
由方差分解公式，我们得到，这个是非常重要的公式，它常被应用到寻求最小方差估计量的方法中.我们可以看一个实际的例子。
[例子] 设X和Y服从二元正态分布联合分布，我们已经知道，在给定X的条件下，其条件分布仍然是正态分布，并且
则，然而
EMBED
=
在－1＜ρ＜1条件下，＞。满足方差分解公式，并且我们很容易知道， EMBED 。
六、极限分布理论(Limit Distribution Theory)
1 几个极限的定义
1）分布函数的弱收敛(Weak Convergence of the Distribution Function)
定义1 对于分布函数列{Fn(x)}，如果存在一个非降函数F(x)使
在F(x)的每一连续点上都成立，则称Fn(x)弱收敛于F(x)，并记为。
中心极限定理就是一个分布函数弱收敛的例子。
2）随机变量的收敛性(Convergence of the Random Variable)
概率论中的极限定理研究的是随机变量序列的某种收敛性，对随机变量收敛性的不同定义将导致不同的极限定理，而随机变量的收敛性的确可以有各种不同的定义，理解这些不同的极限定义，对于我们分析线性回归的大样本结果很重要。现在就来讨论这个问题。
a）依分布收敛(Convergence in Distribution)
分布函数弱收敛的讨论启发我们引进如下定义。
定义2（依分布收敛） 设随机变量ξn、ξ的分布函数分别为Fn(x)及F(x)，如果，则称{ξn}依分布收敛于ξ，并记为。
b）依概率收敛(Convergence in Probability)
定义3（依概率收敛） 如果
对任意的ε＞0成立，则称依概率收敛于，并记为。
c）r-阶收敛
定义4（r-阶收敛） 设对随机变量＜，＜，其中r＞0为常数，如果 ，则称-阶收敛于，并记为。
下面定理揭示了r-阶收敛与依概率收敛的关系。
定理8 。
2）极限的应用
贝努里分布与普松分布
a）近似计算
在n次贝努里试验中正好出现k次成功的概率b（k;n,p）：
其中q=1-p。b(k;n,p)，k=0,1,2,…，n称为二项分布。
在很多应用问题中，我们常常遇到这样的贝努里试验，其中，相对地说，n大，p小，而乘积大小适中，在这种情况下，有一个便于使用的近似公式。
定理（普松） 在贝努里试验中，以pn代表事件A在试验中出现的概率，它与试验总数n有关，如果，则当时，
b) 中心极限定理(Central Limit Theorem)
若X1，X2，…Xn，…是一串相互独立相同分布的随机变量序列，且
我们来讨论标准化随机变量和
的极限分布。
林德贝格与勒维（Lindeberg and Levy）建立了下列中心极限定理。
定理2（林德贝格-勒维） 若0＜＜，则
＜
2 契比雪夫（Chebyshevs Inequality）不等式
对于任何具有有限方差的随机变量X，都有
≥≤ （1）
其中是任一正数。
[证明] 若F(x)是X的分布函数，则显然有
≥
≤
≤ （2）
这就证得了不等式（1），有时把（1）改写成
＜≥
或
≤ （3）
契比雪夫不等式利用随机变量X的数学期望EX及方差=对X的概率分布进行估计。例如（3）断言不管X的分布是什么，X落在中的概率不小于，因为契比雪夫不等式只利用数学期望及方差就描述了随机变量的变化情况，因此它在理论研究及实际应用中很有价值。
3、大数定律
定义 若ξ1,ξ2,…,ξn,…是随机变量序列，令
如果存在这样的一个常数序列a1,a2,…,an,…，对任意的ε＞0，恒有
＜
则称序列{ξn}服从大数定律（或大数法则）。
契比雪夫大数定律 设X1，X2，…，Xn，…是由两两不相关的随机变量所构成的序列，每一随机变量都有有限的方差，并且它们有公共上界C，即
≤C，≤C，…，≤C，…
则对任意的＞0，皆有
＜=1 （4）
[证明] 因为{ξk}两两不相关，故
≤
再由契比雪夫不等式得到
＜≥≥
所以
1≥＜≥
于是，当时有（4），因此定理得证。
贝努里大数定律 设是n次贝努里试验中事件A出现的次数，而p是事件A在每次试验中出现的概率，则对任意＞0，都有
＜=1
[证明] 定义随机变量 EMBED ，则
， ≤
而
≤≤
贝努里大数定律建立了在大量重复独立试验中事件出现频率的稳定性，正因为这种稳定性，概率的概念才有客观意义，贝努里大数定律还提供了通过试验来确定事件概率的方法，既然频率与概率p有较大偏差的可能性很小，那么我们便可以通过做试验确定某事件发生的频率并把它作为相应概率的估计，这种方法称为参数估计，它是数理统计中的主要研究课题之一，参数估计的重要理论基础就是大数定律。
七、实例
在一次全民选举中，总共有5个候选人A、B、C、D、E竞选总统，经全民投票后，结果如下：
ABCDE 33%
BDCEA 16%
CDBAE 3%
CEBDA 8%
DECBA 18%
ECBDA 22%
问谁是总统？
请制定一些合理的选举规则，使5个候选人都有可能当选。
上课材料之四
第三节 数理统计（Mathematical Statistics）
数理统计的方法及考虑的问题不同于一般的资料统计，它更侧重于应用随机现象本身的规律性来考虑资料的收集、整理和分析，从而找出相应的随机变量的分布律或它的数字特征。由于大量的随机试验必能呈现出它的规律性，因而从理论上讲，只要对随机现象进行足够多次观察，被研究的随机现象的规律性一定能清楚地呈现出来，但是实际上所允许的观察永远只能是有限的，有时甚至是少量的。因此我们所关心的问题是怎样有效地利用有限的资料，便能去掉那些由于资料不足所引起的随机干扰，而把那些实质性的东西找出来，一个好的统计方法 就在于能有效地利用所获得的资料，尽可能作出精确而可靠的结论。
1、数理统计的基本概念
1）母体和子样
我们把所研究的全部元素组成的集合称为母体或总体，而把组成母体的每个元素称为个体。
为了对母体的分布律进行各种研究，就必需对母体进行抽样观察。一般来说，我们还不止进行一次抽样观察，而要进行几次观察。设X1，X2，…Xn是所观察到的结果，显然它是随机变量，称它为容量是n的子样。把X1，X2，…Xn所取值的全体称为子样空间。
我们抽取子样的目的是为了对母体的分布律进行各种分析推断，因而要求抽取的子样能很好地反映母体的特性，这就必须对随机抽样的方法提出一定的要求。通常提出下面两点：
（i）代表性：要求子样的每个分量Xi与所考察的母体X具有相同的分布F(x)；
（ii）独立性：X1，X2，…，Xn为相互独立的随机变量，也就是说，每个观察结果即不影响其它观察结果，也不受其它观察结果的影响。
满足上述两点性质的子样称为简单随机子样，获得简单随机子样的抽样方法称为简单随机抽样。
对于简单随机子样X=（X1，X2，…，Xn），其分布可以由母体的分布函数F（x）完全决定，X的分布函数是。
2）统计量
一般来说，子样的某种不含任何未知参数的函数，在统计学中都可以称为统计量。
统计量：
非统计量：
3）常用的统计量—子样矩
r阶矩（或r阶原点矩）：为子样均值。
r阶中心矩：为子样方差。
总结：对于母体，我们有母体均值μ，母体方差，母体的k阶原点矩和k阶中心矩；
对于子样，我们有子样均值，子样方差，子样的r阶矩Ar和r阶中心矩Br。
我们可以得到如下结论：
定理1 设母体服从分布F(x)，X=（X1，…，Xn）是从该母体中抽得的一个简单随机子样，如果F(x)的二阶矩阵存在，则对子样均值，有
和
[证明]
思考：是否存在更简单的证明方法？
定理2 对于子样方差，其均值
证明：因为，所以
（其中）
4）顺序统计量、经验分布函数与子样矩
设（X1，…，Xn）是从母体 中抽取的一个子样，记（x1,x2…,xn）是子样的一个观察值，将观察值的各分量按大小递增次序排列，得到
≤≤…≤
当（X1，…，Xn）取值为（x1,…,xn）时，我们定义取值为。称由此得到的为（X1，…，Xn）的一组顺序统计量。显然≤≤…≤，，即的观察值是子样观察值中最小的一个，而，的观察值是子样观察值中最大的一个。
记
显然0≤≤1，且作为x的函数是一非减左连续函数，把看作为x的函数，它具备分布函数所要求的性质，故称为经验分布函数（或子样分布函数）。
经验分布函数也是子样的函数，它与子样矩之间具有下列关系：设（x1,x2,…,xn）是子样观察值，是对应的经验分布函数，则有：
2、正态母体子样的线性函数的分布
定理1 设X1，…，Xn是抽自正态母体的一个子样，统计量U是子样的任一确定的线性函数
（1）
则U也是正态随机变量，均值、方差分别为
（2）
（3）
在（1）式中，特别地取，此时行到的U是子样均值。
由此可见，具有与X相同的均值，但是它更向数学期望集中，集中程度与子样容量n的大小有关。
定理2 设
（1）X1，X2…，Xn是独立同分布随机变量，同服从于正态分布；
（2）矩阵，记
则Y1，…，Yp也是正态随机变量，均值、方差、协方差分别为：
。
。
特别地，当，且A是一n×n正交矩阵时，Y1，Y2…，Yp也是相互独立且同服从于分布的随机变量。
3、几种与正态分布N(0,1)有关的常用分布
1）x2-分布
定义 设X1，X2，…，Xn是相互独立，且同服从于N(0,1)分布的随机变量，
所服从的分布为x2-分布，称为自由度为n的x2-变量。
定理 设和，且X1，X2相互独立，则。
2）t-分布
设，且X和Y相互独立，则称随机变量
所服从的分布为t-分布。n称为它的自由度，且记T～t(n)。
3）F-分布
定义 设X和Y是相互独立的x2-分布随机变量，自由度分别为m和n，则称随机变量
所服从的分布为F-分布，（m,n）称为它的自由度，且通常写为F～F（m,n）。
推论 如果，且相互独立，则分布。
推论 如果X～F(m,n)分布，则1/X～F(n,m)分布。
结论 设X1，…，Xm和Y1，…，Yn分别是从正态母体中所抽取的独立子样。则
服从于t(m+n－2)分布。
***[练习] 设X1，…，Xn是从正态分布的母体中抽取的简单子样，分别表示它的子样均值和子样方差。又设，且与X1，…，Xn独立。试求统计量
（提示：服从t(n-1)分布）
4、统计量的分布与独立性
定理 若x～N[0,I]且的两个幂等二次型，则时是独立的。
[证明] 由于A和B都是对称的和幂等的，，所以二次型是：
和
两个向量都有零均值向量，所以X1和X2协方差矩阵是
由于AX和BX都是一个正态分布随机向量的线性函数，因而它们也都服从正态分布，零协方差矩阵暗示它们是统计上独立的。所以，它们的函数形式是独立的，这就证明了两个二次型统计量的独立性。
[例] 易知
因为
故 是相互独立的。
5、线性变换及二次型的独立性
定理 标准正态向量的一个线性函数Lx和一个幂等二次型，当LA=0时两个统计量是独立的。
证明遵循与对两个二次型的证明同样的逻辑，将写作，变量Lx和Ax的协方差矩阵是LA=0，这证实了这两个随机向量的独立性，线性函数和二次型的独立性就可以立即推导。
[例]
所以上面两个统计量是相互独立的。
从而
总结：设X1,X2,…,Xn是从正态母体中抽取的一个简单子样。记
则有 （1）；
（2）；
（3）
[证明] 因为
所以
服从自由度为n－1的t-分布。
6、参数估计的常用方法
在参数估计问题中，我们总是首先假设母体X具有一族可能的分布F，且F的函数形式是已知的，仅包含有几个未知参数，记θ是支配这分布的未知参数（可以是向量），在统计学上，我们把分布F的未知参数θ的全部可容许值组成的集合称为参数空间，记为。
我们用F(·；θ)表示X的分布，又称集合{F(·；θ),θ∈}为X的分布函数族。类似地，如果X是连续型随机变量，我们有概率密度函数族，如果X是离散型随机变量，我们有概率分布族。
一个参数估计问题就是要求通过子样估计母体分布所包含的未知参数θ。
一般地，设母体具有分布族{F(·；θ),θ∈}，X1，X2…，Xn是它的一个子样。点估计问题就是要求构造一个统计量T（X1，…Xn）作为参数θ的估计（T的维数与θ的维数相同）。在统计学上，我们称T为θ的估计量。
1）矩方法
设{F(·；θ),θ∈}是母体X的可能分布族，θ=（θ1，…，θk）是待估计的未知参数，假定母体分布的k阶矩存在，则母体分布的v阶矩
1≤v≤k
是θ=（θ1，…，θk）的函数。
对于子样X=（X1，…，Xn），其v阶子样矩是
1≤v≤k
现在用子样矩作为母体矩的估计，即令
（1）
这样，（1）式确定了包含k个未知参数θ=（θ1，…，θk）的k个方程式。
[例] 母体均值和方差的矩估计。
设X1，…，Xn是一子样，设母体的二阶矩存在，则有。用矩方法得方程组
解之得
所以母体均值和方差的矩估计分别是子样均值和子样方差。
运用以前的有关定理有
和
由此可见，作为的估计它是在的真值的周围波动，且其平均值恰好是真值，这一性质在统计学上称为无偏性。
2）最大似然估计方法
一般地，设母体具有分布密度族{F(x;θ),θ∈}，其中θ=（θ1，θ2…，θk）是一个未知的k维参数向量，需待估计，又设（x1，…，xn）是子样（X1，…，Xn）的一个观察值，那么子样（X1，…，Xn）落在点（x1，…，xn）的邻域里的概率是。
为方便起见，记
（θ可以是向量）它看作为θ的函数称为θ的似然函数。
如果选取使下式
（2）
成立的作为θ的估计，则称是θ的最大似然估计。
由于logx是x的单调函数，所以（2）式可等价地写为：
如果是开集，且关于θ可微，则满足（4）式的解也一定满足下列似然方程
[例] 设X=（X1，…，Xn）是取自均匀分布
的子样，试求θ的最大似然估计。
此时
（注意：条件0＜xi≤θ，i=1,…,n和条件0＜是等价的。
显然当取到最大值，所以是θ的最大似然***估计。可以计算出。
7、估计的有效性
1）无偏估计
定义 一般地，如果T(X)是未知参数θ的一个估计量，且满足下面的关系式，
则称T（X）是θ的无偏估计。
2）有效估计
定义 对两个无偏估计量，若的方差小于的方差，即＜，则称更有效。
判别方式：在多数情形中，比较基于两个估计量的协方差矩阵，若—是非负定矩阵，则更有效。
3）渐近无偏估计
如果有一列θ的估计满足下面的关系式
则称Tn是θ的渐近无偏估计。
4）一致估计
设X1，…，Xn是取自分布族的子样，Tn=Tn(X1，…，Xn)是θ的一个估计。如果序列{Tn}随机收敛到真参数值θ，即对任意＞0，
＞
则称Tn是θ的一致估计。
5）最小方差无偏估计
一般地若T1是θ的一个无偏估计，关于θ的任一无偏估计T2成立下式
≤
则称T1是θ的最小方差无偏估计。
6）线性估计
如果估计T是子样的线性函数，即T可以表示为，其中a1,…,an是固定常数，则称T为线性估计。类似地可以定义，如果T是线性估计，且满足无偏性条件，则T称为线性无偏估计；如果UL表示θ的具有有限方差的线性无偏估计的全体所组成的集合，而对T0∈UL，有
≤，对一切
则称T0为θ的最小方差线性无偏估计。
高斯—马尔科夫定理
在线性无偏估计量中，最小二乘估计量具有最小方差。
7）克拉美—劳（Cramer-Rao）下界
克拉美—劳（Cramer-Rao）下界。假定x的密度满足一定的正则条件，参数θ的一个无偏估计量的方差将大于等于：
量I(θ)是样本的信息数。
再考虑一个多变量情形。若θ是一个参数向量，I(θ)是信息矩阵。
克拉美—劳定理，任何无偏估计量的方差矩阵与信息矩阵的逆[I(θ)]－1
的差将是一个非负定矩阵，其中
即
这个矩阵的逆矩阵[I(θ)]-1称为C-R下界或CRLB。
8、假设检验
1）正态母样参数检验
前面我们介绍了两种常用的参数估计方法。实践中还提出了统计推断问题。
先看一个例子
[例] 某厂有一批产品，共一万件，须经检验后方可出厂。按规定标准，次品率不得超过5%，今在其中任意选取50件产品进行检查，发现有次品4件，问这批产品能否出厂？
在这个例子中，我们事先对这批产品次品率的情况一无所知，当然，从频率稳定性来说，我们可以用被检查的50件产品的次品率4/50来估计这整批产品的次品率，但是我们目前所关心的问题是：如何根据抽样的次品率/n（=4/50）推断这批产品的次品率是否超过了5%，也就是说，首先我们可以对整批产品作一种假设：次品率低于5%，然后利用子样的次品率/n来检验我们所作这一假设的正确性。
我们把任何一个在母体的未知分布上所作的假设称为统计假设。并记为H0。对上面所举的例子中，统计假设分别是：H0:p（次品率）≤。
由于母体的真分布完全被几个未知参数所决定。因此任何一个关于母体未知分布的假设总可以等价地给出在它的未知参数上。这种仅涉及到母体分布中所包含的几个未知参数的统计假设称为参数假设。
对于一个假设检验问题，首先是根据实际问题的要求提出统计假设H0，但这仅是第一步，提出统计假设的目的是要求进一步推断所提出的统计假设H0是否正确。这就要求建立推断统计假设H0的方法。在统计学上，称判断给定统计假设H0的方法为统计假设检验，或简称为统计检验。
如果一个统计问题中仅提出一个统计假设， 而且我们的目的也仅仅是判断这一个统计假设是否成立，并不同时研究其它统计假设。这类检验问题称为显著性检验。
显著性检验问题的处理一般步骤是：
（1）建立统计假设H0；
（2）构造一个合适的统计量U和从子样观察值计算出统计量U的观察值u；
（3）规定一个显著水平α（一般取或），求出在H0成立条件下能使PH0{|U|≥u0}≤α满足的值u0；
（4）比较观察值u和u0，如果|u|≥u0，则拒绝设H0。
显然，寻找检验统计量U的分布，至少对于给定的α要找出满足PH0{|U|≥u0=α的临界值u0是很重要的。按进行检验时所取的子样容量的大、小，分为小样和大样两类问题，对于小样的显著性检验，需要给出检验统计量U的精确分布，而对于大样问题可利用U的极限分布作为近似。
正态母体参数的显著性检验可总结如下表1。
表1 正态母体参数的显著性检验
检验参数
假设H0
统 计 量
分 布
μ
μ=μ0（σ=σ0）
N(0,1)
μ1=μ2（σ1,σ2已知）
μ=μ0σ2＞0
t(n－1)
μ1=μ2，σ1=σ2
t(m+n－2)
σ2
σ=σ0
x2(n－1)
F(m－1,n－1)
例1的解：
为简单起见，我们可将此问题归结为希望利用次品率v/n来检验母体次品率p是否满足假设H0:p=p0(=)。
用Y记母体元素的指标，有
Y
则在假设H0成立时P{Y=0}=1－p0，P{Y=1}=p0；EY=p0，Var（Y）=p0(1－p0)，设X1，…，Xn是一子样，则
其中表示子样中的次品数。
由中心极限定理知道，在H0(p=p0)成立的条件下，
（1）
渐近于N（0，1）分布，因此当n较大时（一般在30以上），可把（1）式决定的U近似地作为正态变量来处理。
现在p0=, n=50, =4,代入（1）式得
对α=，查表得uα/2=，这时因
|u|=＜=uα/2
所以不能拒绝假设H0（p=）。
2）正态母体参数的置信区间
在许多实际问题中，我们往往希望通过子样的观察给出一个范围，便得这个范围能按足够大的概率（给定的）包含我们所感兴趣的参数，在统计学上，我们称这个范围叫置信区间（或置信域），这类问题称为区间估计问题。
参数的置信区间与参数的假设检验之间有着密切的联系。
可以直接正从态母体参数的各种检验法构造正态母体参数的各种置信区间。
正态母体参数的各科置信区间的情况可总结如下表2。
表2 正态母体参数的置信区间
待估
参数
条件
置信区间下限
置信区间上限
对应的检验统计量
μ
单
子
样
σ=σ0
σ未知
μ1－μ2
双
子
样
已知σ1=σ2但数值未知
σ2
单
子
样
双
子
样
3）联合置信域
下面我们讨论正态分布均值和方差的联合置信域。
（μ,σ2）的联合置信域可以运用的联合分布来构造。因为是独立的，因此，如果我们希望寻找置信水平为的置信域，我们可以找到数a,和c1,c2，使得
＜＜
和
＜＜
联合概率是
＜＜＜＜
解得：
＜＜＜ （1）
由此可见，的置信度为的联合置信域是（1）式大括号内不等式对所给出的范围。
4）广义似然比检验
设X=(X1,…,Xn)是从母体中抽取的子样，其可能分布族{f(x;θ),θ}，其中θ（可以是向量）是未知参数（当母体是连续型变量时f表示分布密度，当母体是离散型变量时f表示概率分布）。要求检验假设H0：=θ0。这里应指出，θ0有时是表示一个集合，如在运用t-检验法检验假设H0:μ=μ0时，那里
＜＜＞
＞
它是一个未知参数的集合而不是一个单点。
现在我们引进一个统计量：
习惯上称λ(x)为广义似然比，显然它是子样的函数，不依赖于未知参数θ。由于，所以
0≤λ(x)≤1
类似于最大似然原理，如果λ(x)取值较小，这说明当H0为真时观察到样点x的概率比H0不真时观察到样点x的概率要小得多，此时我们有理由怀疑假设H0不真。所以从广义似然比出发，该检验问题是当下式成立时拒绝H0，
λ(x)≤λ0 （1）
其中λ0的选取是使得下式成立，
，对一切。 （2）
给出的检验法称为水平为α的广义似然比检验。当θ0是一个单点时可写为
进一步分析这样一个参数假设的显著性检验过程，就会发现有一系列问题有待解决。如由于采取接受或拒绝假设H0的判断是根据子样观察值作出的，而子样是随机变量。子样观察值的出现带有随机性，因此判断有可能发生错误。则能发生那些类型的错误和发生各类错误的概率有多大？
可能犯下面两种类型的错误：当原假设H0为真的时候，即θ的真实值落在中时，作出拒绝H0的决策a1——它称为第一类错误；另一种错误是当备选假设为真时，即θ的真实值落在之中时，作出接受原假设H0的决策a0——它称为第二类错误（见图1）。这两类错误所造成的影响常常很不一样。例如我们要求检验病人是否患有某种疾病。若我们取原假设是该人患此种疾病，则第二类错误（无病当作有病）造成由于使用不必要的药品而引起病人的痛苦和经济上的浪费，但第一类错误（有病当作无病）就有可能导致死亡。
H0为真
H1为真
接受H0
正 确
第Ⅱ类错误
拒绝H0
第Ⅰ类错误
正 确
图1
当然，我们希望所作出的检验能使得犯这两种类型错误的概率同时尽可能地小，最好全为零，但实际上这是不可能的，当子样的容量（即观察个数）给定后，犯这两种类型错误的概率就不能同时被控制。
上课材料之五
第四章 古典线性回归模型
在引论中，我们推出了满足凯恩斯条件的消费函数与收入有关的一个最普通模型：C=α+βX+ε，其中α＞0，0＜β＜1ε是一个随机扰动。这是一个标准的古典线性回归模型。假如我们得到如下例1的数据
例1 可支配个人收入和个人消费支出
年份
可支配收入
个人消费
1970
1971
1972
1973
1974
1975
1976
1977
1978
1979
来源：数据来自总统经济报告，美国政府印刷局，华盛顿特区，1984。
（收入和支出全为1972年的十亿美元）
一、线性回归模型及其假定
一般地，被估计模型具有如下形式：
yi=+βxi+εi，i=1,…,n,
其中y是因变量或称为被解释变量，x是自变量或称为解释变量，i标志n个样本观测值中的一个。这个形式一般被称作y对x的总体线性回归模型。在此背景下，y称为被回归量，x称为回归量。
构成古典线性回归模型的一组基本假设为：
1. 函数形式：yi=+βxi+εi，i=1,…,n,
2. 干扰项的零均值：对所有i，有：E[εi]=0。
3. 同方差性：对所有i，有：Var[εi]=σ2，且是一个常数。
4. 无自相关：对所有i≠j，则Cov[εi,εj]=0。
5. 回归量和干扰项的非相关：对所有i和j有Cov[xi,εj]=0。
6. 正态性：对所有i，εi满足正态分布N（0，）。
模型假定的几点说明：
1、函数形式及其线性模型的转换
具有一般形式
对任何形式的g(x)都符合我们关于线性模型的定义。
[例] 一个常用的函数形式是对数线性模型：
。
取对数得：
。（）
这被称作不变弹性形式。在这个方程中，y对于x的变化的弹性是
，
它不随x而变化。与之相反，线性模型的弹性是：
。
对数线性模型通常用来估计需求函数和生产函数。
尽管线性模型具有巨大的灵活性，但在实际中存在着大量的非线性模型的形式。
例如，任何变换也不能将
和（0＜＜1）
转化为线性回归模型。
2、回归量
对于回归量即解释变量我们有两种处理方法，第一种将X设定为非随机变量，第二种方法将X设定为随机变量。
1）当X为非随机变量
xi的值在yi的概率分布中是已知的常数。这条假定暗示yi的每一个值都是一个概率分布的观察值，这个概率分布具有均值
和方差
。
此外，有必要假定，对n≥1
是一个有限正数，这个假定被称作识别条件，若xi没有任何变化，我们所有的观测值将落在一条垂直线上，我们的观测数据将不允许我们作出关于回归+βx的任何推断。这个识别条件等同于子样的极差max(X1,…,Xn)－min(X1,…,Xn)≠0。
2）当X为随机变量
若x被当作一个随机变量，则假定1成为一个对y和x的联合分布的陈述。
我们就用条件期望和方差来处理。
3、随机干扰项
1）如果干扰项不是零均值，即E[εi]=μ，对所有的i，则+βx+εi等同于（+μ）+βx+（εi－μ），令′=+μ及εi′=εi－μ可得到模型，，此模型满足我们原始模型的要求。
2）观测值中的随机部分假定是不相关的：
E[εiεj]=0 对所有i不等于j。
这被称为非自相关。
二、最小二乘法
1 最小二乘系数
总体回归是E[yi|xi]= +βxi，而我们对E[yi|xi]的估计记作
。
和第i的数据点相联系的干扰项是
对a和b的任何值，我们用残差
来估计εi，从这些定义可知：
。
对任何一对值a和b，残差平方和是：
最小二乘法系数就是使这个拟合标准达到最小的a和b的值。最小化的一阶条件是
和
将上两式展开合并同类项后得到正规方程组
（1）
（2）
（1）式暗示，而（2）式暗示
为了得到解，我们首先用n除（1）结果是
最小二乘回归线通过均值点。现在分离a：
（3）
有了a后，我们可以求解（2）得到b。首先，。将此和（3）代入（2）并重新安排各项。
或
EMBED
最小的残差平方和，对a和b的二阶微商矩阵是
.
我们必须表明这是一个正定矩阵，两个对角元素永远为正，所以仅需证明行列式为正，行列式为，所以行列式为
由识别条件得知这是一个正值。这样a和b是平方和的最小化因子。
2 回归拟合的评价
1）回归量x是非随机变量
总变差是离差的平方和：
EMBED
第二个等式成立是因为
我们将其写作
总平方和=回归平方和+残差平方和
或
SST=SSR+SSE.
我们利用下式得到一个关于回归直线对数据拟合程度的度量
为了方便计算与分析，约定
和
x和y间的样本相关系数是。利用我们得到，这表明回归的斜率和x、y间的相关系数具有相同的符号，而且
.
这进一步证明了我们利用R2作为回归模型拟合优劣指标的正确性。
3 方差分析表
进一步研究回归平方和SSR与残差平方和SSE，我们可以得到下面三个结论：
a）在β=0的假设条件下，回归平方和服从自由度为1的卡方分布x2(1)（为什么？）；
b）残差平方和服从自由度为n-2的卡方分布x2(n－2)；
c）在β=0的假设条件下，服从F（1,n－2）分布。现在我们来证明这三个结论。
证明：
a），其中，易知，
。
可以验证是幂等矩阵。
在β=0的假设条件下，才服从自由度为1的卡方分布x2(1)（为什么？）
b）因为
所以
易验证也是幂等矩阵
最后一个等式成立是因为。
所以，从而。此结论成立不需要β=0的假设条件下，为什么？
c）因为
所以SSR与SSE是相互独立的统计量。从而，在β=0的假设条件下，服从F（1，n－2）分布，所以，可以用来作模型的整体检验的统计量。
概括这些计算的一个方便的途径是方差分析表，可总结在方差分析表1中。
表1 方差分析表
变差来源
变差
自由度
均方
回归
SSR=b2Sxx
1
残差
n－2
总
SST=Syy
n－1
2）回归量X是随机变量
我们要利用方差分解公式
=
我们将它应用到子样空间里来，即
EMBED
所以，两边去掉1/n后得到：
EMBED
我们得到了和把X当成非随机变量时同样的结果，因此，方差分析表也是一样的。
考虑消费函数的例子，这里C是消费而X是收入，我们得到
总平方和的各个部分为
总平方和=64,
回归平方和=64,
残差平方和=
显然，此回归提供了一个很好的拟合。
对消费和收入数据，方差分析表如下所示
例1数据的方差分析表
变差来源
变差
自由度
均方
回归
64,
1
64,
残差
8
总
64,
9
7,
另一个计算和通常R2相类似公式是：
任何一个模型的残差都可用来计算。
三、最小二乘法估计量的统计特征
我们利用了最小二乘法，从纯粹的代数方法，求得所拟合的最小二乘系数a和b，从统计意义上来说，这个结果可以看作是对参数和β的一个估计（因为还存在着利用其他估计方法得到的估计）。我们现在对a、b的无偏性，有效性和精确度等统计特性作分析。
我们所考虑的计量模型是：
β的最小二乘估计是
（1）
其中权数， （2）
仅仅是x1,…,xn的一个函数。
1、b是β的无偏估计
将代入（1），我们得到
（3）
所以
（4）
这是因为。不论ε的分布如何，在我们其他假定下，b是β的一个无偏估计量，利用（3）得到b的样本方差
线性回归模型的假定4暗示这个和的方差中的协方差项是零，所以有
特别要注意b的方差中的分母。x的变差越大（也就是x的采样范围越广），则这个方差越小。
2、a是α的无偏估计
对于最小二乘截距a，我们有：
利用（3）式并加以整理，我们有
其中
由于求和中每一项的期望都为0，所以a也是α的估计量无偏估计量。a的样本方差就是的方差，根据独立性有
（通过对括号中的项进行平方并利用的结果，可以得到上式中后一结果）。
3、a、b估计量的协方差矩阵
两个估计的协方差是
a和b两者都有的形式，因此它们都是线性估计量，前边给出了它们的样本均值和方差并证实了它们是无偏的。正如已指出的，还存在利用数据估计和β的其他方法。然而，从线性无偏估计量的角度，没有任何估计量比最小二乘估计量具有更小的样本方差，这就是高斯—马尔科夫定理。
****当把正态分布干扰项的假定加入上面的过程时，我们得到估计量的分布的一个完备的结果。由于a和b两者都是正态分布变量的线性函数，因而它们也都是正态分布的。其均值和方差已导出，概括起来，在正态性假设下，有
4、b是β的最小线性无偏估计。
思考：证明b=是线性无偏估计量中，方差最小的一个估计量。
[证明] 令另一个估计量是
在等式两边取期望，我们可以看到，若使是无偏的，必须有及。这样，。的方差是
令
利用，易得到，这就是在的方差中只留下两个平方项，这意味着一定大于。
推导
四、最小二乘估计量的统计推断
在前面的内容里，我们在假定干扰项是正态分布和样本X1，…Xn是非随机的条件下，给出了最小二乘估计量的确切的样本分布。但通常的参数估计过程包括构造置信区间和对α和β值的假设检验。为了做到这一点，我们需要参数的真正样本方差的估计，这将需要对未知参数的一个估计，并构造假设检验方法。
1、的无偏估计量的推导
由于是的期望值，而的一个估计，
似乎是一个自然的估计量，通过写出，并把，代入，我们得到
（1）
我们对某一个别干扰项的估计受两种因素的扭曲：所有干扰项的样本平均和我们可以归于β并非完美估计这一事实所造成的影响。回忆所有干扰项是独立的，所以。现在我们平方的两边并取期望值，可得到
在对这些项求和时，我们利用。整理后，我们有
这表明的一个无偏估计量是
这样，我们可以得到b的抽样方差的一个估计为
.
以后，我们将用记号表示一个估计量的抽样方差的一个样本估计。
t分布统计量的构造
（1）
的分布是标准正态。由服从
（2）
并且和b是独立的。
根据（1）和（2），我们得到：
是一个标准正态变量和一个除以其自由度的卡方量的平方根之比，它服从自由度为（n－2）的t分布。这样，记，则比率
（3）
可以形成统计推断的基础。
2、抽样分布
β的置信区间将以（3）为基础。特别的，我们可以有
≤≤，
其中是要求的置信水平，是来自于自由度为（n－2）的t分布的适当的临界值。利用a及其估计方差，可以同样地构造α的置信区间。
3、β的假设检验
我们也可以构造干扰项方差的置信区间，利用（2）和前边的同样推理，我们得到的95%置信区间是
一个相关的过程是检验参数是否取一给定值，为了检验假设
，
最简单的过程是利用我们的置信区间，置信区间给出了在给定样本数据情况下，β的一个似乎可能的值的集合，如果这个集合不包含β0，则原假设应该被拒绝。在原假设下，比率
服从自由度为（n－2）的t分布，其均值为0。这个比率在任何尾部的极端值都将使假设值得怀疑。这样，一般地，若
，
我们将拒绝H0。这里，是来自于自由度为（n－2）的t分布的100（1－λ/2）%临界值。
例子
在前边的回归中，我们得到
a=－ 和 b=.
为了计算标准误差，我们需要
和
对一个自由度为n－2=8的分布，95%临界值是。所以，α和β的95%置信区间分别是
－+（） 或 － 至 －
和
+（） 或 － 至 －
我们得到基于自由度为（10—2）=8的x2分布的σ2的置信区间， 相应的临界值是和，所以置信区间是
＜σ2＜
或
＜σ2＜
这可能显得太宽了。然而，我们通常对ε的标准差比对其方差更感兴趣。基于同样这些结果的σ的95%置信区间是至。
五、预测
除了参数的估计外，回归的最常见的作用是进行预测。假定x0是回归量的已知值，且我们对预测与x0相应的y的取值y0感兴趣。我们将试图对真值y0进行预测：
1．个体预测(Individual Prediction）
预测值将是 ，（，且 i=1,…,n）
预测误差是
EMBED
在两边取期望有E[e0]=0。所以，在预测误差均值为0这个意义上最小二乘预测是无偏的。预测误差的方差是
所以
又因为
所以分布。
我们能够为y0构造一个预测区间，它具有和个别参数置信区间相同的形式，特别地，我们的预测区间将是
（3）
2．均值预测（Mean Prediction）
均值预测是预测值是 而不考虑随机干扰项。
预测误差是
EMBED
在两边取期望有E[e0]=0。所以，在预测误差均值为0这个意义上最小二乘预测是无偏的。预测误差的方差是
所以
又因为
所以分布。
我们能够为y0构造一个预测区间，它具有和个别参数置信区间相同的形式，特别地，我们的预测区间将是
（4）
例子
利用例1中的消费数据，如果1980年的可支配收入预测是1030美元（十亿），为了计算一个预测区间，我们需要
a=－ ,
b= ,
s2= ,
,
Sxx=67,
n=10 .
t分布的临界值是，将这些代入3得到一个预测区间是：
－+(1030)+()
即
+.
第五章 多元线性回归模型
在第四章中，我们讨论只有一个解释变量影响被解释变量的情况，但在实际生活中，往往是多个解释变量同时影响着被解释变量。需要我们建立多元线性回归模型。
一、多元线性模型及其假定
多元线性回归模型的一般形式是
令列向量x是变量xk，k=1，2，的n个观测值，并用这些数据组成一个n×K数据矩阵X，在多数情况下，X的第一列假定为一列1，则β1就是模型中的常数项。最后，令y是n个观测值y1, y2, …, yn组成的列向量，现在可将模型写为：
构成多元线性回归模型的一组基本假设为
假定1.
我们主要兴趣在于对参数向量β进行估计和推断。
假定2.
假定3.
假定4.
我们假定X中不包含ε的任何信息，由于
（1）
所以假定4暗示着。
（1）式成立是因为，对于任何的双变量X，Y，有E(XY)=E(XE(Y|X))，而且
这也暗示
假定5 X是秩为K的n×K随机矩阵
这意味着X列满秩，X的各列是线性无关的。
在需要作假设检验和统计推断时，我们总是假定：
假定6
二、最小二乘回归
1、最小二乘向量系数
采用最小二乘法寻找未知参数β的估计量，它要求β的估计满足下面的条件
（2）
其中，min是对所有的m维向量β取极小值。
也即
（3）
满足（2）式或（3）式的估计量称为β的最小二乘估计，这种求估计量的方法称为最小二乘法（OLS）。
展开上式得
或
最小值的必要条件是
设b是解，则b满足正则方程组
这正是我们曾分析的最小二乘正则方程组。因为X是满秩的，所以的逆存在，
从而得到解是
为了证实这确实是最小值，我们需要二阶编分矩阵
是一个正定矩阵。
我们现在来证明这个结果。对任意一非零向量c，令，则
除非的每一元素都为0，否则q是正的。但若为零的话，则X的各列的一个线性组合等于0，这与X满秩的假定相矛盾。
三、最小二乘估计量的统计特性
在本节中，我们对回归量的两种情况，即非随机回归量和随机回归量下分别作讨论。
1、X非随机回归量
若回归量当作非随机来进行处理时，则将X当作常数矩阵处理就可导出最小二乘估计量的各种特性。可得
（4）
若X是非随机的，或，则（4）中第二项的期望值是0。所以，最小二乘估计量是无偏的，它的协方差矩阵是
在前面的内容中，对K=2的特殊b是β的最小方差的线性无偏估计量。现在我们给出这个基本结果的一个更一般的证明，令的另一个不同于b的线性无偏估计量，其中C是一个K×n矩阵。若是无偏的，
这暗示着CX=I，并且。所以可以得到的协方差矩阵是
现在令，由假设知D≠0。那么， 于是是非负定矩阵。
则
在展开这个四项和式之前，我们注意到
由于上面最后一项是I，有DX=0，所以
的方差矩阵等于b的方差矩阵加上一个非负定矩阵。所以，的每个二次型都大于的相应二次型。
利用这个结果可以证明高斯-马尔科夫定理：
高斯—马尔科夫定理：
对任意常向量w，古典线性模型中的最小方差线性无偏估计量是，其中b是最小二乘估计量。
2、X随机回归量
在这样的情况下，为了得到最小二乘估计量特性更多的一般性，有必要将上面的结果推广解释变量X是来自某种概率分布的情况中去。获得b的统计特性的一个方便的方法是，首先，第一步求得对X的条件期望结果，这等同于非随机回归量的情况，第二步，通过条件分布得到无条件结果。此论点的关键是，如果我们对任意X都可能得到条件无偏性，我们就可以得到一个无条件结果。
因为
所以，以观测到的X为条件我们得到
一个有用的方法是利用重期望定律
因为由假定4有，所以，b也是无条件无偏的，这样，
。
同样，以X为条件的b的方差是
为了求得确切的方差，我们使用方差分解公式：
由于对所有X，，所以第二项为零，因此，
我们原来的结论要稍作改变，我们必须用其期望值E[(X′X)-1]来代替原来以得到适当的协方差矩阵。
从上一段的结果可以合乎逻辑地建立高斯—马尔科夫定理，
即对任何，在X给定的条件下有
但若这一不等式对一特定X成立，则必须成立：
即，若它对每一特定X成立，则它一定对X的平均值也成立。这暗示，≤。
所以，不论我们是否将X看作是随机的，即无偏性和高斯—马尔科夫定理都成立。
四、最小二乘估计量的统计推断
迄今为止，在我们任一结果还未用到ε的正态性的假定6，但这一假定对构造假设检验的统计量是有用的和必须的。
1、回归系数的假设检验
我们先讨论X非随机变量时的情况。
在（4）中，b是干扰向量ε的一个线性函数，如果我们假定ε服从多重正态分布。
利用前面结果及前边推导的均值向量和协方差矩阵来表示即
这是一个多重正态分布，所以b的每一元素的边际分布都是正态分布的：
令是的第k个对角元素，则
（5）
服从标准正态分布。若的统计推断可以基于。然而仍要估计，所以（5）式中Zk不是统计量。我们要得到的无偏估计量，才能作进一步的推断。
按定义最小二乘残差向量是
M是回归分析中一个基本的n×n矩阵，你可以容易地验证M既是对称的(M=M′)又是幂等的（M=M2）。
性质1：X′e=0和i′e=0
证明：由正则方程组，我们得到：
所以， i′e=0
由性质1及证明过程我们得到两个推论：
推论1：和MX=0。
推论2：和Mi=0。
推论2成立是因为X′的第一行是（1,1,…，1）。
性质2：e和b互不相关。
从几何解释来看这一性质是显然的，e表示Y到子样空间的垂线估计量，和e互相垂直。
性质3：残差e的均值向量和协方差阵分别是
证明：
E(e)=0，暗示是y的无偏估计量。
性质4：
证明：最小二乘残差是
，
这是由于MX=0，的一个估计量将基于残差平方和：
这个二次型的期望值是
我们有 EMBED
由于M是固定的，这就是
M的迹是
所以，
，
的一个无偏估计量是
（6）
回归的标准误差是s2，其平方根为s。利用s2，我们可以计算估计量b的估计协方差矩阵：
通过利用s2替代，我们导出替代（5）中zk的一个统计量。此量
是一个标准正态向量的幂等二次型，所以，它服从自由度为秩（M）=迹（M）=n—K的x2分布。（6）中的x2分布变量独立于（4）中的标准正态变量，为了证明这一点，只要证明
（7a）
独立于就足够了。我们知道标准正态向量x的一个线性式Lx和一个幂等二次型x′Ax独立的充分条件是LA=0，令等x，我们发现这里所需求的是。这确实成立，因为。
在推导回归分析中许多检验统计量中起中心作用的一般性结果是：
若ε服从正态分布，最小二乘系数估计量b统计独立于残差向量e及包括s2在内的e的所有函数。
所以，比率
（7）
服从自由度为（n—K）的t分布。这是我们作统计推断的基础。
线性约束检验
我们通常对含有不只一个系数的假设检验感兴趣，我们可以利用一个类似于（7）中的检验统计量。假定我们的假设是
，
（通常某些r将为零）左边的样本估计是
若显著异于q，则我们推断样本数据与假设不一致。与（7）一样，将假设基于下式是很自然的。
（7a）
我们需要的标准误差的一个估计。由于是b的一个线性函数，且我们已估计出了b的方差矩阵，我们可用下式估计的方差。
（7）中的分母是这个量的平方根。若假设是正确的，我们的估计应该反映这一事实，至少在抽样变化性的范围内如此。这样，若前边的t比率的绝对值大于适当的监界值，则应对假设产生怀疑。
2、随机X及正态ε下的检验统计量
现在，我们考虑当X是随机的，样本检验统计量和推断方法考虑（7）中检验的t统计量：
（8）
以X为条件，t|X服从自由度为（n—K）的t分布。然而，我们感兴趣的是t的边际（即无条件）分布。正如我们所见，（7a）仅仅在以X为条件时b才是正态分布的，我们还没有证明它的边际分布是正态分布的。类似地，当X是随机的情况下，在给定X的条件下，我们得到了（8）式的t统计量，我们还没有证明t边际分布也是以（n－K）为自由度的t分布。事实上，t的边际分布仍是以（n—K）为自由度的t分布，不论X的分布是什么，甚至不论X是随机的还是非随机的或者是混合的。
这个令人迷惑的结果来自f(t|X)不是X的函数这一事实，同样的原因可以用来推演不论X是不是随机的，通常用以检验线性约束的F比率都是有效的。
结论：若干扰项是正态分布的，我们可以在我们的过程中不加变化地进行检验和构造参数的置信区间，而不去考虑回归量是随机的、非随机的，还是它们的混合。
3、拟合优度和方差分析
由方差分解公式，我们有：。我们用幂等矩阵M0来表示：
所以，和
进一步研究回归平方和SSR与残差平方和SSE，我们可以得到下面三个结论：
a）在β=0的假设条件下，回归平方和服从自由度为K－1的卡方分布x2(K－1)；
b）残差平方和服从自由度为n－K的卡方分布x2(n－K)；
c）在β=0的假设条件下，服从F（k-1,n－k）分布。
证明：a）M0－M是幂等矩阵。先证明M0M+MM0=2M。
M0M+MM0
=2M
从而
所以，。
在β=0的假设条件下，才服从自由度为K－1的卡方分布x2(K－1)（为什么？）
b）因为M是幂等矩阵而且 EMBED
c）只要验证即可。
事实上，
。
和前一章的情况一样，我们要对回归模型的好坏，作出评价，决定系数就是对模型拟合的一个度量，计算R2有两个等价的方法。
决定系数
进一步推导和化解，我们可以得到R2另一个公式。
，以及M0e=e（表示残差已经具有零均值）和X′e=0。
所以，
第一个方法度量了y的总变差中由回归变差所解释的部分，第二个是y的观测值和由估计的回归方程所产生的预测值间的相关系数的平方。
当利用R2来比较不同的线性统计模型的拟合度时，存在一个严重的缺点，就是它的值随着解释变量的增多而增大。为了克服这个缺点，我们可以用调整的R2来测度一个模型的解释能力，这个调整的R2被记，它的表达式为
这里的无偏估计量，（思考：当y服从正态分布时，的一个无偏估计量）。不同的是，随着解释变量的增多，它的值可能变小，甚至要能取负值。
因为
所以，SSR=
我们得到了回归方差的另一个表达式，请见多元线性回归模型方差分析表。
表1 多元线性回归模型方差分析
来源
自由度
均方
回归
K－1
残差
n－K
s2
总
n－1
4、回归的显著性检验
一个通常要检验的假定是回归方程作为整体的显著性，这是对除了常数项外所有常数都为0的假设的联合检验。若所有系数为0，则多重相关系数为0，所以我们可以将这一假定的一个检验基于R2值上。统计量
服从自由度为K－1和n－K的F分布，检验的逻辑是，F统计量是对我们强加所有斜率都是0的这一约束时的拟合损失的一个度量（R2的全部），若F大，假设被拒绝。
五、预测
多元回归环境下的预测结果与前一章中讨论的那些本质是一样的。假定我们希望预测与回归向量x0相应的y0值。它将是
（，且 i=1,…,n）
由高斯—马尔科夫定理知
是y0的最小方差线性无偏估计量。
个体预测（Individual Prediction）误差是
（，且 i=1,…,n）
这个估计的预测方差是
若回归含有一个常数项，一个等价的表达式是
其中X是X的不包含全为1的列的最后K－1列。这表明，和以前一样，区间的宽度依赖于x0的元素与数据中心的距离。
因此
又因为
由此得到
即y0的一个置信区间将用下式形成：
预测区间。
均值预测（Mean Prediction）
均值预测是预测值是 而不考虑随机干扰项。
误差是
这个估计的预测方差是
因此
又因为
由此得到
即y0的一个置信区间将用下式形成：
预测区间。
六、分块回归和偏回归
当兴趣实际上只集中于一个变量或变量全集的一个子集时,设定一个多元回归模型是很普遍的，但往往这个变量或变量全集的子集并不能很好地解释被解释变量，需要我们在原有的模型中添加新的解释变量，才能进一步完善模型。例如考虑收入方程，虽然我们的主要兴趣在于收入和教育的联系上，将年龄包括进模型是必要的。我们已经证实从方程忽略年龄将是错误的，这里我们考虑的问题是，从一个多元回归模型中单独地获取一个子集变量的系数涉及什么样的计算，例如获取前边及回归中教育的系数。
以一般术语，假定原有回归模型是，现在在原有的模型中添加新的解释变量集X1,那么现在的回归方程包括两组变量和，转换为:
的代数解是什么？与原有的估计量有何关系？
新的模型的正则方程组是
（1a）
（2a）
利用分块逆矩阵可以得到
另外一个方法是可以直接处理（1a）和（2a）以求解。我们首先从（1a）求得解
（9）
（注意此解表明是对回归的系数减去一个修正向量。）然后，将其代入（2a）得到
整理各项后，
解是
（10）
注意出现在每个中括号中的小括号里的矩阵都是讨论过的“残差制造者”，这里是相应于对各列回归的。这样，是一个残差矩阵，其中每一列都是中相应列对中各变量回归的残差向量。利用和一样是幂等的这一事实，我们可将（10）重写为
（11）
其中
和
所以，是为来自一个回归的系数集合，这个回归的被解释变量是单独对回归的残差，解释变量是的每一列分别对回归所得残差的集合。这个过程通常被称作排除或筛掉的影响。正是部分地由于这个原因，一个多元回归中的系数通常被称作偏回归系数。
我们可以用一个例子来说，通过首先用收入和教育对年龄（或年龄及年龄中平方）回归，然后在一个简单回归中使用这两个残差，我们能够得到教育在最小二乘回归中的系数。这一方法的一个经典的应用中，费雪和沃（1933）注意到，在时间序列环境下，像刚才提到的那样首先通过筛掉时间的影响而消除数据趋势，然后用消除趋势的数据简单回归和直接带有一个时间趋势变量似合所得结果是一样的。
1、偏回归和偏相关系数
使用多元回归包含一个在实际中可能不能实施的概念性试验，即类似于经济学中的“假设其余情况均同”。继续考虑简介中的例子，将收入和年龄及教育相联系的回归方程使我们能够对两个同龄但教育程度不同的人的收入进行比较，即使样本中没有这样一对个人。术语偏回归系数所暗示的正是回归的这一特性。我们已经看到，获取这个结果的方法是首先用收入和教育对年龄进行回归，然后从回归方程中计算出残差，按其构造，年龄对解释这些残差没有任何能力。所以，在这种“净化”（或筛掉年龄的影响后）后的收入和教育间的任何相关都与年龄无关。
同一原理可应用于两个变量间的相关系数上。继续我们的例子，当我们在样本中得到收入和教育间的相关数为 时，那么，在何种程度上我们可以假定这一相关是由于某种直接关系，而非由于当人们变老时，收入和教育平均来说都趋于增长这一事实？为了找出答案，我们将使用偏相关系数，这与偏回归系数的计算方式一样，在我们的例子中，抑制年龄的影响，收入和教育间的偏相关系数可如下获取：
1、收入对年龄的回归中的残差
2、教育对年龄的回归中的残差
3、偏相关系数就是和间的简单相关系数。
这似乎是一个可怕的计算量，然而存在一个方便的简捷算法，一旦计算了一个多元回归，（7）中用于检验系数等于0的比率，可用于计算
（12）
2、对均值的离差——对常数回归
作为上一节结果的一个应用，考虑仅为中由1组成的第一列的这种情况，此时的解将是带有常数项的回归中斜率。令为由1构成的列，任何变量对的回归的系数是，拟合值是，残差是。所以，当我们将其应用于先前结果时，会发现：将数据转换成对其均值的离差，然后用离差形式的变量对同样的离差形式的解释变量
回归，可以得到含有常数项的多元回归中的斜率。
练习：若在计算斜率前忽略了将转换为对的离差，在前边的回归中将会发生什么情况？
得到了的系数后，怎么才能取得的系数？当然，一个方法是转换和的角色重复上一节中的练习，但有一个更容易的方法，对一般情形，两个正则方程组中的第一个是
我们已经解出了，所以，在求解时可以使用它：
（13）
若仅为一列，（13）中第一个将产生如下结果
（14）
这我们以前已经见到过。
七、偏离正态性的检测（正态性的哈尔克-贝拉（Jarque-Bera）BJ检验）
本节考察的是利用最小二乘残差的矩来推断真正扰动项的分布的一般问题。
的直观估计量是
然而，最小二乘残差只是真实扰动项的不完全估计：
由于，样本越大，这个估计就越好。这有时被称为逐点一致性。可以看出最小乘残差的样本收敛于真正扰动项的样本。这意味着
是的一致估计量，
也是的一致估计量，
通常运用下列公式计算偏度（Skewness）：
（15）
EMBED
因为，对于对称的概率密度函数，其三阶矩为零，因为这样的一个概率密度函数，其偏度为零。一个最重要的例子就是正态分布。如果偏度的值为正，则其概率密度为正偏或右偏；如果的值为负，则其概率密度为负偏或左偏。
通常运用下列公式计算峰态（Kurtosis）：
（16）
EMBED
概率密度的峰度小于3时，成为低峰态的（胖的或短尾的），峰度大于3时，称为尖峰态的（瘦的或长尾的），见图1。正态分布的峰度为3，这样的概率密度函数称为常峰态的。
样本偏度与样本峰度
根据式（15）和式（16），用样本三阶矩和四阶矩来计算样本偏度与峰度。样本三阶矩（与样本方差的计算公式相对照）为：
（17）
样本四阶矩为：
（18）
前述内容可用于设计正态性的检验。正态分布是对称和常峰态的。对称意味着三阶矩为0。分布对称性的标准量是偏态（Skewness）
峰态（Kurtosis）是分布尾部厚度的度量。此度量是
正态分布对于这个度量通常是评价标准；常峰态值是正态分布的峰度，等于3。因此，我们可以通过比较偏度是否为0和峰度是否为3来判断该分布是否为正态分布。在实际中，通常的度量是过量程度（degree of excess）。我们将使用的工具是一个沃尔德统计量。在正态性的假设下，此检验统计量是
～
称为正态性的哈尔克-贝拉（Jarque-Bera）BJ检验。
这渐近地服从自由度为2的分布。这些参数的可行的估计量是利用最小二乘残差计算而得到的。统计量可以参考标准表。
由贝拉和哈尔克（1980，1980）推导的这个检验统计量的皮尔逊分布的内容中是作为拉格朗日乘数检验。应该注意这个检验本质上是无建设性的。非正态性的发现不一定给出下一步如何做的建议。同样，注意不能拒绝正态性并没有确认了正态性。这只是一个对称性和常峰态的检验。
图1
思考题
1、对于线性统计模型
假设，最小化误差平方和得到如下线性方程组
（1）把这个方程组写成矩阵的形式，并利用矩阵方法求最小二乘估计量b的值。
（2）如果的无偏估计量s2的值。
（3）求b的协方差矩阵。
(4) 分别写出能够检验的t统计量（k=1，2，3）。
（5）写出能够检验的t统计量和F统计量。
2、假设b是y关于X的回归的最小二乘估计量，c是另一K×1向量，证明两个残差平方和之差是
并证明这个差值是正的。
3、假设对于同一个参数，你有两个相互独立的无偏估计量，它们的方差分别为。那么什么样的线性组合的最小方差无偏估计量？
4、假设对于同一个参数，你有n个相互独立的无偏估计量……，它们的方差分别为。那么什么样的线性组合是的最小方差无偏估计量？
第六章 正态线性统计模型的最大似然估计
我们假定第五章的6个假设条件全部满足，我们就知道了Y的分布函数，我们也就可以用其他方法如最大似纵然估计和矩估计等来求解出参数的估计量。在本章中我们用最大似纵然估计求出参数的估计量。
利用模型的假设和样本信息，我们首先求出似然函数，它是关于未知数的函数。由于，因此有或者边际分布，这里，t=1,2,…,n, {yt}是相互独立的（Why?）。yt的密度函数为
所以y1,y2,…,yn的联合概率密度函数为
如果把y1,y2,…,yn的联合概率密度函数看做是未知参数的函数，我们称它为似然函数，记为
两边取自然对数得到对数似然函数为
据最大似然法则，估计未知参数的问题变成了选择的值使得对数似然函数的值达到最大，也即是如下的最优化问题：
这个问题的一阶条件为
如果把这两个方程的解分别记为，那么它们满足
可以解得
（与最小乘估计量一样）
这里。所以β的最大似然估计和最小二乘估计是一样的。这是由于选择β的值最大化对数似然函数和最小化误差平方和是等价的。如果记
并称它为最大似然残差，那么它和最小二乘残差是相等的，即。这样可表示为
对于，我们已知知道。由于是y的线性函数，而y服从正态分布，所以也服从正态分布，均值为β，协方差矩阵为，也即。这个结果在进行区间估计和假设检验时是非常有用的。
关于，由于，所以其期望值为
它是的一个有偏估计量，其偏度为。为了得到一个无偏估计量，定义
那么它是的一个无偏估计量。它和我们在前一章里得到的关于的无偏估计量是一样的。
第七章 带有线性约束的多元线性回归模型及其假设检验
在本章中，继续讨论第五章的模型，但新的模型中，参数β满足J个线性约束集，Rβ=q，矩阵R有和β相一致的K列和总共J个约束的J行，且R是行满秩的，我们考虑不是过度约束的情况，因此，J＜K。
带有线性约束的参数的假设检验，我们可以用两种方法来处理。第一个方法，我们按照无约束条件求出一组参数估计后，然后我们对求出的这组参数是否满足假设所暗示的约束，进行检验，我们在本章的第一节中讨论。
第二个方法是我们把参数所满足的线性约束和模型一起考虑，求出参数的最小二乘解，尔后再作检验，后者就是参数带有约束的最小二乘估计方法，我们在本章的第二节中讨论。
第一节 线性约束的检验
从线性回归模型开始，
（1）
我们考虑具有如下形式的一组线性约束，
这些可以用矩阵改写成一个方程
（2）
作为我们的假设条件。
R中每一行都是一个约束中的系数。矩阵R有和β相一致的K列和总共J个约束的J行，且R是行满秩的。因此，J一定要小于或等于K。R的各行必须是线性无关的，虽然J=K的情况并不违反条件，但其唯一决定了β，这样的约束没有意义，我们不考虑这种情况。
给定最小二乘估计量b，我们的兴趣集中于“差异”向量d=Rb－q。d精确等于0是不可能的事件（因为其概率是0），统计问题是d对0的离差是否可归因于抽样误差或它是否是显著的。
由于b是多元正态分布的，且d是b的一个线性函数，所以d也是多元正态分布的，若原假设为真，d的均值为0，方差为
（3）
对H0的检验我们可以将其基于沃尔德（Wald）准则：
= （4）
在假设正确时将服从自由度为J的分布(为什么?)。
直觉上，d越大，即最小二乘满足约束的错误越大，则统计量越大，所以，一个大的值将加重对假设的怀疑。
（5）
由于σ未知，（4）中的统计量是不可用的，用s2替代σ2，我们可以导出一个F[J，（n－K）]样本统计量，令
（6）
分子是（1/J）乘（4）中的W，分母是1/（n－K）乘（5）中的幂等二次型。所以，F是两个除以其自由度的卡方变量的比率。如果它们是独立的，则F的分布是F[J，（n－K）]，我们前边发现b是独立于s2分布的，所以条件是满足的。
我们也可以直接推导。利用（5）及M是幂等的这一事实，我们可以把F写为
（7）
由于
F统计量是的两个二次型的比率，由于M和T都服从正态分布且它们的协方差TM为0，所以二次型的向量都是独立的。F的分子和分母都是独立随机向量的函数，因而它们也是独立的。这就完成了证明。
消掉（6）中的两个σ2，剩下的是检验一个线性假设的F统计量，
（8）
我们将检验统计量
和F分布表中的临界值相比较，一个大的F值是反对假设的证据。
注意：将wald统计量中的用去替代，相应的就将J维的卡方分布转换为维度为（J,n-K）的F分布。
第二节 参数带有约束的最小二乘估计
一、带有约束的最小二乘函数
在许多问题中，要求其中的未知参数β满足某特定的线性约束条件：Rβ=q，这里R是J×K矩阵（J＜K），并假定它的秩为J维向量，常常希望求β的估计，使得
（9）
满足条件（9）的称为β的具有线性约束Rβ=q的最小二乘估计。
解的问题实际上是在约束条件
Rβ=q
下求
的限制极值点问题。
这个问题的一个拉格朗日解可写作
解b*和λ将满足必要条件
展开可以得到分块矩阵方程
或
Wd*=v
假定括号中的分块矩阵是非奇异的，约束最小二乘估计量
d*=W-1v
where
的解。此外，若X′X是非奇异的，则用分块逆公式可以得到b*和λ的显示解
和
格林和西克斯（1991）表明b*的协方差矩阵简单地就是乘以W-1的左上块，在X′X是非奇异的通常情况下，再一次可以得到一个显性公式
，
这样，
（一个非负定矩阵），
Var[b*]的方差比Var[b]小的一个解释是约束条件提供了更多的信息价值。
二、对约束的检验的另一个方法
令，我们来计算新的离差平方和。
则新的离差平方和是
因为新的模型中参数的个数为k-J个，J个榆树条件是原模型中的J个参数可以被其他k-J个表示。
（此表达式中的中间项含有X′e，它是0）。这说明我们可以将一个约束检验基于拟合的损失。这个损失是，
这出现在前边推导的F统计量的分子上，我们得到统计量的另一个可选形式。
可选形式是
最后，以SST=除F的分子和分母，我们得到第三种形式，
由于两个模型的拟合之差直接体现在检验统计量中，这个形式具有一些直观吸引力。
[实例]对数变换生产函数
所有科布—道格拉斯模型的一般化是如下的对数变换模型，
（10）
无约束回归的结果在表1中给出。
表1 无约束回归的结果
回归标准误差
残差平方和
R平方
调整R平方
变量
系数
标准误差
t值
常数项
LnL
LnK
－
－
－
－
lnL×lnK
系数估计量的估计协方差矩阵
常数项
lnL
lnK
Ln2L/2
Ln2K/2
lnL×lnK
常数项
LnL
－
LnK
－
－
－
－
lnL×lnK
－
－
－
考虑了约束条件的模型就可以得到科布一道格拉斯模型： （11）
这是一个条件约束下的无条件的多元线性回归模型。就可以用一般线性回归的方法求解模型。假如我们通过有约束条件下的无条件的多元线性回归模型得到：
，而且n－K=21，则科布—道格拉斯模型假设的F统计量是
查自F分布表的5%临界值是，所以我们不能拒绝科布—道格拉斯模型是适当的这一假设。
考虑了约束条件和条件的模型就是满足规模效应的科布—道格拉斯生产函数。这个模型可以推导如下：
（12）
假如我们通过有约束条件下的无条件的多元线性回归模型得到：
，而且n－K=21，则科布—道格拉斯模型假设的F统计量是
查自F分布表的5%临界值是，所以我们不能拒绝科布—道格拉斯模型是规模效应的生产函数的这一假设。
第三节 结构变化与邹至庄检验
(Structure Change and Chou-Test)
问题提出
我们经常碰到这样的问题。某项政策的出台及实施，其效果如何？不同地区或不同时期内，我们分别可以得到这两个地区或时期的观测值，我们的问题是：这两个地区或时期的情况是否不同，经济结构有无差异。
这类问题，被华人经济学家邹至庄用构造的F检验解决了（1960年）。这样的F检验的统计量，就称为邹至庄检验（Chou-Test）。
二、问题的模型表述
设分别表示这两个时期的观测值，允许两个时期中系数不同的无约束回归是，我们可以将其改写成一个回归方程
……（1）
即模型，其中Y=，Z=，β=，ε=。
上述问题就转换成检验的问题。
我们可以用两种方式来处理问题
一）用约束条件，来检验。是更一般约束条件Rβ=q的一个特殊形式，其中R=(I,-I) 和 q=0。这个直接可以从基于Wald统计量的带约束条件的F检验得到。（请自己推导）。
例题：用约束条件下，F检验推导出邹至庄检验的表达式：
解：在约束条件Rβ=q下，F检验
。
而邹至庄检验时约束条件Rβ=q的一种特殊形式，即R=(I,-I)，而q=0，也即等同于条件。（有2k个参数，并且是有k个约束）。故
服从F（）的分布。
另外，在考虑了约束条件后，我们可以将模型（1）改写成一个无约束的新的回归方程
， 即
(2)
即无约束的线性模型模型，其中Y=，Z=，β=，ε=。
假如模型（2）的残差平方和是，在假设条件下， 我们可以得到F统计量可更简单地表示为：
。
二） 更直接、更容易的一个处理是将约束直接构造进模型中，若两个系数向量相同，则模型（1）就转换为：
……（2）
由此我们推导出可以检验的邹至庄统计量Chou-Test。
从模型（1）中，我们可以得到无约束最小二乘估计量是
故
则……（3）
对于有约束条件限制的模型（2）
则……（4）
问服从何分布？
首先证明：
故而且
故
同样是幂等矩阵
故且与
是独立的，所以
这个就是邹至庄检验统计量（Chou-Test）。
第八章 古典线性回归的大样本理论
迄今为止的讨论涉及了最小二乘估计量的有限样本性质。根据非随机回归量和扰动项正态分布这两个假设，我们知道了最小二乘估计量的精确分布和一些检验统计量。
在本章中，我们去总结前一章关于最小二乘法的有限样本特性，然后我们重点讨论古典回归模型的大样本结果。
第一节 最小二乘法的有限样本特性
古典回归模型的基本假设是
Ⅰ.y=Xβ+ε。
Ⅱ.X是秩为K的n×K非随机矩阵。
Ⅲ.E[ε]=0。
Ⅳ.E[εε′]=σ2I。
未知参数β和σ2的最小二乘估计量是
和
通过分析
并且
我们可得下列精确的有限样本结果：
1. E[b]=β（最小二乘估计是无偏的）
2. Var[b]=σ2(X′X)-1
3. 任意函数r′β的最小方差线性无偏估计量是r′b。（这就是高斯—马尔科夫定理）
4. E[s2]=σ2
5. Cov[b,e]=0
为了构造置信区间和检验假设，我们根据正态分布的假设
推导额外了的结果，即
6. b和e在统计上是相互独立的。相应的，b和s2无关并在统计上相互独立。
7. b的精确分布依赖于X，是。
8. 的分布是。s2的均值是σ2，方差是2σ4/（n－K）。
9. 根据6至8结果，统计量服从自由度为n－K的t分布。
10. 用于检验一组J个线性约束Rβ=q的检验统计量
服从自由度为J和n－K的F分布。
注意，利用I至IV建立起来的b的各种性质和根据扰动项更进一步的正态分布假设而得到的额外推断结果之间的区别。第一组中最重要的结果是高斯—马尔科夫定理，它与扰动项的分布无关。根据正态分布假设得到的重要的附加结果是7、8、9、10。正态性没有产生任何额外的有限样本的最优性结果。（没有得出额外的有关统计量好坏的结论）
第二节 古典回归模型的渐近分布理论
为什么要用大样本理论？
在OLS的方法中，我们如果用数据得到的wald统计量：
～ 通不过检验，即假设不满足，这样的话我们就不能用OLS完成相关的假设检验问题，所以我们要用到中心极限定理：在n足够大的情况下，Y 和 都服从正态分布。这样，相应的判别估计量好坏的方法和标准要捉相应的调整，其中重要的概念是一致估计量。虽然估计量有可能相同，但我们关心的是他们的一致性，而不是无偏性。
所以我们要区分那些结论是可以在没有正态性的假设下仍然成立的，利用这些条件来推断最小二乘系数估计量的一致性。
对于满足I到IV假设的模型，可以直接推导大样本最小二乘估计量的特性。
最小二乘系数向量的一致性
复习：依概率分布
定理 从具有有限均值μ和有限方差的任何总体中抽取的随机样本的均值都是μ的一个一致估计量。
证明：，所以，依均方收敛于μ，或。
斯拉茨基定理（Slutsky） 对一个不是n的函数的连续函数g(xn)，有
假设
是正定矩阵， （1）
这个假设在大多数时候是不过份的，考虑一元的情况：
X=
(我们知道，p p).
which is positive definite as its principal submatrices all have positive determinants.
最小二乘估计量可以写成
（2）
假设Q-1存在，因为逆矩阵是原矩阵的连续函数，我们得到
现在我们需要最后一项的概率极限。令
，其中,为的列向量
那么
且
因为，X是非随机矩阵，所以
且
于是可得
由于的均值是0，并且它的方差收敛于0，所以按均方收敛于0，且。
（下面定理揭示了r-阶收敛与依概率收敛的关系
定理8 。）
因此
（4）
所以
（5）
这表明了在古典回归模型中，在假设（1）条件下b是β的一致估计量。
二、最小二乘估计量的渐近正态性
为了导出最小二乘估计量的渐近分布，利用以前结果可得
由于逆矩阵是原矩阵的连续函数，。因此，如果极限分布存在，则统计量的极限分布与下式相同：
（6a）
因此，我们必须建立下式的极限分布，
其中。我们可以利用林德伯格-费勒形式的中心极限定理得到的极限分布。利用定理中的表达式，
是n个互不相关的随机向量的平均值，其中,
εi的均值为0，方差为
的方差
只要总和不被任一特定项占据主导地位并且回归量表现良好，在这种情况中，这意味着（1）成立，则
Var()=Var()=
下列结果的正式证明是根据林德伯格-费勒形式的中心极限定理，由施密特（1976）和怀特（1984）给出。如果
1. 扰动项都服从具有零均值和有限方差的同样的分布。
2. X的元素受到限制使得有限并且是一个有限正定矩阵。则
（6）
(这也是为什么我们要假设Q是正定的，因为正态的协方差都是正定的)
我们利用这一结果可得, 即作一个变换：
根据(6a):
我们可以得到b的渐近分布(不加证明)：
三、标准检验统计量的渐近行为
如果没有ε的正态性，前面给出的t，F和统计量则不会服从相应的这些分布。因为
由此得出
的渐近分布是标准正态分布。
由于（在下一节中将证明这个结果）
将与θk有同样的渐近分布。因此，我们可以认为，关于β的一个元素的假设的通常统计量服从标准正态分布，而不是t分布。(也就是大样本情况下，没有t分布了，相应的t分布是正态分布。)
用于检验一组线性约束的F统计量，
不再是F分布，因为分子和分母都不是要求的分布。不过, 沃尔德统计量JF[J,n－K]渐近地服从分布并可以用来替代使用。这与扰动项正态分布情况的结果相同。在通常的假设下，无论扰动项是否服从正态分布，在处理古典模型的大样本时，沃尔德统计量都可使用。
定理 沃尔德统计量的极限分布定理
如果
以及是正确的，那么
依分布收敛于自由度为J的统计量。（我们不要求正式严格证明）。
特别提醒与注意：模型的整体检验统计量
这个沃尔德统计量就是可以用来作为我们模型的整体检验，只不过检验时，这里的R=I，而q=0而已。但注意沃尔德统计量W 是自由度为J的统计量，而不再是用F 分布来检验了。但W=JF。
定理的证明：由于R是常数矩阵，
（1）
又Rβ=q，因此
（2）
为方便起见，将此写成
（3）
令T满足T2=P-1，并把T记为，即T是P的逆平方根。
如果，那么 （4）
现在，我们对随机变量函数的极限分布利用斯拉茨基（Slutsky）定理，无关的（即，相互独立）标准正态分布变量的平方和服从分布。因此，有下面的极限分布
（5）
再结合前面的各部分， 不难证明：
（6）
即我们已经证明了其极限分布是自由度为J的分布。
由于（在下一节中将证明这个结果），这样：
的极限分布式与（6）的极限分布是一样的。 约去ｎ，对左边进行整理就得到沃尔德统计量W。证明完毕。
注意：沃尔德统计量W可以用J 乘以通常的F 的统计量而得到。F仍然是OLS得到的F统计量。
三、s2的一致性和Var[b]的估计量
本节证明上节用到的结果plim的假设,即证明s2对的一致性，也就是证明。展开
可得
最前面的常数显然收敛于1，括号中第一项依概率收敛于，因为：=
而且：
因为有：（定理 从具有有限均值μ和有限方差的任何总体中抽取的随机样本的均值都是μ的一个一致估计量。P357(大Green)）
所以只有在为有限的情况下，是的一致估计量。
所以我们要假设是有限的。
这意味着
单独看plims2的第二项，略微整理之后，我们有
这个统计量的大样本特性与
的相同。注意q等于乘以正态分布向量的二次型，该向量渐近方差矩阵是Q。因此，利用沃尔德统计量极限分布证明的结果，我们发现q可以写成
这样
而且，q是二阶收敛的，所以保证了概率收敛，即由此可得q本身依均方收敛于0。这表明了s2对的一致性。由此b的渐近协方差的适当的估计量是：
B的函数的渐近分布——得尔塔方法
利用泰勒展开，把f(x)线性化。
令f(b)是一组关于最小二乘估计量J个连续的线性或非线性的函数并令
G是J×K矩阵，其中第j行是第j个函数关于b的导数。利用斯拉茨基（Slutsky）定理，
并且
，
于是
（2）
实际上，渐近协方差矩阵的估计量是
如果某个函数是非线性的，则b的无偏的性质不会传给f(b)。不过从（2）中可得f(b)是f(β)的一致估计量，而且渐近协方差矩阵很容易获得。
例 P324（小Green）
小 结
有限样本和大样本的结果比较
有限样本 大样本
在条件下的结果 在不满足条件下的结果
1. E[b]=β 1.
最小二乘估计是无偏的 b是β的一致估计量
2. E[s2]=σ2 2. s2是方差的一致估计量
σ2估计是无偏的 s2是的一致估计量
3. Var[b]=s2(X′X)-1 3。
4．b的精确分布是 4. b的渐近分布是正态分布
5．统计量 5. 统计量
服从自由度为n－K的t分布 服从标准正态分布，而不是t分布
6．用于检验一组J个线性约束Rβ=q的检验统计量
服从自由度为J和n－K的F分布
6.
依分布收敛于自由度为J的统计量
非线性问题的处理：（利用泰勒展开，转换为线性）
第九章 非线性回归模型
回归模型的一般形式是
（1）
很明显，线性模型只是一种特殊情况，我们应该讨论更一般的模型（1）。
例如，
（2）
不能变换到线性形式。
1 线性化回归
非线性回归模型是
（为简化记号，我们去掉了观测值的下标）非线性回归模型的许多结果是基于在参数向量的一个特定值处（如由经验得到的数据时）对的一个线性泰勒级数来近似：
（3）
这被称为线性化回归模型。整理各项可得
令等于第k个偏微分。对于的一个给定值，这是数据而不是含未知参数的函数。于是
或
把已知项移到方程左边，可得回归模型：
（4）
有了值，我们就可以计算并通过线性最小二乘法估计（4）中的参数。
然后，进行再次的迭代和回归，直至收敛和满足我们的精度要求。
[例] 对于（2）所给的非线性回归模型，线性化方程中的回归量是
有了一组参数
可以对前面为估计而定义的三个变量进行回归。
2、非线性最小二乘估计
最小二乘法仍然是一种比较具有吸引力的估计参数的方法。对于这种估计量已经得到许多分析结果，例如，一致性和渐近正态性。然而，除了在扰动项是正态分布的情况下，我们不能肯定非线性最小二乘估计量是最有效的估计量。（这和我们对于线性模型所得的结论是一样的）下面的一些例子将说明这一点。
在继续之前，有必要关于回归量做些假设。贾奇等人（1985）和雨宫（1985）曾详细地讨论过精确的要求。在古典回归模型中，为了得到渐近结果，我们假设样本矩矩阵（1/n）X′X收敛于一个正定矩阵Q。类似地，当线性化模型中的“回归量”在真实参数值处被计算时，我们在其上附加相同的条件。因此，对于非线性回归模型，与以前类似的是
（5）
其中是正定矩阵。根据这个公式，非线性最小二乘估计量的渐近性质可以导出。实际上，除了在这种情况下我们把中的导数也作为回归量之外，它们与我们已见到的线性模型的渐近性质十分相似。
（5）中的矩阵收敛于正定矩阵的要求还附带回归量矩阵的各列是线性无关的条件。这是一个识别条件，类似于线性模型中的解释变量是线性无关的要求。
非线性最小二乘准则函数是
其中我们已经代入即将是解的b。最小化的一阶必要条件是
注意
这与线性模型的情况相同。这是非线性最优化的一个标准问题，可以用许多方法来求解。高斯—牛顿方法在这种情况下经常使用。回想我们关于线性回归模型的讨论，如果的值是可以获得的，那里所显示的线性回归模型可以用普通最小二乘法来估计。一旦回到一个参数向量，它就可以作为一个新的，计算可以继续进行。迭代可以一直进行到相邻两个参数向量的差是足够小可以认为已经收敛为止。这个方法的主要优点之一是在最后一步迭代，的估计，除了，给出了参数估计渐近方差矩阵的正确估计。的一致估计可以利用残差来计算：
（6）
（自由度校正1/（n－K）在这里没有价值，因为所有结果在任何情况下都是渐近的和的事实。
其中
渐近协方差矩阵的样本估计是
只要得到这些结果，推论和假设检验就可以按前几章中所描述的同样方式进行。在评价回归拟合值中产生一个小问题，因为
不再保证在零到1的范围内,(因为估计的误差有可能足够的大)。然而，它仍给出了一个有用的描述性度量。
第十章 非球形扰动项与广义最小二乘（GLS）
问题的提出
多元化回归模型扰动项违背古典假设的更一般的模型是广义回归模型，即假设
（1）
其中Ω是一般的正定矩阵，而不是在古典假设的情况下的单位矩阵。古典假设条件情况只是这种模型的一个特例。
我们将考察的正定矩阵Ω两种特殊的情况是异方差性和自相关。
异方差性
当扰动项有不同的方差时，它们就是异方差的，异方差性经常产生于横截面数据，其中因变量的尺度（scales）和模型解释能力在不同的观察值之间倾向于变动。我们仍然假设不同观测值之间扰动无关。因此σ2Ω是
自相关
自相关经常出现在时间序列数据中，经济时间序列经常表现出一种“记忆”，因为变化在不同时期之间不是独立的。时间序列数据通常是同方差的，因此σ2Ω可能是
非对角线上的值依赖于扰动项的模式。
普通最小二乘法（OLS）的结果
具有球形干扰项
和
（2）
重申前面的内容，普通最小二乘估计量，
（3）
是最佳线性无偏的、一致的和渐近正态分布的（CAN=Consistent and asymptotically normally distributed），并且如果干扰项服从正态分布，在所有CAN估计量中它是渐近有效的。现在我们考察哪些特性在（1）模型中仍然成立。
有限样本特性
对（3）两边取期望，如果，则
（4）
如果回归量和扰动项是无关的，则最小二乘法的无偏性不受（2）假设变化的影响。
最小二乘法估计量的样本方差是
（5）
在（3）中，b是的线性函数,因此，如果服从正态分布，则
由于最小二乘估计量的方差不再是，任何基于的推断都可能导致错误。不仅使用的矩阵是错误的，而且s2也可能是的有偏估计量。通常无法知道是比b的真正方差大还是小，因此即使有的一个好的估计，Var[b]的传统估计量也不会有用。
最小二乘法的渐近特性
如果Var[b]收敛于0，则b是一致的。使用表现良好的回归量，将收敛到一个常数矩阵（可能是0），并且最前面的乘子将收敛于0。但不一定收敛，如果它收敛，则从（5）式可推断普通最小二乘是一致的和无偏的。因此
如果都是有限正定矩阵，则b是β的一致估计量。
上述结论成立的条件依赖于X和Ω。
另一种分离这两个组成部分的处理办法是：
如果
1、X′X最小的特征根当时无限制地增加，这意味着；
2、Ω最大的特征根对于所有n都是有限的。对于异方差模型，方差就是特征根。因此，要求它们是有限的。对于有自相关的模型，这要求Ω的元素有限并且非对角线元素与对角线元素相比不是特别大。那么，普通最小二乘法在广义回归模型中是一致的。
说明普通最小二乘法是不一致的模型
假定回归模型是，其中的均值为0，方差为常数并且在不同观测值之间具有相同的相关系数。于是
矩阵X是一列1。μ的普通最小二乘估计量是=。把Ω代入（5），得
（5a）
这个表达式的极限是而不是0。尽管OLS是无偏的，但它不是一致的。对于这个模型，不收敛。由于X是一列1，因此是一个标
量，满足条件1；但是，Ω的特征根是（重数是n-1）和，不满足条件2；这个例子中模型的困难是不同观测值间有太多的相关。在时间序列情况下，我们一般要求观测值之间关于时间的相关系数随它们之间距离增加而减小。这里条件没有被满足。关于在简介中曾讨论的自相关扰动项的协方差矩阵上需要附加什么种类的要求，这给出一些很有意义的信息。
如果
（5b）
的极限分布是正态的，则OLS估计量渐近地服从正态分布。如果，那么右边项的极限分布与
（5c）
的分布相同，其中是X的一行（当然假定极限分布确实存在）。现在，问题是中心极限定理是否可以直接应用于v。如果扰动项只是异方差的而且仍是无关的，答案通常是肯定的。在这种情况下，很容易看到只要X表现良好，而且Ω对角元素是有限的，最小二乘估计量是渐近正态分布的，方差矩阵由（5）给出。对于大多数一般的情况，答案是否定的，因为（5c）中的和不一定是相互独立或是甚至无关的随机变量的和。不过，雨宫（1985）和安德森（1971）曾指出，自相关扰动项的模型中b的渐近正态性是足够普遍的，以致于包括了我们在实际中可能遇到的大多数情况。我们可以得到结论，除了在特别不利的情况
下，
b渐近地服从均值为β，方差矩阵由（5）给出的正态分布。
总之，OLS在这个模型中只保留了它的一些可取性质，它是无偏的、一致的和渐近正态分布的。不过，它不是有效。我们需要寻求b的有效估计。
广义最小二乘（GLS）
在广义回归模型中，β的有效估计需要关于Ω的知识。我们只考察Ω是已知的、对称正定矩阵的情况，这种情况偶尔会发生，但在大多数的模型中Ω包含必须估计的未知参数。
由于Ω是正定对称矩阵，它可以分解为
（6）
其中C的各列是Ω的特征向量经过正交化而得到，即CC’=I，而且Ω的特征根被放在对角矩阵中。令是对角元素为的对角矩阵。
如果令，则
用P’前乘（1）中的模型可得
或
（7）
的方差是
因此，这个变换后的模型就是一个我们熟悉的古典回归模型。由于Ω已知，所以，
是可观测数据。在古典回归模型中，OLS是有效的。
因此
是的有效估计量。这是的广义最小二乘（GLS）估计量。按照古典回归模型，我们有以下结论：
如果，GLS估计量是无偏的。这等价于，但由于P是已知常数的矩阵，即要求，也即要求回归量与扰动项是无关的，是我们模型的基本假设。
如果
（8）
GLS估计量是一致的，其中Q*是有限正定矩阵。进行替换可得
（9）
我们需要的是变换后的数据而不是原始数据X的数据。
根据（9）的假设，GLS估计量是渐近正态分布的，均值为，样本方差为
（10）
通过对（7）中的模型应用高斯—马尔科夫定理可得如下的艾特肯（1935）定理：
GLS估计量是广义回归模型中的最小方差线性无偏估计量。
有时被称为艾特肯估计量。这是一个一般性结果，当时高斯—马尔科夫定理是它的一个特例。
对于假设检验，我们可以把所有结果应用到变换后的模型（7）中。为了检验J个线性约束Rβ=q，相应的统计量是
，
其中残差向量是
而
有约束的GLS残差，基于
EMBED
（11）
总之，对于古典模型的所有结果，包括通常的推断过程，都适用于（7）中的模型。
应该注意的是：在广义回归模型中没有R2的准确对等物。不同的统计量有不同的意义，但使用它们时一定要谨慎。
可行的最小二乘估计（FGLS）
上一节的结果是基于Ω必须是已知的条件基础上的。如果Ω含有必须估计的未知参数，则GLS是不可行的。但在无约束的情况下，中有n(n+1)/2个附加参数。这对于用n个观测值来估计这么多的参数是不现实的。只有当模型中需要估计的参数较少时，即模型中Ω某种结构要简化，才可以找到求解的方法。
可行的最小二乘估计（FGLS）
具有代表性的问题涉及到一小组参数，满足。例如，只有一个未知数，其常见的表达形式是
，
一个也只包含一个新参数的异方差模型是
接下来，假定是的一致估计量（如果我们知道如何求得这样的估计量）为了使GLS估计可行，我们将使用
替代真正的。我们所考虑的问题是利用是否要求我们改变上节的某些结果。
如果，利用似乎渐近等价于利用真正的(根据slutsky定理)。当然我们还需要满足一些其他的相应的条件。令可行广义最小二乘（或FGLS）估计量记为
那么，渐近等价于的条件是
EMBED （18）
和
（19）
如果（7）中变换后的回归量表现良好，则（19）右边服务从极限正态分布。这正是我们求最小二乘估计量的渐近分布时所利用的条件。因此，当替时（19）要求同样的条件成立。
这些是必须逐个情况进行核实的条件。但在大多数情况中，它们的确成立。如果我们假设它们成立，基于的FGLS估计量与GLS估计量具有同样的渐近性质。这是一个相当有用的结果。特别地，注意以下结论：
1、一个渐近有效的FLGS估计量不要求我们有的有效估计量，只需要一个一致估计量。
2、除了最简单的情况，FGLS估计量的有限样本性质和精确分布是未知的。FGLS估计量的渐近有效性在小样本的情况下可能不再成立，这是因为由估计的引入的易变性。对于异方差情况的一些分析由泰勒（1977年）给出。自相关的模型由格涅里切斯和拉奥（1969年）做了分析。在这两项研究中，他们发现对于许多类型的参数，FGLS比最小二乘更为有效。但是，如果偏离古典假设不太严重，在小样本情况下最小二乘可能比FGLS更有效。
四）异方差的检验异方差的多数检验均基于下述策略
即便存在异方差性，普通最小二乘也是的一致估计量。所以，尽管由于抽样变化而不是十分完美，普通最小二乘残差仍将非常近似于真实扰动的异方差。因此，在大多数情况下，为判定异方差性是否存在而设计的检验均采用普通最小二乘残差。
一、怀特的一般检验(White’s General Test)
能对下述一般假设进行检验是乎是合理的检验
对所有i
用n个样本对n个参数的模型进行的估计，是一件十分困难的事，因此，对这种检验是极具挑战性的。但这种检验已经被怀特于1980年设计出来。
异方差条件下的最小二乘估计量（OLS）的协方差矩阵是：
我们可用如下式对它加以估计
Est.
如果不存在异方差性，最小二乘估计量（OLS）的协方差矩阵是：
Var[b]=
可得到Var[b]的一个估计量，
方法：将对一个常数X中所有的单一变量的组合组成的变量进行回归，得到nR2。
这个统计量渐近地服从P-1 个自由度的卡方分布，即nR2～x2(P－1)，（Why？），其中R2=SSR/SST，P为回归量的数量，但不包含常数。
怀特检验极为一般。为进行此检验，我们不需对异方差的性质作任何特定的假设。尽管这是优点，但同时也是极为严重缺点。怀特检验可揭示异方差性，但也可能导致简单地识别某些其他的设定误差（如从一个简单回归中省略）。此外，不同于我们要讨论的其他检验，怀特检验是非建设性，如果我们拒绝同方差假设，检验的结果对我们下一步应当做什么没有任何启示。
二、戈德菲尔德一匡特检验(The Goldfeld-Quandt Test)
另外两个相对一般性的检验是戈尔德一匡特检验（1965）和布罗施一帕甘（1979）拉格朗日乘数检验。
对于戈德菲尔德一匡特检验，我们假设观测值的扰动方差相同，而在备择假设情况下，扰动方差可存在系统性差别。此检验最理想的情形是组间异方差模型或者对某变量满足的这类模型。以该为基础对观测值进行排列，可将观测值分成高方差和抵方差两部分。通过将样本分成具有和个观测值的两组来进行此检验。为获得统计上独立的方差估计量，回归是采用两组观测值分别进行估计的。该检验统计量为：
，
其中我们假定第一个样本中的扰动方差大于第二组（若非如此，可变换下标）。在同方差的零假设情况下，此统计量为自由度是的分布。可将样本值对照标准表，若样本值较大，则可拒绝零假设，这样检验就完成了。
提请注意的是：如果扰动项是正态分布的，戈德菲尔德一匡特统计量在零假设下严格服从分布，且该检验的名义值是合适的；但如果扰动项不是正态分布，则分布是不适当的，需要具有已知大样本性质的某些备择方法。
PAGE
PAGE 4
