（财务知识）北京大学经济
学院极大似然估计
第二章极大似然估计（MLE）
第 0节基础知识回顾：OLS
一．例子
假设一个基金的投资组合(“基金XXX”)的超额回报和股市指数的超额回报，有如下的
数据:
Y ear, t Excess return
= rX X X ,t – rft
Excess return on m arket index
= rm t - rft
1
2
3
4
5
直觉上，该基金的beta(beta测量股票对股市指数的反应)应该是一个正数，我们希望证实这
种关系。
画这2个变量的散点图：
对于一条直线，可以用以下的方程,来拟合数据。
y=a+bx
不过这个方程(y=a+bx)是完全确定的，与实际情况不符合。要在这个方程里加入一个挠动项。
yt=+xt+ut
式中t=1,2,3,4,5
用直线来拟合数据最常用的方法是普通最小二乘法(ordinaryleastsquares，OLS)：取
每个数据点到拟合直线的垂直距离，选择参数、，使得平方距离最小化(leastsquares)。
挠动项能够反映数据的一些特征:我们经常会忽略一些影响yt的因素，不可能把影响yt的
所有的的随机因素都在模型中考虑。
求解两个参数：
这就是OLS。整理得到：
在上例中，把数据代入公式得：
根据这个结果，如果预期下一年的市场回报将会比无风险回报高20%，那么你预期基金XXX的
回报将会是多少?
ˆ iy
二．概念：线性和非线性
运用OLS,要求模型对参数(和)是线性的。“对参数线性”意味着参数之间不能乘、除、
平方或n次方等。
在实际中变量之间的关系很有可能不是线性的。某些非线性的模型可以通过变换转化为线性
模型，例如指数回归模型：
令yt=lnYt及xt=lnXt
但是，很多模型从本质上讲是非线性的，例如：
三．OLS的优良性质
在OLS回归模型中，对ut(不可观测的误差项作如下假设)作如下架设:
解释
(ut)=0误差项的均值为零
(ut)=2误差项的方差是常数
(ui,uj)=0误差项相互独立的
(ut,xt)=0误差项和解释变量不相关
以上假设成立时，OLS有如下三个良好性质。
一致性
最小二乘估计是一致的。这意味着，当样本数趋向于无穷大时，估计值将收敛于它们的
真实值（需要假设E(xtut)=0和Var(ut)=2<）
无偏性
最小二乘估计式是无偏的，意味着估计值的期望等于真实值.
E()=andE()=
为了保持无偏性需要假设E(ut)=0和Cov(ui,uj)=0。无偏性比一致性更强。
有效性
在所有的线性无偏的估计式中，OLS估计式的方差是最小的，即OLS估计的参数与真实值
出现大的偏差的概率最小。
四．统计推断
用标准误差来度量参数估计值的可靠程度。在假设 1-4成立的条件下，估计值的标准误
差可以写成
其中 s是残差的标准误差。
假设utN(0,2)，则OLS统计量服从正态分布：
N(,Var())
N(,Var())
如果挠动项不服从正态分布，最小二乘的估计式还是正态分布吗？样本数足够大时，答案是：
是的。
从估计式和构造标准正态分布：
但是，由于不知道var()和var(),我们用下面的分布加以替代。
t分布和标准正态分布之很相似。这 2种分布都是对称的，并且均值都为零。t分布多了一
个参数：自由度(样本总观测数-2)。当一个 t分布的自由度是无穷大时，它等于标准正态分
布。
用置信区间进行假设检验
在显著性检验中，下面的情况下接受零假设 H0：=*，即统计量落在非拒绝域内，
+
% rejection % rejection region
f(x)
如果我们能够以 5%(或者 10%)的置信水平拒绝某个检验的零假设，则称这个检验在统计上是
显著的.
在这个过程中，我们可能会犯2种错误:
1.当H0是正确的时候，我们拒绝了它，第一类错误.
2.当H0是错误的时候，我们没有拒绝它，第二类错误.
犯第一类错误的概率是.回忆显著性水平的含义：当零假设是真的情况下，统计量落在拒绝
域内的概率只有。
但第二类错误的概率常常不能确定。一般而言，当我们降低第一类错误概率的同时也提高了
第二类错误的概率。
第一节引言
考虑 ARMA模型：
（1）
其中。前面我们假定知道总体参数，此时利用过程（1）进行预测。
本章我们要研究在仅能观测到序列的情况下，如何估计。估计方法为极大似然估计。令
表示总体参数向量。假定我们观察到一个样本量为的样本。写出样本的联合概率密度函数：
（2）
这是观察到样本发生的概率。使得“概率”最大的值就是最优估计——这就是极大似然估计
的思想。
极大似然估计需要设定白噪声的分布。常常假定是高斯白噪声，则得到的函数为高斯似
然函数。
极大似然估计的步骤：
1）写出似然函数（2）。
2）利用求极大值方法求使得函数值最大的值。
第2节高斯过程的似然函数
一．计算高斯过程似然函数
高斯过程的表达式为
（3）
其中。参数为。
观察值的均值和方差分别为和。因为，因此也是高斯分布。其概率密度函数为
（4）
对于第二个观察值在观察到条件下的分布。根据（3），
（5）
此时，其概率密度函数为
（6）
观察值和的联合密度函数就是（4）和（6）的乘积：
（7）
同样
（8）
（9）
一般地，
（10）
则前个观察值的联合密度为
（11）
全部样本似然函数为
（12）
进行对数变换，得到对数似然函数：
（13）
将（4）和（10）代入（13），得到
（14）
二．似然函数的矩阵表示
观察值写成向量形式为：
（15）
可以看作是为高斯分布的单个实现。其均值为
（16）
这里。表示成向量形式为：
其中表示（16）的右边的向量。的方差协方差矩阵为：
（17）
其中
（18）
该矩阵中的元素对应于的自协方差。
将样本看作由分布的一个抽样，似然值可根据多元高斯密度公式直接写成：
其对数似然值为：
这本质上和（14）是相同的。
理论上，对方程（14）求导并令导数为零，就可得到参数向量。而在实践当中，往往得
到的是的非线性方程。此时求解需要格点（grid）搜索等数值优化方法。
四．条件极大似然（）函数
如果将的值看作确定性的，然后最大化以第一个值为条件的似然值，这种方法称为条件
极大似然函数。此时最大化目标为：
等价于最小化：
这与回归的结果一样。
已知参数估计值，下一步关于求导数
得到
这也是 OLS估计下的残差方差。
条件极大似然估计的特点：
1．易于计算。
2．样本量足够大，则第一个观测值的影响可以忽略。
第三节高斯 ARMA过程的条件似然函数
一．条件似然函数
其中。参数向量为。
以前个观察值为条件的对数似然函数为：
求使得最大化问题转变为最小化：
非高斯时间序列的极大似然估计（拟极大似然估计）
1.如果残差过程非高斯的，使用高斯对数似然函数得到的估计为总体参数的一致估计。
2．拟极大似然估计得到的系数的标准差不正确。
二．条件似然函数
对于高斯过程
其中。表示要估计的总体参数。如果已知，则
其概率密度函数为：
如果已知，则：
给定观察值，则就是确定的：
于是
已知的话，可由下式求出：
通过迭代法由求出整个序列：
样本条件对数似然函数为
三．高斯过程的条件似然函数
对于过程
假设前项的全为零：
于是
其中。令表示向量。条件对数似然函数为：
其中。
四．的条件似然函数
对于高斯过程
其中。参数向量为。
自回归过程的似然函数的近似以的初始值为条件，移动平均过程似然函数的近似以的初
始值为条件。过程以和的初始值为条件。
假设初始值和给定，则利用实现，迭代得到：
可得的序列。则条件似然函数为：
五，选择模型的标准
1）AIC准则（Akaike信息标准）
2）BIC准则
3）HQ准则
第四节极大似然估计的统计推断
一．极大似然估计参数的标准差
如果样本量足够大，则极大似然估计近似表示为：
其中代表真实参数向量。矩阵称为信息矩阵，其估计值为：
其中为对数似然函数。
二．似然比（LR）检验
假设原假设：参数向量中存在个限制（例如某些系数等于零）。分别求出无限制极大似
然估计、限制情况下的极大似然估计。明显 L()>L()，检验统计量为：
2[L()-L()]
利用显著性检验法和置信区间法可以对原假设进行检验。
标准差检验（Wald检验）需要计算无限制极大似然估计。似然比检验既要计算有限制极大似
然估计量，又要计算无限制极大似然估计量。
感谢阅读
