第九章 对数极大似然估计
对数极大似然估计的基本原理
对数极大似然估计方法
用对数极大似然估计来估计一个模型，主要的工作是建立极大似然函数形式，利用
EViews 可以方便地估计出未知参数。
一元线性回归模型的极大似然函数
举个简单的例子，普通的线性回归模型：
()
这里， 是观测序列，而 是模型的参数。有 T 个观测值的样本的对数似然函
数（观测值密度的对数）可以写成：
()
注意到，我们能将对数似然函数写成每个观测值 t 的对数似然贡献的和的形式：
()
这里每个观测值的贡献由下面的式子给出：
()
),0(~
T,2,1,t
2
10
ut
ttt
Nu
uxy
yx, 10 ,
T
t u
tt
uu
xyT
l
1
2
2
102
2
)(
)log)2(log(
2
),(
),(),(
1
T
t
tll
)log(
2
1
log),( 210 u
u
tt
ut
xy
l
第三部分 扩展的单方程分析
2
AR(1)模型的极大似然函数
一阶自回归过程有如下形式，记作 AR(1)：
()
其中 是一个白噪声过程，即 ～ 。在此情形下，总体参数向量为
。
首先考察样本中第一个观察值 的概率分布。由于在 时，存在一个满足（）
的协方差平稳过程，此时，
，
所以，第一个观察值的密度函数形如
()
① （美）斯蒂格利茨，经济学，p89 页。
例 普通最小二乘方程的极大似然估计
我们选择凯恩斯消费函数①作为例子，分析普通回归方程的极大似然估计方法。消费函
数的因变量选为城镇消费（cc），而城镇人民收入（ci）作为自变量，样本为从 1978 年到 2000
年的年度数据。
首先利用最小二乘法，估计了一个普通的回归方程，结果如下：
（） ()
= 对数似然值 = AIC = SC = .=
利用前面的公式()，我们可以写出这个方程的极大似然函数，进行极大似然求解之
后，我们得到了城镇消费和城镇收入之间的回归方程，得到的结果是：
（） ()
对数似然值 = AIC = SC =
观察两个方程的系数值发现最小二乘方法和极大似然函数估计的结果几乎没有什么区
别，但是由于初值选择的不同，所以产生了统计量的差异。
ttt YcY 1
t t ),0(.
2N
),,( 2 cθ
ty 1
)1()E( 1 cY )1()var(
22
1 Y
22
2
1
22
2
11
12
1
exp
)1(2
1
,,;;
11
cy
cyfyf YY θ
ˆ tt cicc
2R
ˆ tt cicc
接下来考虑第二个观察值 在观察到 的条件下的分布。由（）
()
可以将随机变量 视做确定性常数 。在此情形下，（）给出 作为常数 和
随机变量 的和。因此
～ ，
。 ()
一般地， 只通过 对 起作用，第 t 个观察值以前 t -1 个观察值为条件
的分布为：
()
完全样本的似然函数为
()
其对数似然函数（记作 log ）可由（）取对数求得：
()
将（）和（）代入（），得到样本量为 T 的 AR(1)过程的对数似然函数：
()
2Y 11 yY
212 YcY
1Y 1y 2Y 1yc
2
112 yYY 21 , ycN
2
2
12
212 2
exp
2
1
;
12
ycy
yyf YY θ
121 ,,, tYYY 1tY tY
2
2
1
2
1
111,,
2
exp
2
1
);(
;,,,
1
212
tt
ttYY
tttYYYY
ycy
yyf
yyyyf
tt
tt
θ
θ
T
t
yyfyf
yyyf
ttYYY
TTYYY
tt
TT
2
);(),(
);,,(
11
11,,,
11
111
θθ
θ
)(θL
θθθ ;log);(log)(log 1
2
1 11
tt
T
t
YYY yyfyfL tt
T
t
tt t
ycy
TT
t
cy
L
2
2
2
12
22
2
122
1
2
)log(2)1()2log(2)1(
1
)1(2
)1(
)1(log
2
1
)2log(
2
1
)(log
θ
第三部分 扩展的单方程分析
4
例 AR (1 )模型的极大似然估计
设 Y 的数据生成过程为：
其中 是一个白噪声过程，即 ～ 。AR(1)过程
的样本量为 T 的对数似然函数为()式，总体参数向量为 。
利用极大似然估计方法估计的 AR (1)模型，可以得到如下的结果：
() ()
对数似然值 = AIC = SC =
GARCH（p, q）的极大似然函数
标准的 GARCH（p, q）模型的形式为：
()
要想写出 GARCH（p, q）模型的极大似然函数，首先要分析扰动项 的密度函数。为
了方便起见，我们对方程 () 采用另外一种方法来表示，它对 的序列相关施以更强
的假定。假定；
()
这里， 是一个 i. . 序列，其均值为 0，方差为 1：
如果 的变化服从
ttt YY
t t ),0(.
2N
ttt YcY 1
),,( 2 cθ
),,( θ
ttt YY
p
j
jtj
q
i
itit
ttt
u
uxy
1
2
1
22
tu
tu
ttt vhu
}{ tv
0)E( tv 1)E(
2 tv
th
)(
()
那么 () 意味着，
()
因此，如果 是由 () 和 () 产生的话，那么 服从 GARCH（p, q）过程，并且
线性投影 () 是其条件期望。
如果 ～ ， 的条件分布为正态分布，其均值为 ，方差为 ，则其
密度函数为:
()
式中 Yt 表示 t -1 时刻前的信息集合，
()
将欲估计的未知参数列成一个向量：
则样本对数似然函数是
()
但是，很多金融时间序列的无条件分布不同于正态分布，它们具有更宽的尾部，也就
是说，即使 () 中的 为正态分布， 的无条件分布也是一个非正态分布。大量事实
表明， 的条件分布也常常是非正态的。
对于非正态分布可以使用原来的基本方法。例如，博勒斯莱文（1987）认为 ()中
的 可以取自一个自由度为 k 的 t 分布，k 可视作由极大似然函数估计的参数。如果 是一
具有 k 个自由度的 t 分布，当 时，其密度函数为 ①
()
① 参见（美）詹姆斯 D. 汉密尔顿 著， 刘明志译，中国社会科学出版社，1999 年 12 月，p419-p423 页。
式中 代表 函数。
2
1
2
1
it
p
i
jit
q
i
it uh
,,E 212 ttt uuu 2
1
2
1
it
p
i
iit
q
i
iu
tu tu
tv 1, N ty tx th
t
tt
t
tt h
xy
h
yf
2
)(
exp
2
1 2
Y
it
p
i
iitit
q
i
it hxyh
1
2
1
)(
),,,,,,,( 11 pq θ
T
t
ttt
T
t
t hxyh
T
L
1
2
1
)(
2
1
)log(
2
1
)2log(
2
)(log θ
tv tu
tu
tv tu
2k
2)1(2
2121
21 )2(
12
)2(
]2)1([
)(
k
t
t
tt kh
u
hk
k
k
uf
第三部分 扩展的单方程分析
6
该密度函数可用来取代（）中的正态设定，未知参数向量变为：
这样，样本对数似然函数就变成：
()
这样对数似然函数 () 在 的约束下关于 数值最大化。
例 GARCH (p, q ) 模型的极大似然估计
根据方程（）中描述的 GARCH (p, q )模型和 () 式的极大似然函数，利
用极大似然估计方法重新估计的股票价格指数的 GARCH (1, 1) 模型，可以得到未知参数
向量如下的结果：
均值方程：
（）
方差方程：
（） （） （）
对数似然值 = 3056 AIC = SC =
),,,,,,,,( 11 kpq θ
T
t t
tt
T
t
t
T
t
tt
kh
xyk
hk
k
k
Tyf
1
2
1
21
21
1
)2(
)(
1log
2
1
log
2
1
2
)2(
2)1(
log);(log
θY
2k ,k
),,,,,,,,( 11 kpq θ
)log()ˆlog( 1 tt spps
2
1
2
1
52 ˆˆˆ
ttt u
