第 2O卷第 2期
2006年 4月
高等函授学报(自然科学版)
Journal of Higher Correspondence Education(Natural Sciences)
VoI_2O No.2
April 2006
文章编号 :1006—7353(2006)02—0022(06)一02
参数极大似然估计的几点注记
张忠诚
(黄冈师范学院 数学系,湖北 黄州 438000)
摘要:极大似然估计具有很好的性质,在实际中有非常广泛的应用。本文着重探讨了在应用极
大似然估计时所应注意的问题,并给出了相应的解决方法。
关键词 :参数估计 ;似 然函数 ;唯 一性
中图分类号 :O211 文献标识码 :A
参数极 大似然估计[1]最 早是 由高斯 (C.F.
Gauss)所提出的,它是建立在极大似然原理的基
础上的一个统计方法 ,并且所得到的极大似然估
计具有很好 的性质,如一致性 、有效性和不变性 ,
从某种意义上来说没有比极大似然估计更好的参
数估计,极大似然估计方法在实际中有非常广泛
的应用 。对极大似然估计 问题进行深入研究是很
有必要的,文[2]讨论了极大似然估计的一般计
算方法和技巧,本文着重探讨在应用极大似然估
计时所应注意的问题。
1.极大似然估计的几点注记
1.1必须确定出总体分布的概率函数
在进行极大似然估计时,依极大似然估计的
方法,必须构造出相应的似然函数,而似然函数的
构造必须依据总体的分布,因此首先必须确定总
体分布的概率函数。对于离散型总体分布,要求出
离散型随机变量的取值与取该值的概率的解析表
达式;对于连续型总体分布 ,要求出其概率密度。
1.2注意似然 函数的一般形式和特殊形式的转换
设总体X为具有参数 的概率函数{f(x, ):
∈@),取样本观察值 z。,z。,⋯ ,z ,则:
L(O;x。,z。,⋯,z )一Ⅱf(x ; ) (*)
i = 1
称为关于参数 0的似然函数 。
这里要特别注意(*)式中的样本观察值 z。,
z。,⋯,z ,既可 以是一般的观察值变量 ,也可以是
具体的一组样本观察值。在构造似然函数时,对于
给出的一般样本观察变量很容易按 (*)式直接
写 出似然函数,但 如果给 出的是一组具体的观察
值时,反而不知如何写出似然函数 。因此 ,在实际
应用时应注意(*)式中样本观察值 z。,z。,⋯ ,.27
的意义 。
1.3极大似然估计不一定存在
极大似然估计就是求似然 函数的极 大值点 ,
似然函数是样本的联合分布密度,似然方程是似
然函数的导函数为零的函数。导函数为零的点只
是函数的驻点,而驻点未必是函数的极大值点,所
以似然方程的解未必是极大似然估计 ,也即极大
似然估计不一定存在。因此通过解似然方程的方
法求极大似然估计 时,需要验证似然方程的解是
否是似然函数的极大值点。
1.4极大似然估计不具备唯一性
求参数 的极大似然估计,按定义实际上是依
据样 本观察值 z。,z。,⋯,z 构造 出似然 函数 式
(*),再求出使(*)式达到最大值的参数 的值,
而使函数值达到最大值的点有时不止一个,如取
常数值的函数。因此,参数的极大似然估计也不具
备唯一性 。
2.举例
例 1 袋中装有黑、白两种颜色而大小、形
* 收稿日期:2006—01—10
基金项目:湖北省教育厅重点项目(2004D001)
作者简介:张忠诚(1963一 ).男,湖北蕲春人,副教授,主要从事概率统计教学及其研究工作。
22
维普资讯
第 2O卷第 2期
2006年 4月
高等函授学报(自然科学版)
Journal of Higher Correspondence Education(Natural Sciences)
Vo1.2O NO.2
April 2006
状相同的球 。有放回地抽取一个容量为 n的子样 ,
其中有 k个白球。求袋中黑球数和白球数之比R
的最大似然估计。
解 设袋中有 z个 自球 ,则有Rx个黑球 ,因
此袋 中共有(R+ 1)z个球 。从袋中有放 回地抽一
个白球的概率为z/[(R+1)x-l一1/(R+1),抽一
个黑球的概率为P,x/E(R+1)x-l—R/(R+1).由
题意可认为总体 X服从两点分布 :
X 0 1
P 1/(R+ 1) R/(R+ 1)
有放回地抽取一个容量为 n的子样 ,其中有
k个白球,这是一组具体样本观察值,于是得到似
然函数 :
:== (研1) (南 )
一 垦二:
(R + 1)“’
两边取对数后对R求导数,并令其为零可解得:
= 。
n
— 1.
经验证R是R的极大似然估计。
例 2 设 X ,zz是取 自柯西(Cauchy)分布 :
f(x; )一 1
丌[1+( c9 ’
O2
,
。 一 —
E
—
(x
— —
l
—
+
— —
x
—
z
—
)
—
+
_
— —
~ /
-
(x
— —
l
—
-
— —
x
—
2
—
)2
— —
-
— 一
4-]
.
根据极值判断法,由ElnL(O)] 的符号可知:
当 为0的极大似然估计时,O2,。不是 0的极大似
然估计;反之,当O2,。为0的极大似然估计时,01不
是 0的极大似然估计。这说明参数0的极大似然估
计是不唯一的。
例3 设总体 X的概率密度函数为
, 一 J 专≤z≤ 吉,
【0,其他,0是未知参数
(z ,zz,⋯,z )是来自该总体的样本值,求参数 0
的极大似然估计。
解 似然函数为
L( )一IIf(x , )
一
, 一
1≤ zc ,zcn ≤ +专
.
【0,其他
这里 z(1】一 m
.
in
. xl,x( )一max.~f.由极大似然估
计定义知,0应满足:
0一寺≤X(1】,X( )≤0+百1,
一 。。< <。。 即 zc 一丢≤ ≤z⋯+ 1.
的样本,求参数 。的极大似然估计。
解 似然函数为
L( )一 可1 ,
取对数得
lnL(O)一一ln丌一ln[1+(z1一 ) ]一ln[1+
(z2一 ) ],
两边对 求导数,并令其为零得
[-lnL(O)-] 一一2(x1+z2—20)[ 一(z1+
X2) +X1z2+1]
== 0
解得 ol一 ,
因此凡满足上述不等式的估计量 都可作为
0的最大似然估计。但当X 一百1> X㈨+ 时,
厶 厶
的极大似然估计不存在。
参 考 文 献
E13魏宗舒.概率论与数理统计教程[M].北京:高等教
育 出版 社,2001.
Ez]张忠诚.两种情形下参数的极大似然估计[J].高等
函授学 报(自然科学版),2005,(2).
[3]沈恒范.概率论与数理统计[M].北京 :高等教育出
版社 ,200i.
23
维普资讯