估计废品率
估计新生儿的体重
估计湖中鱼数
… …
估计降雨量
在参数估计问题
中，假定总体分
布形式已知，未
知的仅仅是一个
或几个参数.
数理统计的基本问题是根据样本所提供的信息对总体分布及分布的数字特征作出统计推断，即对总体作出估计。 参数估计
第6章 点估计
这类问题称为参数估计.
参数估计问题的一般提法
要依据该样本对参数
作出估计, 或估计
的某个已知函数 .
现从该总体抽样，得样本
设有一个统计总体 , 总体的分布函数为
F( x, ) ，其中 为未知参数 ( 可以是向量) .
参数估计
点估计
区间估计
点估计思想与概念
随机抽查100个婴儿 ,
…
得100个体重数据
10,7,6,,5,, …
呢 ?
据此,我们应如何估计
和
而全部信息就由这100个数组成 .
例1 已知某地区新生婴儿的体重 ，
为估计 :
我们需要构造出适当的样本的函数 ， 每当有了样本，就代入该函数中算出一个值，用来作为 的估计值 .
把样本值代入 中，得到 的一个
点估计值 .
称为参数
的点估计量，
我们知道,若 ,
由大数定律,
自然想到把样本体重的平均值作为总体平均体重的一个估计.
样本体重的平均值
则 .
类似地，用样本体重的方差 估计 .
用样本体重的均值 估计 .
使用什么样的统计量去估计 ？
可以用样本均值;
也可以用样本中位数;
还可以用别的统计量 .
问题是:
寻求估计量的方法
1. 矩估计法
2. 极大似然法
3. 最小二乘法
4. 贝叶斯方法
……
这里我们主要介绍前面两种方法 .
概率函数
参数空间
矩法估计
矩估计法思想
矩估计法是英国统计学家K.皮尔逊
最早提出来的 .
由辛钦定理 ,
这表明 , 当样本容量很大时 , 在统计上 , 可以用
用样本矩去估计总体矩 . 这一事实导出矩估计法.
定义1
用样本原点矩估计相应的总体原点矩 , 又
用样本原点矩的连续函数估计相应的总体原点矩的
连续函数,
这种参数点估计法称为矩估计法 .
理论依据:
大数定律
矩估计法的具体做法如下
都是这 k 个参数的函数,记为：
从这 k 个方程中解出
矩估计量的观察值称为矩估计值 .
即可得诸 的矩估计量：
解:
例1
即
解得
于是 a , b 的矩估计量为
总体矩
样本矩
解:
例2
解得
样本矩
总体矩
于是 的矩估计量为
解:
例3 设总体 的概率密度函数为
其中 未知，求 的矩法估计.
由此得：
将 代入，得
解: 1）
例4 设总体
由此得：
1）若n已知，p未知，求p的矩估计量;
2）若n，p均未知，求n，p的矩估计量。
p的矩估计量为
2）
由此得：
解得：
它是在总体类型已知条件下使用的一种参数估计方法 .
它首先是由德国数学家高斯在
1821年提出的 .
Gauss
Fisher
然而,这个方法常归功于英国统计学家费歇 .
费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质 .
极大似然估计法
1、最大似然法的基本思想
先看一个简单例子：
一只野兔从前方窜过 .
是谁打中的呢？
某位同学与一位猎人一起外出打猎 .
如果要你推测，
你会如何想呢?
只听一声枪响，野兔应声倒下 .
你就会想，只发一枪便打中, 猎人命中的概率一般大于这位同学命中的概率 . 看来这一枪是猎人射中的 .
这个例子所作的推断已经体现了极大似然法的基本思想 .
概率最大的事件最有可能发生。
2 似然函数
定义1
称函数：
为似然函数。
等价定义：
当给定样本 时，定义似然函数为：
定义1’ 设 是取自总体 的一个样本，样本的联合密度(连续型）或联合分布律 (离散型)为 p (x1,x2,… ,xn ; ) .
p (x1, x2 ,…, xn; )
这里 x1, x2 ,…, xn 是样本的观察值 .
似然函数：
看作参数 的函数，它可作为 将以多大可
能产生样本值 x1, x2,… ,xn 的一种度量 .
p (x1,x2,…, xn; )
3 极大似然估计 （M .L .E)
定义2：
两点说明：
1、求似然函数 的最大值点，可以应用微积分中的技巧。由于ln(x)是 x 的增函数, 与 在 的同一值处达到它的最大值，假定 是一实数，且 是 的一个可微函数。通过求解似然方程：
可以得到 的 .
若 是向量，上述方程必须用方程组代替 .
2、用上述求导方法求参数的有时行不通，这时要用最大似然原则来求 .
下面举例说明如何求最大似然估计
L(p)= f (x1, x2,…, xn; p )
例1 设 是取自总体 ~B(1, p) 的一个样本，求参数p的最大似然估计量.
解：似然函数为:
对数似然函数为：
对p求导并令其为0，
=0
即为 p 的最大似然估计值 .
从而 p 的最大似然估计量为
得
(4) 在最大值点的表达式中, 用样本值代入就得参数的最大似然估计值 .
求最大似然估计()的一般步骤是：
(1) 由总体分布导出样本的联合分布率(或联合密度);
(2) 把样本联合分布率 ( 或联合密度 ) 中自变
量看成已知常数,而把参数 看作自变量,得到似然
函数 ;
(3) 求似然函数 的最大值点(常常转化为求 的最大值点) ，即 的;
例2
解：设
于是
似然函数
两边取对数得
似然方程
解方程得
故
的为：
例3
解：（1）设
总体的概率函数为
于是似然函数
取对数
于是似然方程
解得
即得 的为：
对
求导得
解得：
于是
的极大似然估计为
(2)
取对数
似然方程
解得：
所以
的为
例4
解：设
似然函数
要使
达到最大，须
达到最小，但
不能小于
，否则
便不是来自均匀总体，另一方面，
是单减函数，故
当
定理2 （渐近正态性） （P272—273）
定理1 （）的不变性
3 极大似然估计的性质
三、课堂练习
例1 设总体 的概率密度为
其中 是未知参数 ,
是取自 的样本,
求参数 的矩估计.
解 由密度函数知
例 2 设 是取自总体 的一个样本
其中 > 0 , 求 的矩估计.
具有均值为 的指数分布
即
E(X- ) =
D(X- )=
E(X)=
D(X)=
故
解
样本矩
总体矩
解得
的矩估计量为
故
解得
也就是
E(X)=
D(X)=
的矩估计量为
于是
解 似然函数为
对数似然函数为
例3 设 是取自总体 的一个样本
求 的最大似然估计值.
其中 >0,
求导并令其为0
=0
从中解得
即为 的最大似然估计值 .
对数似然函数为
这一讲，我们介绍了参数点估计, 给出了寻求估计量最常用的矩法和极大似然法 .
参数点估计是用一个确定的值去估计未知的参数 . 看来似乎精确 ，实际上把握不大 .
四、小结
(2) 怎样决定一个估计量是否比另一个估计量“好”？
这就需要讨论以下几个问题:
(1) 我们希望一个“好的”估计量具有什么特性？
(3) 如何求得合理的估计量？
引例
估计量的评选标准
无偏性
有效性
均方误差
一致性
估计量评选方法
估计量的评选标准
在介绍估计量的评选标准之前，我们必须强调指出：
评价一个估计量的好坏，不能仅仅依据一次试验的结果，而必须由多次试验结果来衡量 .
这是因为估计量是样本的函数, 是随机变量 . 因此，由不同的观测结果，就会求得不同的参数估计值. 因此一个好的估计，应在多次试验中体现出优良性 .
估计量是随机变量，对于不同的样本值会得到不同的估计值 . 我们希望估计值在未知参数真值附近摆动，而它的期望值等于未知参数的真值. 这就导致无偏性这个标准 .
一、无偏性
定义1
例如，用样本均值作为总体均值的估计时，虽无法说明一次估计所产生的偏差，但这种偏差随机地在0的周围波动，对同一统计问题大量重复使用不会产生系统偏差 .
无偏性是对估计量的一个常见而重要的要求 .
无偏性的实际意义是指没有系统性的偏差 .
定义2
定理1
注：
例1
解：由引例可知，
于是
若取
注：
1°
2°
所以无偏估计以方差小者为好, 这就引进了有效性这一概念 .
的大小来决定二者谁更优 .
和
一个参数往往有不止一个无偏估计, 若
和
都是参数 的无偏估计量，
我们可以比较
由于
二、有效性
定义3
例如：注 2°中
例2
试证：
证明：（1）
（2）由Schwarz不等式 ，得：
因此，（2）成立.
例3 讨论例1中 哪个更有效.
解：
三、均方误差
定义4
注 ：
例4 讨论例1中未知参数 的矩法估计和 在均方误差意义下哪个更有一些？
解：由例1可知，
则
所以
四、一致性
定义5
注 ：
例5 讨论例1中
解：①
②
由契贝晓夫不等式
例6
证明：
Rao-Cramer不等式
一 、一致最小方差无偏估计
定义1
如果存在
问题：
1) 一个无偏估计的方差是否可以任意小？
2) 如果不可以，其下限是什么？
3) 什么条件下方差下界存在？
二 、Rao-Cramer不等式
定理1 设 为取自具有概率函数
的总体 的一个样本，
a,b为已知常数，可以设
，又
是 的一个无偏估计，且满足正则条件：
1）集合
与 无关；
存在，且对一切
2）
3）令 称为信息量，则 有
当 时，有
此不等式称为罗—克拉美不等式，也称为信息不等式。
注：
1°若
是离散型随机变量，
相应的积分号改为求和号。
2°在使用R-C不等式时可不必验证2）是否成立，因为在一
般情况下，当1）成立时2）自动满足。
3°满足1）、2）假定的估计量称为正规估计。
4°R-C下界不是所有无偏估计的下界，而是无偏估计类中一
个子集 ——正规无偏估计的方差下界。
5°R-C的重要作用—达到R-C下界的估计量一定是UMVUE.反
之不然。即UMVUE不一定达到R-C下界。
6° 信息量的意义
当
越大，
越小估计精度高，而
则认为模型本身所含的信息量较多，或者说
易认识，
反应了模型中含有信息的量。
所以可视
性质：若
则
三 、有（优）效估计
定义2 若
的一个无偏估计使罗—克拉美不等式中
等式成立，即
则称
的有效估计。
定义3 （有效率）若
估计，则称
注：
1）显然
可见使有效率e=1的无偏估计必为
的有效估计。
2）若
则称
的渐进有效估计。
例1、设母体
为未知参数，
的无偏估计的方差下界。
试求
解：
的概率函数为
因此
所以方差下界为：
所以，
达到了C-R下界，
例2
解：（1）
与参数
而
达到了C-R下界，
(2)
所以，
的无偏估计的C-R下界为
（3）
例3
（1）试求：
的极大似然估计。
（2）证明：
的极大似然是有效估计。
（1）解：似然函数
似然方程
解得：
所以，
由MLEd的性质知，
（2）
又因为
故参数
的C-R下界为
恰好达到了C-R下界，所以
的有效估计。
充分统计量
构造统计量作为参数的点估计，试问这样的点估计
有没有充分利用样本所获得的信息？
如何寻找参数的最小方差无偏估计和有效估计？
一、充分统计量的概念
直观解释和描述性定义
例1 为了了解某批产品的次品率P,抽了16件产品进行
检验，设总体
，检验结果记录如下： 0 0 1 0
… 1 …1 0 0 0，从所抽的结
果中得到了两种信息：
2）16件产品中有三件次品 。
1）三件次品分别出现在第三、九、十三次；
是一种不容忽视的统计量，而次品出
现在第几次于P
无关，既(1)这种信息无关紧要。
而丢掉的只是一些与无关紧要的信息，则称
定义1 （描述性定义）
含有样本中有关参数
信息 ，
T是充分的（样本加工不损失信息）。
从概率层面来讲，样本
有一个样本
分布
,这个分布包含了样本中一切有关未知参数
统计量
也有一个抽样分布
，当我们期望用统计量
代替原始样本
而不损失 有关的信息时，也就是期望
抽样分布
考察统计量
取t的情况下的条件分布
可能有两种情况：
定义2 （充分统计量）
课本上的定义
例1
注：
例2
二、 因子分解定理（Neyman）
例1 （续） （解II）
由因子分解定理，
是p的充分统计量.
例3
三、Rao-Blackwell定理
注：
例4
例1 设总体 X 服从参数为 的指数分布 , 其概率密度为
为未知,
X1,X2,…Xn是取自总体的一个样本 ,
试证 和 都是参数 的无偏估计量 .
课堂练习
总体的样本，证明：
例2
