第七章 参数估计
第一节 点估计
第二节 估计量的评选标准
第三节 区间估计
第四节 正态总体参数的区间估计
*第五节 非正态总体参数的区间估计举例
*第六节 单侧置信区间
第一节 点估计
点估计概念
求估计量的方法
总体
样本
统计量
描述
作出推断
随机抽样
现在介绍一类重要的统计推断问题.
参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数. 例如：
参数估计
估计废品率:
估计新生儿的体重:
估计湖中鱼数:
…
估计降雨量:
在参数估计问题中,
假定总体分布形式已知,
未知的仅仅是一个或几个参数.
这类问题称为参数估计.
参数估计问题的一般提法
依据该样本对参数θ 作出估计, 或估计θ 的某个已知函数 g(θ).
现从该总体抽样, 得样本 X1, X2, …, Xn,
设有一个统计总体, 总体的分布函数为 F(x, θ),其中θ为未知参数 (θ可以是向量) .
参数估计
点估计
区间估计
(假定身高服从正态分布 N(μ, ))
设这5个数是:
估计 μ为, 这是点估计.
估计 μ在区间 [, ] 内, 这是区间估计.
例如: 我们要估计某队男生的平均身高.
现从该总体选取容量为5的样本，
我们的任务是要根据选出的样本(5个数)
求出总体均值 μ的估计.
而全部信息就由这5个数组成 .
随机抽查100个婴儿, 得100个体重数据:
…
10, 7, 6, , 5, , …
据此,我们应如何估计 μ和 σ呢？
而全部信息就由这100个数组成 .
例如: 已知某地区新生婴儿的体重 N(μ, σ2), (μ, σ 未知).
我们知道,若 N(μ, σ2),由大数定律:
自然想到把样本体重的平均值作为总体平均体重的一个估计.
样本体重的平均值
用样本体重的均值
类似地,用样本体重的方差
为估计μ:
为估计σ2:
为估计总体分布的参数(如 μ和 σ2等)
我们需要构造出适当的样本的函数 f(X1, X2, … Xn)
称为参数的点估计值(estimate).
称为参数(一般用θ)的点估计量(estimator),
一、点估计概念(Point Estimation)
每当有了样本, 代入该函数中算出一个值, 用来作为参数的估计值.
例1:
设从某灯泡厂某天生产的一大批灯泡中
随机地抽取了10只灯泡,
测得其寿命为(单位:小时):
1050, 1100, 1080, 1120, 1200
1250, 1040, 1130, 1300, 1200
试估计该厂这天生产的灯泡的平均寿命及寿命分布的标准差.
解:
二、求估计量的方法
a. 矩估计法(the method of moments)
b. 极大似然法(the method of maximum likelihood)
c. 贝叶斯方法(the method of Bayes)
……
依概率收敛定义
定义:
注意:
如
意思是：
a
时,
内的概率越来越大.
Xn落在
当
1. 矩估计法
矩估计法是英国统计学家K.皮尔逊最早提出来的 .
由大数定律, 若总体 X 的数学期望 E(X)= μ 有限, 则有:
这表明, 当样本容量很大时,
在统计上, 可以用样本k阶原点矩去估计总体k阶原点矩(替换原理).
这一事实是矩估计法的理论基础.
1)定义: 用样本原点矩估计相应的总体原点矩 ,
又用样本原点矩的连续函数估计相应的总体原点矩的连续函数,
这种参数点估计法称为矩估计法 .
例2: 设总体 X 在 [a, b] 上服从均匀分布, a, b未知.
解:
X1, X2, …, Xn 是来自 X 的样本, 试求 a, b的矩估计量 .
即:
解得:
总体矩
于是 a , b 的矩估计量为:
样本矩
一般都是这 k 个参数的函数,记为:
从这 k 个方程中解出:
j=1,2,…,k
那么用诸 μi 的估计量 Ai 分别代替上式中的诸μi,
即可得诸 θj 的矩估计量 ：
矩估计量的观察值称为矩估计值 .
2) 矩估计法的具体做法如下:
设总体的分布函数中含有 k个未知参数: θ1, θ2, …, θk,
那么它的前 k 阶矩: μ1, μ2, …, μk,
μi=μi(θ1, θ2, …, θk), i=1, 2, …, k
θj= θj(μ1, μ2, …, μk), j=1, 2, …, k
I. 参数用总体矩来表示
II. 样本矩代替总体矩
得:
于是 μ, σ2 的矩估计量为:
总体矩
例3: 设总体 X 的均值 μ和方差 σ2都存在, μ, σ2未知.
X1, X2, …, Xn 是来自 X 的样本, 试求 μ, σ2 的矩估计量 .
解:
样本矩
矩法的优点: 简单易行, 并不需要事先知道总体是什么分布 .
缺点: 当总体类型已知时, 没有充分利用分布提供的信息 .
2. 极(最)大似然估计法
它是在总体类型已知条件下使用的一种参数估计方法 .
它首先是由德国数学家高斯在1821年提出的 .
Gauss
Fisher
然而, 这个方法常归功于英国统计学家费歇 .
费歇在1922年重新发现了该方法, 并首先研究了该方法的一些性质 .
先看一个简单例子：
一只野兔从前方窜过, 只听一声枪响, 野兔应声倒下.
某位同学与一位猎人一起外出打猎 .
如果要你推测, 是谁打中的呢? 你会如何想呢?
你就会想, 猎人命中的概率一般大于这位同学命中的概率.
看来这一枪是猎人射中的 .
这个例子所作的推断已经体现了极大似然法的基本思想 .
再如, 一袋中有红、白球10个和5个, 但不知其中每种颜色的球具体为多少.
今从袋中任取一球, 结果为白球,
由此我们有理由认为袋中有10个白球, 5个红球。
1) 似然函数(likelihood function)：
定义似然函数为:
设 X1, X2, …, Xn 是取自总体X 的一个样本,
样本的联合密度(连续型) 或联合分布律 (离散型)为:
L(θ)=f (x1, x2, …, xn;θ),
这里 x1, x2 ,…, xn 是样本的观察值.
L(θ)看作参数 θ的函数,
它可作为 θ将以多大可能产生样本值 x1, x2, … , xn 的一种度量 .
f(x1, x2, … , xn;θ),
2) 极大似然估计法: 就是用使 L(θ) 达到最大值的 去估计θ,
称 为 θ 的极大似然估计值.
相应的统计量:
称为 θ的极大似然估计量.
(maximum likelihood estimator)
L(θ)=f (x1, x2, …, xn;θ)
两点说明：
a. 求似然函数 L(θ) 的最大值点, 可以应用微积分中的技巧.
ln L(θ) 与 L(θ) 在 θ的同一值处达到它的最大值,
假定 θ是一实数, 且 ln L(θ) 是 θ的一个可微函数, 通过求解方程:
可以得到 θ的 MLE .
若 θ是向量, 上述方程必须用方程组代替.
b. 用上述求导方法求参数的 MLE 有时行不通,
这时要用极大似然原则来求 .
L(p) = f (x1, x2,…, xn; p)
例4: 设X1, X2, …, Xn是取自总体 X~B(1, p) 的一个样本,
求参数 p的极大似然估计量.
解: 似然函数为:
对数似然函数为：
对 p求导并令其为0:
得:
, 即为 p 的极大似然估计值.
从而 p 的极大似然估计量为:
d. 在极大值点的表达式中,
用样本值代入就得参数的极大似然估计值 .
3) 求极大似然估计(MLE)的一般步骤是：
a. 由总体分布导出样本的联合分布律(或联合密度);
b. 把样本联合分布律(或联合密度) 中自变量看成已知常数,
而把参数 θ看作自变量, 得到似然函数 L(θ);
c. 求似然函数 L(θ) 的极大值点
(常常转化为求 ln L(θ) 的极大值点), 即 θ的MLE;
例5: 设总体 X~N(μ, σ2), μ, σ2 未知.
x1, x2, …, xn 是来自 X 的样本值,
试求 μ, σ2的极大似然估计量 .
似然函数为:
解:
X的概率密度为 :
于是:
解得:
μ, σ2的极大似然估计量为:
令:
解: 似然函数为:
*例6: 设X1, X2, …, Xn是取自总体X的一个样本,
其中 θ>0, 求 θ, μ的极大似然估计.
i=1,2,…,n
=0 (2)
由(1)得:
=0 (1)
对 θ, μ 分别求偏导并令其为0:
对数似然函数为:
用求导方法无法最终确定θ, μ
用最大似然原则来求 .
对
故使 L(θ, μ) 达到最大的 μ, 即 μ的MLE是：
于是:
μ 取其它值时，
即 为 的MLE.
且是 μ的单增函数
作业
习题7-1 3; 4; 5; 8
*
