最小方差无偏估计和有效估计 最小方差无偏估计是在某种意义下的最优估计，两者既有区别又有密切的关系，如果求出参数θ的一个估计ˆ量θ，则判别其是否为最小方差无偏估计或有效估计，就具有重要的意义。倘若能直接求出参数θ的最小方差无偏估计，则将更加令人满意，本节将研究这些问题。 一.最小方差无偏估计 由定义知，最小方差无偏估计(MVUE)是在无偏估计类中，使均方误差达到最小的估计量，即在均方误差最小意义下的最优估计。它是在应用中，人们希望寻求的一种估计量。 ˆˆ定理 设θ(X)是θ的一个无偏估计，Dθ<∞，若对任何满足条件：EL(XDL(X)<∞)=0,的统计量L(X)，有 ˆE[L(X)θ(X)]=0 ˆ则θ(X)是θ的MVUE。其中Χ=(Χ,Χ,",Χ). 12nˆ证明 设θ(X)是θ的任一无偏估计， 1ˆˆ记L(Χ)=θ(Χ)−θ(Χ)，则L(X)为0的无偏估计，由1 1
ˆˆˆ于 Dθ(X)=D[L(X)+θ(X)]=DL(X)+Dθ(X)+2E{[L(X) 1ˆˆ −EL(X)][θ(X)−Eθ(X)]} ˆˆ =DL(X)+Dθ(X)≥Dθ(X) ˆ故θ(X)是θ的MVUE。 2例 设Χ=(Χ,Χ,",Χ)是来自正态总体N(µ,σ)的12n*22一个样本，已知Χ和S分别是µ和σ的无偏估计，证明Χn*22和S 分别是µ和σ的MVUE。 n证明（略）设L(X)满足EL(X)=0，则有 n12…Liexp{−(X−µ)}dx=0 () ∑i2∫∫2σi=1上式关于µ求导，并利用（）式得 nn12…Li(x)exp{−(X−µ)}dx=0 ∑∑ii2∫∫2σ=1=1故有E{L(X)Χ}=0,所以Χ是µ的MVUE. 式（）关于µ求二阶导数，得 nn122…Li(x)exp{−(X−µ)}dx=0 （*） ∑∑ii2∫∫2σ=1=12式（）关于σ求导，得 2
nn122…L(x−µ)exp{−(x−µ)}dx=0 （**） ∑∑ii2∫∫2σ=1=1nn222利用,式()，（*），(**) (x−µ)=(x−µ)−n(x−µ)∑∑iii=1i=1nn122可得…L(x−x)exp{−(x−µ)}dx=0 ∑∑ii2∫∫2σ=1=1*2*22故有E{L(X)S}=0, 所以S是σ的MVUE。 nn定理给出了最小方差无偏估计的一种判别方法，但由上例可见，该判别法使用并不方便，而且还只是一个充分条件。为了寻求更好的方法，需要借助充分完备统计量的概念。 定理设总体X的分布函数为F(x;θ)，θ∈Θ是未知参数，(Χ,Χ,",Χ)是来自总体X的一个样本。如果12nˆT=T(Χ,Χ,",Χ)是θ的充分统计量，θ是θ的任一无偏12n∗ˆˆ估计，记θ=E(θT)，则有 **ˆˆˆEθ=θ,对一切θ∈Θ, Dθ≤Dθ,对一切θ∈Θ *ˆ即θ是θ的最小方差无偏估计。 证明见参考文献[1]。 3
∗ˆˆ由于θ=E(θT)，仍然是充分统计量且作为θ的估计量，可称之为充分估计量，上述定理表明，要寻找θ的最小方差无偏估计量，只需在无偏的充分统计量类中寻找就足够了，假若θ的充分无偏估计量是唯一的，则这个充分无偏估计量就一定是最小方差无偏估计量。那么，在什么情况下，它才是唯一的呢？显然，如果它是完备统计量，便可保证其唯一性， 定理 设总体X的分布函数为F(x;θ),θ∈Θ，(Χ,Χ,",Χ)是来自总体X的一个样本。如果12nˆT=T(Χ,Χ,",Χ)是θ的充分完备统计量，θ为θ的一个12n∗ˆˆ无偏估计，则 θ=E(θT) 为θ的唯一的最小方差无偏估计。 ˆˆ证明 设θ和θ是θ的任意两个无偏估计，由定理ˆˆ知，E(θ|T)和E(θ|T)也是θ的无偏估计，即对一切θ∈Θ，12ˆˆ有EE(θ|T)=θ，EE(θ|T)=θ θ1θ2ˆˆˆˆ且 DE(θ|T)≤Dθ , DE(θ|T)≤Dθ θ1θ1θ2θ2ˆˆ由式()得 E[E(θT)−E(θT)]=0 θ12对一切θ∈Θ由于T是完备统计量，又定义得 4
ˆˆP(E(θ|T)=E(θ|T)=1，对一切θ∈Θ， θ12即θ的充分无偏估计是唯一的。再由定理知， *ˆˆθ=E(θT)是θ的最小方差无偏估计。 1定理提供了一种寻找θ的最小方差无偏估计量的方法，即先找到θ的一个充分完备统计量ˆT=T(Χ,Χ,",Χ)和一个无偏估计θ，再求条件数学期望12nˆE(θ|T)即可。例如，对泊松总体P(λ)，由例，Χ是参数λ的充分完备统计量且又是λ的一个无偏估计，所以E(Χ|Χ)=Χ是λ的最小方差无偏估计。 例 设(Χ,Χ,",Χ)是来自总体X的一个样本,X服从12n(0,θ)区间上均匀分布，求θ的最小方差无偏估计。 解 样本的联合分布密度为 n⎧1n,0<x≤x<θ⎪∏(1)(n)L(θ)f(x)=θ⎨∏i=1ii=1⎪0,其它⎩ −n⎧θ,0<x≤x<θ⎪(1)(n)−n=θI(x⎨(0,θ)(n)0,其它⎪⎩其中x,x为最小、最大次序统计量的取值,I(x)为示(1)(n)(0.θ)1,0<x<θ⎧性函数，即I(x)= ⎨(0,θ)0,其它⎩ 5
由因子分解定理 知，X是θ的充分统计量。其分布(n)n⎧n−1,0<x<θ⎪nx密度为 f(x)= θ⎨X(n)⎪0,其它⎩易验证该分布族是完备的，因而X是θ的充分完备统计(n)θnn量。又因 EX=dx=θ, (n)nx∫0θn+1n+1n+1E(Χ=θ， 即Χ是θ的一个无偏估计， (n)(n)nnn+1n+1故由定理知 E(XX)=X (n)(n)(n)nn是θ的最小方差无偏估计。 教材第二章习题17： 2x1nnn−−n−T−122−122σ22σf(x)=e,L(X;σ)f(X)=−2π⋅(σ)e,TnX∏()∑iii2π==−1(1):易验证T为的最大似然估计,ET=EX=D+(EX)=为无偏估计nn−n−1n222由L(X,σ)的表达式可得，c(θ)=2π(σ),TX,b(θ)=−,h(X,…,X)=1()∑ii1n2n2σi=1nnn⎛⎞2*−12−12−12∴ˆT为充分完备统计量∴σ=EnXnXnX⎜∑∑⎟∑iiii=i=i=⎝⎠2为σ的MVUE (2)X=(X,…,X)的联合分布密度为1nn⎧1⎫ 2−n2L(x,σ)(σ2π)exp−X=c(θ)exp{b(θ)T(x)}h(x)⎨⎬∑i22σ⎩i=1⎭ 6
n22−1−n其中h(x)=1,T(x)X,b(θ)=−(2σ),c(θ)=(2πσ) ∑ii=1由定义它是指数型分布族，从而 n22T(x)=X是σ的一个充分完备统计量 ∑ii=1−1nnxn⎛⎞−1−11222n22令y=T(x)=X服从χ(n)∴有f(y)=2Γ()ye ∑⎜⎟i222σσi=1⎝⎠−1nny−1∞⎛⎞−1−n+1⎛⎞222∴E(y)=y⋅Γ()yedy=2ΓΓ(⎜⎟ ()⎜⎟∫02⎝⎠⎝⎠1n2Γ()T2从而V=为σ的无偏估计， 1n+12Γ()2nt2∞−n−1−12Tn2同理E()=[2Γ()]ed=(n+2)4∫02σ324从而V=T为3σ的无偏估计。V和V又都是充分统计212n(n+2)量T的函数，即E(VT)=V及E(VT)=故V，V分别是σ和3σ的最小方差无偏估计。 12 二、有效估计 最小方差无偏估计是一种优良的估计，在所有无偏估计中它的方差最小。然而，一个更深入的问题是：无偏估计量的方差是否可以任意小？如果不能任意小，那 7
么它的下界是什么？这个下界能否达到？信息不等式和有效估计将回答这些问题。 1.信息不等式 设总体X的分布密度为f(x;θ)，Χ=(Χ,Χ,",Χ)为12n其样本，x=(x,x,",x)为其样本值。样本的联合分布密12nn度为 L(x;θ)=f(x;θ)， 且记 dx=dxdx…dx ∏i12n∫∫i=1若g(θ)为参数θ的函数，T(Χ)=T(Χ,Χ,",Χ)为g(θ)的任12n一无偏估计量，则有 2′[g(θ)]D[T(Χ)]≥ () nI(θ)2∂lnf(X;θ)⎛⎞其中I(θ)=E称为Fisher信息量。 ⎜⎟∂θ⎝⎠ () 式称为信息不等式，或称为Rao-Carmer不等式。不等式的右端项称为参数函数g(θ)的估计量T(X)方差的Rao-Carmer下界。 还可以推导出I(θ)的另一个表达式。 2⎛⎞∂lnf(X;θ)I(θ)=−E>0 ⎜⎟2∂θ⎝⎠特别当g(θ)=θ时，Rao-Carmer不等式成为如下形式： 8
1D[T(Χ)]≥ nI(θ)现将上述结论及在推导过程中需满足的条件以定理的形式给出。（见下面定理）证明略 ************************************************ 下面我们推导信息不等式(不要求)： 假设下列所有求导和积分运算都是可行的。 设g(θ)为参数θ的函数，T(Χ)=T(Χ,Χ,",Χ)为g(θ)的任12n一无偏估计量，则有 E[T(X)]=T(x)L(x;θ)dx=g(θ) ∫后一个等式两边对θ求导，得 ∂L(x;θ)′T(x)dx=g(θ) （） ∫∂θL(x;θ)dx=1又 ∫∂L(x;θ)dx=0上式两边对θ求导，得 （） ∫∂θ∂L(x;θ)g(θ)dx=0故 (*) ∫∂θ∂L(x;θ)′[T(x)−g(θ)]dx=g(θ)()式减去(*)式得 ∫∂θ上式改写成 9
⎧⎫L(x;θ)∂L(x;θ)⎪⎪′g(θ)=[T(x)−g(θ)]L(x;θ)idx {}⎨⎬∫L(x;θ)∂θ⎪⎪⎩⎭由Schwarz不等式1∂L(x;θ)222′[g(θ)]≤[T(x)−g(θ)]L(x;θ)dx[]dx () i∫∫L(x;θ)∂θ2其中[T(x)−g(θ)]L(x;θ)dx=D[T(X)] ∫21∂L(x;θ)⎡⎤dx ∫⎢⎥L(x;θ)∂θ⎣⎦2lnL(x;)∂lnL(X;θ)⎡⎤⎡⎤=L(x;θ)dx=E ∫⎢⎥⎢⎥⎣⎦⎣⎦将以上两式代入式()，得 22∂lnL(X;θ)⎡⎤′g(θ)≤D[T(X)]iE, 即 []⎢⎥∂θ⎣⎦2′[g(θ)]D[T(X)]≥ () 2∂lnf(X;θ)⎡⎤E⎢⎥∂θ⎣⎦n∂lnL(x;θ)∂lnf(x;θ)i又因 =∑i=1∂f(x;θ)dx=0考虑到样本(Χ,Χ,",Χ)相互独立，且， ∫12n∂θ则当i≠j时 ∂lnf(Χ;θ)lnΧ⎛⎞∂f(;θ)⎛⎞jiE ⎜⎟⎜⎟⎝⎠⎝⎠∂lnf(Χ;θ)⎛⎞∂lnf(Χ;θ)⎛⎞ji=EE ⎜⎟⎜⎟⎝⎠⎝⎠ 10
∂lnf(Χ;θ)∂lnf(Χ;θ)⎛⎞ji=E(x;θ)dx ⎜⎟jj∫⎝⎠∂lnf(Χ;θ)∂lnf(Χ;θ)⎛⎞ji=0 ⎜⎟j∫⎝⎠于是，有 2nn∂lnf(Χ;θ)⎛⎞∂lnL(X;θ)∂lnf(Χ;θ)⎡⎤⎛⎞jiE=E ∑∑⎜⎟⎜⎟⎢⎥⎣⎦⎝⎠i=1j=1⎝⎠22∂lnf(X;θ)∂lnf(X;θ)⎡⎤⎡⎤iEE ∑∑⎢⎥⎢⎥⎣⎦⎣⎦i=1i=12∂lnf(X;θ)⎡⎤nEnI(θ) ⎢⎥∂θ⎣⎦2∂lnf(X;θ)⎛⎞其中I(θ)=E称为Fisher信息量，从而，式⎜⎟∂θ⎝⎠2′[g(θ)]()成为 D[T(Χ)]≥ () nI(θ)式()和式()称为信息不等式，或称为Rao-Carmer不等式。不等式的右端项称为参数函数g(θ)的估计量T(X)方差的Rao-Carmer下界。还可以推导出I(θ)的另一个表达式。 特别当g(θ)=θ时，Rao-Carmer不等式成为如下形1式： D[T(Χ)]≥ 证毕 nI(θ)*********************************************** 11
定理 设Θ是实数轴上的一个开区间， {f(x;θ),θ}是总体X的分布密度族；Χ=(Χ,Χ,",Χ)12n是来自总体X的一个样本，T(Χ)=T(Χ,Χ,",Χ)是g(θ)12n的一个无偏估计量，且满足条件： （1）集合S={x:f(x;θ)≠0}与θ无关； ∂f(x;θ)′g(θ)（2）和存在，且对Θ中一切θ有 ∂θ∂∂f(x;θ)f(x;θ)dx=dx ∫∫∂θ∂θ∂∂L(x;θ)T(x)L(x;θ)dx=T(x)dx ∫∫∂θ∂θn其中L(x;θ)=f(x;θ)为样本Χ=(Χ,Χ,",Χ)的联合分∏i12ni=1布密度； 2∂lnf(X;θ)⎛⎞（3）I(θ)=E>0 () ⎜⎟∂θ⎝⎠2⎛⎞∂lnf(X;θ)或 I(θ)=−E>0 () ⎜⎟2∂θ⎝⎠2′[g(θ)]则对一切θ∈Θ，有 D[T(Χ)]≥ () nI(θ)特别当g(θ)=θ时，上式成为 1D[T(Χ)]≥ () nI(θ) 12
值得注意的是，对于离散总体，若设总体X的分布律为 (1)(2)P{X=x}=f(x;θ), x=x,x,…,且满足类似于上述定理的条件，则Rao-Carmer不等式() 和()式仍然成立。 例 设总体X服从泊松分布P(λ),(Χ,Χ,",Χ)是来12n自总体X的一个样本，试求λ的无偏估计的方差下界。 x−λλ解 泊松分布P(λ)的分布律为P{Χ=x}=即 ex!x−λλf(x;λ)=,x=0,1,2,", ex!lnf(x;λ)=xlnλ−λ−ln(x!) ， 因此 222dX1⎡⎤⎛⎞I(λ)=Elnf(X;λ)=E−1=E (X−λ)⎜⎟2⎢⎥dλλ⎣⎦⎝⎠λDX1由于EX=λ，DX=λ,故有I(λ)== 2λλ1λˆˆ于是λ的任一无偏估计量λ都满足不等式Dλ≥= nI(λ)nλˆˆ对于λ的无偏估计λ=Χ，则有Dλ= nˆ因此，λ=Χ是方差达到Rao-Carmer下界的无偏估计量，即是最小方差无偏估计量。 2例 设(Χ,Χ,",Χ)是来自总体X~N(0,σ)的一个样12n 13
2本，试求μ和σ的无偏估计的方差下界。 解 总体X 的分布密度为 2(x−µ)1−222σf(x;µ;σ)=, e2πσ1222lnf(x;µ,σ)=−ln2π−lnσ−(x−µ) 22σ222⎡⎤∂lnf(X;µ,)X−µ⎛⎞σ所以 I(µ)=E⎢⎥=E ⎜⎟2∂σ⎝⎠⎣⎦1DX12=E(X−µ)== 442σσσ221σσ于是µ的无偏估计的方差下界是=，而D(Χ)=nI(µ)nn这说明样本均值Χ的方差达到了Rao-Carmer下界，所µ以Χ是的最小方差无偏估计。由于 2∂1(x−µ)2lnf(x;µ;σ)=−+ 224∂σ2σ2σ1(xµ)2lnf(x;µ;σ)=− 2246∂(σ)2σ根据式() , 22E(X−µ)11∂2I(σ)=−E[lnf(X;µ,σ)]=−= 22644∂(σ)σ2σ2σ412σ2因此σ的无偏估计量的方差下界是= 2nI(σ)n 14
*22由例知S是σ的无偏估计，根据定理， n*2222(n−1)S/σ服从χ(n−1)，由χ分布的性质知 n*22D[(n−1)S/σ]=2(n−1) n4422σ2σ1*所以 D=>= S2nn−1nnI(σ)*2即S的方差达不到Rao-Carmer下界。但由例知，n2*2S是σ的最小方差无偏估计，这表明最小方差无偏估计n量的方差不一定能够达到Rao-Carmer下界。为此，引入有效估计的概念。 2．有效估计 ˆθθ定义 若（或g(θ)）的一个无偏估计量（或T(X)）的方差达到罗—克拉美下界，即 2′[g(θ)]1ˆ, （或DD[T(X)]=）， （） θ=nI(θ)nI(θ)ˆ则称θ（或T(X)）为θ（或g(θ)）的有效估计（量）。 ˆ定义 设θ是θ的任一无偏估计，称 1ˆˆe(θ)=Dθ （） nI(θ)ˆ为θ的效率。 ˆ由罗—克拉美不等式知，对于任意一个无偏估计θ，其效 15
ˆˆˆ率满足0<e(θ)≤1。如果e(θ)=1，则θ是θ的有效估计。 ˆ定义若θ的无偏估计量θ的效率满足 ˆlime(θ)=1, () n→∞ˆ则称θ是θ的渐近有效估计（量）。 由例可见，对于泊松分布P(λ)，样本均值Χ是2参数λ的有效估计。例说明，对于正态总体N(µ,σ)，2*2Χ是µ的有效估计，但S不是σ的有效估计，而是渐近n442σ2σ*2有效估计，这是因为 lime(S)=lim=1 nn→∞n→∞nn−1 16
