中国科学技术大学—信号统计分析本章内容 引言信号统计分析 估计准则 估计准则的推广 估计量评价的指标 克拉美-罗不等式第五章信号估计理论 最大似然估计的应用 最小二乘估计的应用 稳健估计 引言按信号估计应用领域分类：•数理统计领域：估计总体的均值、方差、各阶矩、相关函•从信号检测到信号估计，是对事物从定性的判断到定数等；量的描述。•信息与通信工程领域：估计信号的振幅、相位、频率、时信号检测：判断是否存在信号或存在哪种信号。延等；•控制工程领域：估计动态系统的参量和状态，如飞行体的信号估计：对信号的参量甚至波形进行定量的推断质量、位置、速度、加速度等；•按照不同的依据，可以对信号估计问题进行分类。•经济领域：估计、预测各种反应经济运行的指标，如人均国民生产总值、物价指数等。 估计准则按估计参量的特性有以下几种分类• 最大后验概率估计•确定参量估计和随机参量估计• 最大似然估计•单维（标量）参量估计和多维（矢量）参量估计• 最小均方误差估计• 线性最小均方误差估计•时变参量估计和时不变参量估计• 最小平均绝对误差估计•线性参量估计与非线性参量估计• 贝叶斯估计• 最小二乘估计
中国科学技术大学—信号统计分析 最大后验概率估计观测信号：使后验概率密度最大的一种估计，即xt=st;θ,θ,L,θ+nt0≤tT()()()12MˆTθ=maxfθ|x()MAPst;θ,θ,Lθ()为有用信号，θ=θ,θ,L,θ为待估计参量，12M[]θ12M其中为单个待估计量的后验概率密度函数。fθ|x()θnt()为观测噪声。Tˆ处理实际问题时，通常由观测信号的N 个观测样本x=x,x,L,x[]估计量θ12NM可以对fθ|xAP()求偏导得到ˆ得到估计值θ，因此估计值是观测样本的函数，即∂⎡⎤fθ|x=0()⎢⎥ˆθ=gx∂θ()⎣⎦ˆθ=θMAP因为对数函数是单调函数，当fθ|x()是θ,x的指数函数时，例已知如下观测样本可先对其取对数后再求偏导；同时由于x=s+n,i=1,2L,Niifx|θfθ()()fθ|x=()fx()22其中，信号s N0,σ,()噪声n N0,σ,i=1,2,L,N()()sin并且对于给定的x,fx()是与θ无关的确定量，可得且独立同分布，并且信号与噪声不相关。∂∂⎡⎤试用最大后验概率估计准则求s的估计量sˆMAPlnfx|θ+lnf0()()⎢⎥θθ⎣⎦ˆθ=θ 最大似然估计使观测样本的似然函数fθ|xfx|θ()取得最大值的一种估计，即•最大似然估计的求解方程可能会有多个解，应选取使()ˆ或lnfx|θ达到最大的解作为最大似然估计量。()θ=maxfx|θ()MLθ•最大似然估计既适用于先验分布未知的随机参量估计，也适用于ˆ估计量θ可以对fx|θ()求θ的偏导得到ML确定参量估计。∂fx|θ=0()∂θˆ•最大似然估计与最大后验概率估计的关系：θ=θMLˆˆ如果fθ|x()是指数函数，可先取对数后求偏导当随机量θ均匀分布或θ是确定量时，θ=θ。MAPML∂lnfx|θ=0()∂θˆθ=θML
中国科学技术大学—信号统计分析 最小均方误差估计例已知如下观测样本使估计的均方误差最小的一种估计。x=s+n,i=1,2L,Nii估计的均方误差22其中，信号s~N0,σn~N0,σ,i=1,2,L,N()，噪声()()sinˆˆξθ=ξθ|xfxdx()()()∫(x)且独立同分布，并且信号与噪声不相关。2ˆˆξθ|x=−θfθ|xdθ,其中()它可以看作观测样本()()∫(θ)求对s的最大似然估计sˆMLx给定前提下的条件估计均方误差。根据最小均方误差估计准则例ˆˆ令ξθ最小即可求得最小均方误差估计值()θMS已知如下观测样本ˆ由于ξ(θ|x)≥0,fx≥0,ξθ()最小相当于对每个观测样本使()x=s+n,i=1,2L,Niiˆξ(θ|x)最小，则22其中，信号s~N0,σn~N0,σ,i=1,2,L,N()，噪声()()sinˆθ=θfθ|xdθ()MS∫且独立同分布，并且信号与噪声不相关。(θ)ˆθ是观测样本给定前提下θ的条件均值，故最小均方误差MS求对s的最小均方误差估计sˆMS估计又称作条件均值估计。 线性最小均方误差估计ˆξθ取值最小时的a,b分别记为a,b,则()LL线性最小均方误差估计是最小均方误差估计的一种特例，它要求∂TˆEξθ=E−2θ−a−bx=0{()估计量与观测样本之间必须满足线性关系，即：{()}}LLa=a∂aLb=bLTˆθ=gx=a+bx()∂TTˆEξθ=−2Eθ−a−bxx=0(){()}{}LLa=a∂bLTb=bL其中，a和b=b,b,L,b是待定系数。[]12N对于任意a和b，估计的均方误差为求解方程得T−1Ta=Eθ−Covθ,xCovx,Exˆ{}{}{}{}⎡⎤⎡⎤Lξθ=Eθ−a+bxθ−a+bx()()(){}⎣⎦⎣⎦T−1b=Covθ,xCovx,{}{}L
中国科学技术大学—信号统计分析则线性最小均方误差估计为∂ˆˆ将估计量θ代入Eξθ=0,可得LMS{()}a=a∂bLT−1b=bˆLθ=a+bx=Eθ+Covθ,xCovx,x⎡x−Ex⎤{}{}{}{}LMSLL⎣⎦Tˆ如果E则θ=0,Ex=0,Eθ−θx=0{}{}{(M)LS}a=0LT−1−1bCovθ,xCovx,=R{}{}Lθxx这表明估计误差与观测样本是正交的，即正交原理。它是线性最小均方误差估计的一个重要性质。正交原理此时线性最小均方误差估计退化为是求解系数矩阵必须满足的条件之一。Tˆθ=bxLMSL正交原理例已知如下观测样本ˆ用矢量d,d,e分别表示参量θ,dx=s+n,i=1,2L,Niiˆ估计量和估计误差e,θ22其中，信号s~N0,σnN0,σ,i=1,2,L,N()，噪声~()()sdine由右图可见，最小均方误差准则下d且独立同分布，并且信号与噪声不相关。ˆd的估计量与其估计误差正交。正交原理示意图求对s的线性最小均方误差估计sˆ 最小平均绝对误差估计线性最小均方误差估计与最小均方误差估计分析使绝对估计误差的统计平均值最小的一种估计。（1）相同的前提下，参量的最小均方误差估计和线性最小均方误差估计绝对估计误差有如下关系：ˆˆeθ=θ−θ()ABS22ˆˆ其统计平均值Eeθ≤Eeθ{(MS)}{()LMS}⎡⎤ˆˆξθ=θ−θfθxdθfxdx⎢()⎥()AB()S∫∫(x)(θ)⎣⎦（2）当参量与观测样本的联合概率密度函数为高斯分布时：ˆξθAB()S即为平均绝对误差。ˆˆθ=θMSLMS
中国科学技术大学—信号统计分析ˆˆξθ最小相当于对每个样本，使ξθx=−θfθxdθ()()AB()SABS∫例(θ)最小，即已知如下观测样本∂ξθx=0()ABSˆˆθ=θABS∂θx=s+n,i=1,2L,Nii进一步求解得22其中，信号s~N0,σ，噪声n~N0,σ,i=1,2,L,N()()()sinˆθ∞ABSfθxdθ=fθxdθ()()∫∫ˆ−∞θABS且独立同分布，并且信号与噪声不相关。ˆ显然，θ是条件概率密度的中位数，故最小平均绝对误差ABS求对s的线性最小均方误差估计sˆABS估计又称作条件中位数估计。 贝叶斯估计由于fx,θ=fθ|xfx,()()()估计的平均风险可表示为ˆˆ将参量θ估计为θ所承担的风险（也称代价函数）记为cθ,()ˆˆCθ=cθfθ|xdθfxdx()()()()∫∫(x)(θ)则估计的平均风险为fx式中的内积分和()都是非负的，所以使上述平均风险为最小ˆˆCθ=cθfx,θdθx()()()∫∫ˆ的估计也就是使以下条件风险Cθ|x为最小的估计(x)(θ)()ˆˆ贝叶斯估计就是指使上述平均风险最小的一种估计。Cθ|x=cθfθ|xdθ()()()∫(θ)（1）最小均方误差估计与贝叶斯估计（2）最小平均绝对误差估计与贝叶斯估计若风险函数为估计误差平方，即若风险函数为估计误差绝对值，即2ˆˆcθ=θ−θ()()ˆˆcθ=θ−θ()则平均风险为则平均风险为⎡⎤2⎡⎤ˆˆˆCθ=⎢−θfθ|xdθ⎥fxdx=Eθ−()()()()()ˆˆˆ∫∫{}Cθ=⎢θ−θfθ|xdθ⎥fxdx=Eθ−θ()()(){}∫∫(x)(θ)⎣⎦(x)(θ)⎣⎦ˆˆ此时θ=θ,即最小均方误差估计是贝叶斯估计中风险函数为BAYMSˆˆ此时θ=θ,即最小平均绝对误差估计是贝叶斯估计中BAYABS2ˆˆCθ=θ−θ时的情形。ˆˆ()()风险函数为Cθ=θ−θ时的情形。()
中国科学技术大学—信号统计分析（3）最大后验概率估计与贝叶斯估计证明：此时的平均风险函数若风险函数规定为如下形式ˆˆCθ=cθfθ|xfxdxθ()()()()∫∫(x)(θ)Δ⎧ˆˆ1,θ−θ≥Δθ+⎪⎡2⎤⎪2=1−fθ|xdθfxdx()()ˆ∫∫cθ=ˆΔ >0是很小的常数⎢⎥θ−()⎨⎣2⎦(x)Δ⎪ˆ0,θ−θ<⎪⎩2显见ˆΔθ+2ˆCθ|x=1−fθ|xdθ()()∫ˆΔθ−2此时贝叶斯估计就是最大后验概率估计。因此ˆΔθ+2ˆminCθ|x=maxfθ|xdθ()()∫ˆΔˆˆθ−θθ2由于Δ是很小的常数，则 最小二乘估计ˆΔθ+2ˆfθ|xdθ≈fθ|xΔ()()∫ˆΔθ−•前面介绍的几种估计准则，或多或少地需要一些统计知识。如：2因此贝叶斯估计需要被估计参量及样本的概率密度函数及风险函数；ˆΔθ+2最大似然估计需要观测样本的概率密度；minC|x=maxfθ|xd=Δ⋅maxf|x()()()∫ˆΔˆθ−ˆθθ2线性最小均方误差估计需要信号参量及样本的一阶矩和二阶矩。ˆmaxfθ|x即对θ进行最大后验概率估计，可见此时的•本节介绍的最小二乘估计，把估计作为确定的最优化问题来处理，()ˆθ省去了统计特性的假定，且能得到较好的估计质量。贝叶斯估计即是最大后验概率估计。线性观测方程最小二乘估计由下式确定x=hθ+n,i=1,2,L,NiiiN∂ˆξθ=−2x−hθh=0()∑()iiiˆ∂θˆˆh为已知的观测系数，n为观测噪声。i=1θ=θiiLS估计的误差平方和为进一步解得2NNˆˆhxξθ=x−hθ()∑()∑iiiii=1i=1ˆθ=LSN2h∑iˆi=1最小二乘估计就是使ξθ最小。()
中国科学技术大学—信号统计分析线性观测方程的矢量形式例=hθ+n已知如下观测样本TTT=x,x,L,x,h,h,L,h,=n,n,L,n[][][]12N12N12Nox=s+n,i=1,2L,Nii误差平方和为22T其中，信号s N0,σ，噪声n N0,σ,i=1,2,L,N()()()sˆˆˆinξθ=x−hθx−hθ()()()且独立同分布，并且信号与噪声不相关。对上式求导，进一步可得−1TTˆθ=hhhx()LS求对s的线性最小均方误差估计sˆLS上式即为最小二乘估计的矢量形式。 多参量的常用估计准则 估计准则的推广待估计的多参量T• 多参量的常用估计准则θ=θ,θ,L,θ[]12M• 最小最大误差熵估计准则得到的估计量Tˆˆˆˆ⎡⎤θ=θ,θ,L,θ12M⎣⎦估计的误差矢量Tˆˆˆˆˆ⎡⎤eθ=θ−θ=θ−θ,θ−θ,L,θ−θ()()()()1122MM⎣⎦（1）多参量最大后验概率估计（2）多参量最大似然估计多参量的后验概率密度为多参量的似然函数为fθ|xfx|θ()()其最大后验概率估计量由下式确定其最大似然估计量可由下式确定∂⎡⎤lnfθ|x=0 ()∂⎡⎤⎢⎥∂θ⎣⎦lnfx|θ=0 ˆ()θ=θMAP⎢⎥∂θ⎣⎦ˆθ=θML其中第个方程为i其中第个方程为i⎡⎤∂lnfθ|x=0 , i=1,2,L,M⎡⎤()∂⎢⎥lnfx|θ=0 , i=1,2,L,M∂θ()⎢⎥⎣i⎦ˆθ=θMAP∂θ⎣i⎦ˆθ=θML
中国科学技术大学—信号统计分析（3）多参量最小均方误差估计（4）多参量线性最小均方误差估计ˆ待估计参量与观测样本满足线性关系θ=a+Bx多参量的最小均方误差估计量由下式确定TTˆˆˆˆ其中⎡⎤θ=θ,θ,L,θ,a=[a,aL,a],12M12M⎣⎦ˆθx=θfθ|xdθ()()MS∫(θ)b b L b⎡⎤11121N⎢⎥b b L bT21222Nx=[x,x,L,x],B=其中第12Ni个参量的最小均方误差估计为M M O M⎢⎥b b L b⎣M1M2MN⎦ˆ估计的均方误差为θx=θfθ|xdθ i=1,2L,M()()iMSi∫(θ)TˆEξθ=Eθ−a−Bxθ−a−Bx[][]{()}{}ˆˆ求解方程组得使θEξθ最小的即是多参量的线性最小均方误差估计，LMS{()}−1a=Eθ−Covθ,xCovx,Ex{}{}{}{}L此时对应的线性系数记为a,B,则LL−1B=Covθ,xCovx,{}{}Lˆθ=a+BxLMSLL代入估计量表达式得a,B,可由下面方程组的解来确定LL−1ˆθ=Eθ+Covθ,xCovx,⎡xEx⎤{}{}{}{}LMS⎣⎦∂ˆEξθ=0{()}a=a∂aL与单参量类似，多参量线性最小均方误差的正交原理表示为B=BL∂ˆEξθ=0T{()}ˆEθ−θx=0a=a∂BL{(LMS)}B=BL正交原理示意图（以两个样本为例）。（5）多参量最小平均绝对误差估计多参量的最小平均绝对误差估计可由下式确定ˆ估计量是由从θ的θLMSˆθ∞ABS顶端到由样本x决定的平面fθ|xdθ=fθ|xdθ()()∫∫ˆ−∞θABSθ所做的垂线与该平面的交点ˆe=θ−θLMS其中第i个参量的最小平均绝对误差估计为决定的，这时误差达到最小。cx22显然增加样本维数，可以减ˆθ∞cxiABS11x2fθ|xdθ=fθ|xdθ=1,2LM()()iiii∫∫ˆ−∞θiABS少估计误差。x1ˆˆθ=θLMS
中国科学技术大学—信号统计分析（6）多参量贝叶斯估计（7）多参量最小二乘估计多参量贝叶斯估计的平均风险为多参量线性观测方程为ˆCθ=cefx,θdθx()()()∫∫x=Hθ+nxθ()()其中ce为风险函数。()其中TTx=[x,x,L,x],θ=θ,θ,L,θ,[]ˆ12N12M使Cθ最小的估计即是多参量的贝叶斯估计。()Tˆˆh h L h⎡⎤贝叶斯估计即为最小均方误差估计；11121Mce=eθeθ,()()()⎢⎥h h L hT21222MM=[n,nL,n],H=12Nˆce=θ−θ,()贝叶斯估计即为最小平均绝对误差估计。M M O M∑ii⎢⎥i=1h h L h⎣N1N2NM⎦最小二乘估计的误差平方和为（8）多参量加权最小二乘估计Tˆˆˆˆ⎡⎤⎡⎤ξθ=x−Hθx−Hθ对ξθ加权后做最小二乘估计，获得更好的估计结果。()()⎣⎦⎣⎦ˆˆ使ξθ最小即可求得多参量的最小二乘估计θ加权最小二乘估计的性能指标()LSTˆˆˆˆˆ对ξθ求的一阶偏导并令其结果为零，可得⎡⎤⎡⎤ξθ=x−HθWx−Hθ()θW()⎣⎦⎣⎦∂Tˆξθ=−2Hx−Hθ=0()()W是N×N维的对称正定加权矩阵。ˆ∂θˆˆθ=θLS求解方程得ˆ使ξθ最小的估计即为加权最小二乘估计W()−1TTˆθ=HHHx()LS权矩阵的取值ˆ对ξθ求ˆ的一阶偏导并令其结果为零，可得W()θ−1T−1T∂T令A=HD,B=DWHHWH,ˆ()⎡⎤ξθ=−2HWx−Hθ=0()⎣⎦ˆ∂θˆˆθ=θLSW根据矩阵施瓦兹不等式求解方程得−1T−1TTTTBB≥ABAAABˆ()()()θ=HWHHWx()LSW可得此时的估计误差矩阵为−1−1−1TTTT−1HWHHWRWHHWH≥HRH()()()nnT−1−1TTTˆˆ⎡⎤⎡⎤Eθ−θθ−θ=HWHHWRWHHWH()()LSWLSWn{}−1⎣⎦⎣⎦当W=R时上式中等式成立，即估计误差矩阵最小。nT其中R=En是对称正定矩阵，可分解为此时的加权最小二乘估计为{}n−1T−1T−1Tˆθ=HRHHRxR()=DDLSWnnn
中国科学技术大学—信号统计分析例已知线性观测方程为例对某二维矢量做了两次观测，观测方程如下θx=Cs+nx=Hθ+n其中111x=hθ+n222n是N维高斯噪声列矢量，En=0,Varn=V;{}{}n其中sEs=0,Vars=V;是M维高斯信号列矢量，{}{}s101⎡⎤⎡⎤x=,H=,1⎢⎥1⎢⎥信号与噪声相互独立，C是N×M维观测矩阵。212⎣⎦⎣⎦x=4,h=22,[]22ˆ求信号的最大后验概率估计s,最小均方误差估计ˆs,MAPMSˆ试求θ的最小二乘估计θLS以及线性最小均方误差估计ˆs。LMS（1）信息熵的定义 最小最大误差熵估计准则若随机矢量的概率密度函数为θfθ,()•（1）信息熵的定义•（2）信息熵与方差、相关函数的关系则其信息熵H定义为θ()•（3）最大熵原理Hθ=E−logfθ=−flogfθd(){()}()()•（4）最小最大误差熵估计准则∫θ()信息熵表示的是一个随机系统所具有的信息量。（2）信息熵与方差、相关函数的关系A 高斯分布2随机单参量的信息熵当随机变量H与方差Varθ存在如下关系θθθ服从均值为零方差为σ的高斯分布时，(){}其概率密度函数为1Hθ=log⎡K⋅Varθ⎤(){}⎣⎦221⎛θ⎞fθ=exp−()⎜⎟22σ2πσ⎝⎠其中K为常数。则有112Hθ=log2πeσ=log⎡K⋅Varθ⎤信息熵(){}Hθ的具体表达式由参量的分布决定。()()θ⎣⎦2其中K=2πe。
中国科学技术大学—信号统计分析B 均匀分布C 指数分布aa⎡⎤随机变量服从指数分布，其概率密度函数为θ−,随机变量θ在内服从均匀分布，其概率密度函数为⎢⎥22⎣⎦−aθ⎧ae,θ≥0fθ= ()⎨1aa⎧0,其他,−≤θ≤⎩⎪fθ=()a22 ⎨方差为⎪0,其他⎩1Varθ={}2a方差为2aVarθ=则有{}212⎛e⎞1Hθ=log=log⎡K⋅Varθ⎤(){}⎜⎟2⎣⎦则有a2⎝⎠12Hθ=loga=log⎡K⋅Varθ⎤(){}⎣⎦22其中K=e其中K=12D 高斯随机矢量（3）最大熵原理T•当仅知随机参量的均值、方差等数字特征时，需要选取一个准对均值为零、协方差矩阵为的高斯随机矢量θ=θ,θ,L,θ,V[]12M则，推断出一个最合适的分布作为真实分布。其信息熵与协方差的关系为•在信息论中，熵最大意味着不确定性最大，即信息量最大。因此常以信息熵最大作为推断准则，它表示没有对分布加上其它的主M1Hθ=log2πe+logdetV()()()22观约束。•最大熵原理就是从满足一定约束条件（例如已知均值、方差等数字特征）的分布中找出熵最大的分布作为真正分布的一种推断。2对均值为0、方差为σ的随机单参量θ其最大熵分布为高斯分布，,（4）最小最大误差熵估计准则最大熵为12ˆHθ=−fθlogfθdθ=log2πeσ对零均值随机矢量θ进行估计，得到估计量()()()()θ,∫2(θ)则估计误差矢量为同理，对于均值为0、协方差矩阵为的随机矢量θ,V其最大熵T分布为M维高斯分布，最大熵为ˆˆˆˆˆ⎡⎤%eθ=θ−θ=θ−θ,θ−θ,L,θ−θ()()()()12M⎣⎦M1Hθ=log2πe+logdetV()()()22根据最大熵原理，最大误差熵为在不同的约束条件下，最大熵是不同的；M1H%e=log2πe+logdetV%()(){()}(max在无约束条件下，最大熵是不存在的。22
中国科学技术大学—信号统计分析使 估计量评价的指标H%e最小即是最小最大误差熵估计准则()maxM1⎧⎫mi%nHe=minlog2πe+logdetV%{()}(){()}(ma⎨⎬x•依据不同的准则所得到的估计量一般是不同的，因此对同一参量ˆˆθθ22⎩⎭就有多种估计。即1⎧⎫minH%e=minlogdetV%{()}{()}(max⎨⎬ˆˆθθ•所有的估计量都是观测样本的函数，因此估计量本身是随机量。2⎩⎭•同一参量的估计具有多样性和随机性，有必要衡量各种估计的优ˆ由此得到的估计量θ即为最小最大误差熵估计量。劣。从公式可以看出，对最大误差熵求最小值就是对detVe%{()}本节将介绍评价估计量性能的各种指标。求最小值。（1）无偏性ˆ确定参量有偏估计的偏差量为Eθ−θ{}ˆ对于确定参量θ,若估计量θ满足ˆ随机参量有偏估计的偏差量为Eθ−Eθ{}{}ˆEθ=θ{}当观测样本数趋于无穷时，若ˆ或对于随机参量θ,若估计量θ满足ˆlimEθ=θ{}N→∞ˆEθ=Eθ{}{}或ˆlimEθ=Eθ{}{}ˆN→∞则称所求的估计量θ具有无偏性，是无偏估计，ˆ则称估计量θ具有渐进无偏性，是渐近无偏估计。否则就是有偏估计。ˆ若待定参量θ,θ有效估计量为其均方误差记为（2）有效性TˆˆˆVarθ=Eθ−θθ−θmi{}()()n{}ˆ若还得到另一个无偏估计量θ,其均方误差记为1•根据不同估计准则得到的无偏估计，可能具有不同的均方误差，T均方误差越小，则估计量在真值附近的概率越大。ˆˆˆVarθ=Eθ−θθ−θ{}()()111{}ˆ•如果某个无偏估计的均方误差是所有估计的均方误差的最小值，则θ的有效率定义为1ˆVarθ则估计即是有效估计。min{}η=ˆVarθ{}1•显然，有效估计必须是无偏估计。显然0<η≤1,η越大估计质量越好，对于有效估计η=1。
中国科学技术大学—信号统计分析（3）一致性当观测样本数N趋于无穷时，若若观测样本数N趋于无穷时，估计量在真值附近的概率趋近于1，limη=1则此时的估计称为一致估计。一致估计可用两种方法度量。N→∞ˆA 当N→∞时，估计量θ在概率意义上收敛于θ则称此估计量为渐近有效估计。ˆlimPθ−θ<ε=1()N→∞对某一估计量，若其有效率η满足其中ε是任意正数。limη=η≠10ˆB 当N→∞时，估计量θ在均方意义上趋近于N→∞θ则称η为渐近有效率。20ˆlimEθ−θ=0(){}N→∞（4）充分性ˆ对待定参量θ及其估计量θx如果的似然函数满足,θ()ˆˆ若估计量θx包含了样本x中关于θ的全部信息，⎡⎤()fx|θ=gθx|θhx()()()⎣⎦ˆ则称是充分估计量。θx()ˆ⎡⎤其中，且与无关，gθx|θ是的函数且与hx≥0()()θθ⎣⎦ˆ有关，则称θx为充分估计量。()充分性体现在：fx|θ从充分估计量中可以获取待定参量的全部信息；()表示在观测样本中含有待定参量的信息，ˆ其它估计量中关于待定参量的信息总是小于充分估计量的。包含了观测样本中关于待定参量的全部信息，θx()hx中不含有待定参量的信息。() 确定单参量估计的克拉美-罗不等式 克拉美-罗不等式ˆ设观测样本矢量为x,对确定单参量θ的无偏估计为θ,fx|θ()是似然函数，则• 确定单参量估计的克拉美-罗不等式−12⎧⎫2⎪⎪∂⎡⎤⎪⎪ˆˆ• 确定矢量估计的克拉美-罗不等式Varθ=Eθ−θ≥Elnfx|θ(){}()⎨⎨⎬⎬{}⎢⎥∂θ⎣⎦⎩⎭• 随机单参量估计的克拉美-罗不等式上式即是确定单参量估计的克拉美-罗不等式。• 随机矢量估计的克拉美-罗不等式∂ˆlnfx|θ=Kθθ−θ当且仅当()()时等式成立，()∂θˆ此时的估计量为有效估计。θ
中国科学技术大学—信号统计分析确定单参量估计的克拉美-罗不等式的证明∂∂⎡⎤fx=lnfxfx,()()()⎢⎥xx⎣⎦假定fx|θ()对θ的一阶、二阶导数都存在且绝对可积，并满足求导与积分互换次序的条件。∂⎡⎤ˆlnfx|θfx|θfx|θθ−dx=1()()()()∫⎢⎥∂θ⎣⎦(x)由无偏估计性质，可得利用施瓦兹不等式ˆˆEθ−θ=θ−θfx|θdx=0(){}()1∫ˆVarθ≥{}x()2⎧⎫⎪∂⎡⎤⎪Elnfx|θ()⎨⎬⎢⎥求偏导，整理∂θ⎣⎦⎪⎪⎩⎭∂∂ˆˆ当且仅当lnfx|θ=Kθθ−θ()()时等号成立。()θ−θfx|θdx=fx|θdx=1()()()∫∫∂θ∂θ(x)(x)对fx|θdx=1()两边求关于的偏导，得确定单参量的有效估计与其最大似然估计的关系θ∫(x)∂∂⎡⎤最大似然估计满足fx|θdx=lnfx|θfx|θdx=0()()()∫∫⎢⎥∂θθ⎣⎦(x)(x)lnfx|θ=0()∂θˆθ=θML有效估计满足再求偏导22⎧⎫∂⎧⎫⎪∂⎪∂⎡⎤ˆlnfx|=Kθ−()()E()lnfx|θ=−Elnfx|θ()()⎨⎬⎨⎬2ˆ⎢⎥θ=θ∂θˆMLθθθ=θ⎣⎦ML⎩⎭⎩⎭代入克拉美-罗不等式ˆ因此θ−θ=0()ˆθ=θML1ˆVarθ≥−{}2⎧∂⎫ˆˆ进一步得θ=θElnfx|θ()ML⎨⎬2∂θ⎩⎭上式是确定单参量估计的克拉美-罗不等式第二种表达式。确定单参量的有效估计是它的最大似然估计。 确定矢量估计的克拉美-罗不等式矩阵J称为费什尔信息矩阵，它表示从观测数据中获得的信息，ˆ其中元素表示为x,设观测样本矢量为对确定矢量的无偏估计为fx|θθθ，()2⎧⎫⎪∂⎪是似然函数，则克拉美-罗不等式为J=−Elnfx|θi,j=1,2,L,M()⎨⎬ij∂θ∂θij⎩⎭2−1ˆEθ−θ≥J=1,2,L,M()()当且仅当ii{}iiM∂ˆ其中，矩阵J定义为θ−θ=Klnfx|θi=1,2,L,M()ii∑ij∂θj=1jT⎧⎫⎪∂∂⎡⎤⎪克拉美-罗不等式的等号成立。J=−Elnfx|θ()⎨⎬⎢⎥∂θ∂θ⎣⎦⎩⎭
中国科学技术大学—信号统计分析2−1确定矢量估计的克拉美-罗不等式的证明ˆ考虑时的情况，即证明i=1Eθ−θ≥J()()11{}11由无偏估计性质，可得构造一个列矢量ˆθ=θxfx|θdx()()iiT∫⎡⎤∂∂(x)ˆy=θ−θ,lnx|θ,L,lnx|θ()()()⎢11⎥θθ⎣1M⎦对上式求关于θ的偏导，可得j⎧⎫1i=j∂⎧其协方差矩阵为⎪⎪ˆEθxlnfx|θ=δ=()()⎨⎬⎨iij∂θ0i≠jj⎩⎩⎭2⎡⎤ˆEθ−θ10L0()11{}⎢⎥对fx|θdx=1()两边同时求偏导，可得∫⎢⎥(x)T1JJLJEyy={}⎢11121M⎥⎧⎫∂⎢⎥MMMMElnfx|θ=0()⎨⎬⎢⎥∂θ⎩i⎭0JJJ⎢⎥⎣M1M2M⎦ 随机单参量估计的克拉美-罗不等式由协方差矩阵为半正定，可知TdetEyy≥0{{}}ˆ设观测样本矢量为x,对随机单参量θ的无偏估计为θ,进一步推知fθfx,θ()是θ的概率密度函数，()是x,θ的联合概率密度函数。JLJ121M21−1ˆEθ−θ≥MM=J()()11给定时估计误差的条件数学期望为{}θ11JJLJM2Mˆgθ=θ−θfx|θdx()()()∫T(x)当detEyy=0时，等式成立，即{{}}M若fx|θ()对θ的一阶、二阶导数都存在且绝对可积，并满足∂ˆθ−θ=Klnfx|θ()11∑1j∂θj=1jlimfθgθ=0()()θ→∞同理可以证明i=2,3,L,M时的情况。limfθgθ=0()()θ→−∞则随机单参量的估计满足克拉美-罗不等式随机单参量估计的克拉美-罗不等式的证明ˆ2由gθ=θ−θfx|θdx()()1()∫ˆEθ−θ≥(){}(x)2⎧⎫⎪∂⎡⎤⎪Elnfx,θ()⎨⎬⎢⎥∂θ⎣⎦两端同乘fθ()后求导⎩⎭当且仅当∂∂∂ˆˆ⎡gθfθ⎤=−fx,θdx+θ−θfx,θdx()()()()lnfx,θ=Kθ−θ()()⎣⎦()∫∫∂θ(x)(x)两端积分ˆ上式中等式成立，此时θ为有效估计。+∞∂ˆgθf=−1+−θfx,θdxθ()()()()式中，K是与θ无关的任意常数。∫∫−∞∂θ(θ)(x)
中国科学技术大学—信号统计分析两边取平方施瓦兹不等式limfθgθ=0()()∂∂⎡⎤θ→∞21fx=lnfxfx()()()ˆ⎢⎥Eθ−θ≥()xx{}limfθgθ=02⎣⎦()()⎧⎫θ→−∞⎪∂⎡⎤⎪Elnfx,θ()⎨⎬⎢⎥∂θ⎣⎦⎩⎭∂⎡⎤ˆ∂θ−θlnfx,θfx,θdxθ=1()()()ˆ∫∫⎢⎥当且仅当lnfx,θ=Kθ−θ时等式成立。()()∂θ⎣⎦(θ)(x)∂θ随机单参量估计的克拉美-罗不等式也有另一种形式：改写21ˆEθ−θ≥−(){}∂2ˆ⎧∂⎫θ−θfx,θfx,θlnfx,θdxθ=1()()()()∫∫Elnfx,θ()⎨⎬∂θ2(θ)(x)∂θ⎩⎭其证明与确定参量估计时类似。 随机矢量估计的克拉美-罗不等式随机单参量的有效估计与其最大后验概率估计的关系最大后验概率估计满足ˆ设观测样本矢量为x,对随机矢量θ的无偏估计为θ,∂lnfx,θ=0()fθ是θ的概率密度函数，fx,θ()()是x,θ的联合概率密度函数。∂θˆθ=θMAP有效估计满足则随机矢量估计的克拉美-罗不等式为∂ˆlnfx,=Kθ−()()ˆθ=θ∂θˆMAP2θ=θMAP−1ˆEθ−θ≥J=1,2,L,M()()iiT{}iiˆ当且仅当因此θ−θ=0()ˆθ=θMAPM∂ˆlnfx,θJθ−θi=1,2,K,M()()∑()ˆˆTjj进一步得ijθ=θMAP∂θj=1i上式中的等式成立。其中，J是M×M维矩阵。随机单参量的有效估计是它的最大后验概率估计。T矩阵定义为JTT⎧⎫对fx|θdx=1两端求导，可得()⎪∂∂⎡⎤⎪∫J=−Elnfx,θ()⎨⎬Tx()⎢⎥∂θ∂θ⎣⎦⎩⎭∂∂将其展开表示为fx|θdx=fx|θdx=0()()∫∫θθJ=J+J+J+JTABCDi(x)(xi)T由上式可得⎧⎫其中⎪∂∂⎡⎤⎪J=J=0J=−Elnfx|θ,()()()⎨⎬CDAijji⎢⎥∂θ∂θ⎣⎦⎩⎭T⎧⎫则J=J+J⎪∂∂⎡⎤⎪TABJ=−Elnfx()⎨⎬B⎢⎥∂θ∂θ⎣⎦⎩⎭TJ即为费什尔矩阵；J称为先验信息矩阵，其元素为⎫AB∂⎡⎤⎡⎤⎪J=Elnfx|θlnfθ,()()C⎬⎢⎥⎢⎥∂θθ⎣⎦⎣⎦⎪⎭2⎧⎫⎪∂⎪TJ=−Elnfθi,j=1,2,K,M()()⎧⎨⎬B∂∂ij⎡⎤⎡⎤∂θ∂θJ=Elnfθlnfx|θ()()ijD⎨⎩⎭⎢⎥⎢⎥θθ⎣⎦⎣⎦⎪⎩
中国科学技术大学—信号统计分析 最大似然估计的应用最大似然估计适用情况：• 高斯白噪声中的信号参量估计1．信号幅度估计•待估计参量是确定性参量；2．信号相位估计•待估计参量是随机参量，但其先验概率分布无法获知。3．信号频率估计4．信号时延估计本节将以通讯和雷达系统中的常见信号为例，介绍最大似然5．信号的频率和时延的联合估计估计在实际信号参量估计中的应用• 高斯色噪声中的信号参量估计 高斯白噪声中的信号参量估计给定θ时x(t)的似然函数⎧T⎫12观测到的的信号fxtθ=Fexp−⎡xt−st,θ⎤dt(())()()⎨⎬∫⎣⎦0N⎩0⎭xt=st,θ+nt 0≤t≤T()()()其对数似然函数T12st,θ()为已知信号，nt()是均值为零、功率谱密度为N/2lnfxtθ=lnF−⎡xt−st,θ⎤dt0(())()()∫⎣⎦0N0T的高斯白噪声，θ=θ,θ,L为待估计参量。,θ[]12M对上式中的参量θ求导，可得似然方程T∂st,θ()在雷达接收信号中，⎡xt−st,θ⎤dt=0θ可以是信号的幅度、相位、()()ˆi∫⎣⎦θ=θ0ML∂θ频率、时延等。ˆ似然方程的解即是最大似然估计量θML利用似然函数，对θ求二阶导，可得非随机矢量的克拉美－罗不等式为T∂st,θ∂st,θ2()()J=dti,j=1,2,L,Mij∫0N∂θ∂θ20ij−1ˆ⎡⎤Eθ−θ≥J=1,2,LM()iMLi{}⎣⎦iiˆ若θ是无偏估计，其方差即为估计的均方误差，则ML−1式中J为费什尔信息矩阵，其元素为ˆVarθ≥Ji=1,2,LM{}()iMLii⎧⎫上式即可确定估计的克拉美－罗限。⎪∂∂⎪J=Elnfxt|lnfxt|θ())())⎨⎬ijθθij⎩⎭对单参量估计，克拉美－罗不等式为2⎧⎫⎪∂⎪−12=−Elnfxt|θi,j=1,2,L,M())⎨⎬⎡⎤2T⎡∂st,θ⎤2()∂θ∂θˆˆij⎩⎭⎡⎤Varθ=Eθ−θ≥⎢dt⎥{ML}ML⎢⎥{}∫⎣⎦0N∂θ0⎣⎦⎣
中国科学技术大学—信号统计分析1．信号幅度估计似然方程T⎡xt−Ast⎤stdt=0()()()ˆ∫⎣⎦A=A0ML待估计参量为信号的幅度时，接收信号波形求解方程得Txtstdt()()∫xt=st,A+nt=Ast+nt0≤t≤T()()()()()0ˆA=MLT2stdt()∫0st()是已知信号，幅度A是待估计的参量，st若()是归一化信号，则Tˆ它相当于脉冲幅度调制通信系统中的最佳解调问题，A=xtstdt()()ML∫0xt()就是接收到的已调制信号。将推导过程中的积分变为求和，即可求得离散信号幅度的最大似然估计。ˆ由观测信号xt()构成最大似然估计量A有两种方法：（1）无偏性ML估计量的期望TT1）观测信号xt和已知信号st()()进行相关运算（图a）；2ˆEA=EAstdt+Entstdt(){()}(){ML}{}∫∫002）使xtst()通过与相匹配的滤波器并在()t=T由归一化结果可知T2时刻对输出采样得到（图b）。EAstdt=A(){}∫0由高斯白噪声性质得TEntstdt=0{()}()∫0ˆ最后可得EA=A{ML}(b) 匹配滤波器(a) 相关接收机ˆ因此A是A的无偏估计ML（2）有效性2．信号相位估计N0由nt接收信号()是高斯白噪声，可知Entnτ=δt−τ,{()()}()2T2又有stdt=1,则()xt=st,θ+nt=Asinωt+θ+nt0≤t≤T()()()()()∫002T⎧⎫N⎡⎤0ˆVarA=Entstdt=幅度()()A和频率ω已知，初相位θ是待估计的参量。{ML}⎨⎬0∫⎢0⎥⎣⎦2⎩⎭∂st,A∂Ast()()相位估计的似然方程为又因为==st()由克拉美－罗不等式可得∂A∂ATNxtAcosωt+θ−Asinωt+θAcosωt+θdt=0()()()()0ˆ000∫VarA≥0{ML}ˆθ=θ2MLˆ以上推导说明估计量A是A有效估计。ML
中国科学技术大学—信号统计分析相位最大似然估计的最佳接收机如图所示：假定ωT=kπ,则似然方程左边第二项积分为零；0或者采用窄带信号，ωT 1,则似然方程左边第二项近似为零。0于是似然方程变为TAxtcosωt+θdt=0()()0∫0ˆθ=θML利用三角变换公式，可得相位的最大似然估计T⎧⎫xtcosωtd()0⎪∫⎪0ˆθ=arctanML⎨⎬T双通道相位估计最佳接收机xtsinωtd()0∫⎩0⎭两路相关器的输出实际应用中通常采用如图所示的锁相环进行相位估计。Te=xtcosωtdt()10∫0Te=xtsinωtdt()20∫0其均值为ATe=sinθ12ATe=cosθ22锁相环相位估计器其方差为NT20Vare=Vare==σ{}{}12n4锁相环的工作原理当环路增益很大时，相位差θ−θ′很小，则sinθ−θ′≈θ−θ′,()信噪比很高，接收信号为于是可得ATε≈θ−θ′()xt≈Asinωt+θ()()02相乘器积分器可平滑由噪声引起的εt()变化。误差电压ε加到压控振荡器，εt=Asinωt+θcosωt+θ′()()()00使其输出信号的相位θ′向θ靠近，则误差电压趋向于零，即三角变换AAεt=sinθ−θ′+sin2ωt+θ+θ′()()()T022xtcosωt+θ′dt=0()()0∫0积分器上式即似然方程表示的运算。TATε=εtdt≈θ−′sin()()∫02
中国科学技术大学—信号统计分析锁相环相位估计的性能3．信号频率估计（1）无偏性ˆ高信噪比条件下，锁相环的作用使因此估计是无偏的。θ→θ,ML待估计参量为信号的频率时，接收信号波形（2）有效性xt=st,ω+nt=atsinωt+θ+nt0≤t≤T由已知条件得()()()()()()22T⎡∂stθ⎤T,()A22dt=Acosωt+θdt=T=E()⎢⎥∫∫00∂θ2其中，幅度at()已知，⎣⎦代入克拉美－罗不等式得相位θ为随机变量，在0,2π上服从均匀分布，[]N0ˆVarθ≥{ML}2E角频率ω是待估计的未知参量。ˆ可以证明估计量θ是有效的，其方差等于N2EML0类似于随机相位信号检测中的方法，可得似然函数最大似然频率估计的接收机如图所示：⎧E⎫⎛⎞2qfxtω=kexp−I())⎨⎬0⎜⎟NN⎩0⎭⎝0⎠式中⎧T⎫T122k=Fexp−xtdt,E=st,ωdt()()⎨⎬∫∫00N⎩0⎭12TT⎫⎡⎤⎡⎤qxtatsinωtd+xtatcostd()()()()⎬∫∫⎢⎥⎢0⎥⎣⎦⎣⎦⎭频率估计最佳接收机使fxtω())最大的ω值即最大似然估计量ωˆ。MLI2qN是的单调函数，ωˆ由于q所以求就等效于()M分析表明：信噪比越大，或者信号持续时间越长，L00频率估计的方差越小，频率估计越精确。求解q最大时的ω。T2令信号能量E=s它τt−τd是常数，对求偏导为零，t,()4．信号时延估计∫0（1）基带信号的时延估计于是似然方程变为T∂st−τ()xtdt=0接收信号()∫0∂ττ=τˆMLxt=st−τ+nt0≤t≤T()()()由上式可得最佳接收机如图所示：st()为发射信号，信号时延τ为待估计参量对数似然函数分析表明：信噪比越大，2T1lnfxtτ=lnF−⎡xt−st−τ⎤dt或基带信号带宽越大（即(())()()∫⎣⎦0N0信号时域脉冲宽度越小），求导得似然方程时延估计方差的下限就越T∂st−τT∂st−()()xtdt−st−τdt=0()()∫∫00小。τ=τˆML
中国科学技术大学—信号统计分析（2）窄带信号的时延估计对数似然函数为用复包络描述窄带接收信号为⎡T⎤E2E∗lnfxtτ=lnk−+lnIa%%tatdt(())()()⎢⎥0x∫0a%t=Ea%t−τexpjθ+n%t0≤t≤TNN()()()()x0⎣⎦式中E是发射信号的能量，信噪比很高时，上式可近似为a%t()是信号的归一化复包络，TE2E∗lnfxtτ≈lnk−+a%%tatdt(())()()x∫0NN相位0,2πθ是在上均匀分布的随机变量，00[]n%t()是功率谱密度为的高斯白噪声的复包络。N/20使上式中积分项最大的τ值就是最大似然估计量。由似然函数可知：5．信号的频率和时延的联合估计∗将接收信号送入复脉冲响应为%的匹配滤波器，aT−t()假定发射信号为然后通过包络检波器，当输出达到峰值时的τ值即为最大st=Asin⎡ωt+φt+θ⎤0≤t≤T()()0⎣⎦似然估计τˆ,由此可得最佳接收机如图所示ML式中A是信号幅度，ω是载波频率，0φt()是信号的相位调制项，与基带信号时类似，要提高时延估计的精度，应该增加信号能量，降低噪声强度，增加信号的带宽。θ是信号的初始相位，在0,2π上服从均匀分布。[]参考对频率和时延单独估计时的方法，高信噪比条件下待估计参量为信号的频率和时延，接收信号为对数似然函数为xt=Asin⎡ω+γt−τ+φt−τ+θ⎤+nt0≤t≤T()()()()()0⎣⎦TE2E∗lnfxtτ,γ≈lnk−+a%t−τa%texpjγtdt()()()())∫式中γ,τ分别为接收信号的多普勒频移和时延。0NN00接收信号的复包络形式为由似然函数可得最佳接收机如图所示a%t=Ea%expexp%t−τjγt⎡−jω+γτ⎤+nt0≤t≤T()()()()()x0⎣⎦式中E是发射信号的能量，n%t()是功率谱密度为N/2的高斯白噪声的复包络，0a%t()是归一化的发射信号的复包络。
中国科学技术大学—信号统计分析 高斯色噪声中的信号参量估计分析表明:仍以雷达系统为例，与高斯白噪声的信号参量估计类似，•增大信噪比可以同时提高频率和时延的估计精度；•增加信号的有效带宽可以提高时延的估计精度，增加信号的有效持续时观测信号为间可以提高频率的估计精度。xt=st,θ+nt , 0≤tT()()()•信号的有效带宽和有效持续时间并非相互独立的，在信号形式给定后，式中有效持续时间较短的信号必然有较宽的有效带宽，反之亦然。st,θ()为发射信号，•有效带宽和有效持续时间的这种矛盾，称为测不准原理或测不准Tθ=[θ,θ,Lθ]是待估计的矢量参量。12M关系。nt是自相关函数为R的零均值平稳高斯噪声。τ()()n单个未知参量的估计采用类似于白噪声中参量估计的方法推导似然方程：根据信号检测的结果，对数似然函数为∂lnfxtθTT(())∂sτ,θ1()−1=⎡xt−st,θ⎤Rtτdtdτ+()()()TTn1∫∫⎣⎦002lnfxtθ=lnC−⎡xt−st,θ⎤⋅(())()()∫∫⎣⎦002TT∂sτ,θ1()−1−1⎡xt−st,θ⎤Rτtdtdτ()()()nRt−τ⎡xτ−sτ,θ⎤dtτ∫∫⎣⎦()()()00n⎣⎦2∂θ式中，C是与参量θ无关的常数，−1−1Rt−τ=Rτ−t()()nn−1Rt−τ是逆核，由下式决定()nT∂lnfxtθTT−1(())∂sτ,θ()−1Rt,τRτ,s=δt−s()()()nn=⎡xt−st,θ⎤Rtτdtdτ()()()∫n0∫∫⎣⎦00使似然函数取值最大的参量值即是最大似然估计。类似信号检测时的方法，定义多参量的估计T−1Gτ,θ=Rτ−tst,θdt()()()n∫0高斯色噪声中多参量最大似然估计的似然方程为它满足积分方程TRt−τGτ,θ=st,θ()()()n∫0T∂Gτ,θ()⎡xτ−sτ,θ⎤dτ=0()()∫⎣⎦0对∂G求偏导，可得θτ,θ()ˆθ=θML∂GτθT,∂st,θ()()−1=Rτ−tdt()n∫0其中函数G义为τ,θ定()利用上式可得T−1T∂Gτ,θ()Gτ,θ=Rτ−tst,θdt()()()n∫⎡xτ−sτ,θ⎤dτ0()()0∫⎣⎦0∂θˆθ=θML似然方程的解即是多参量的最大似然估计。ˆ方程的解就是最大似然估计量θML
中国科学技术大学—信号统计分析 线性最小二乘估计 最小二乘估计的应用信号检测中，探测器连续跟踪观测某个目标时，线性观测方程为k•最小二乘估计把估计问题作为最优化问题处理，不需要任何先验x=Aq+nk=1,2,L,Nkk知识和统计特性，使分析大大简化，因而得到了广泛的应用。幅度A是待估计的参量，0<q≤1是信号随时间的衰减因子，2n是独立同分布的观测噪声，其均值为零、方差为σ，kn•本节内容：且与观测信号不相关。 线性最小二乘估计观测方程矢量形式为 非线性最小二乘估计x=qA+n为观测信号矢量，q为观测矢量nx，为观测噪声矢量。最小二乘估计的性能信号幅度的线性最小二乘估计为由已知条件，观测噪声n的统计特性k−1TT2ˆA=qqqxEn=0,Enn=σδ,EAn=0(){}LS{}{}kkjnkjk则其协方差矩阵为2⎡σ0L0⎤Tn2NT将x=[x,x,L,x]和q=[q,q,L,q]代入上式得⎢⎥12N20σLnC=nMMMN⎢⎥21kˆ00LσA=qx⎣n⎦LS∑N2kk=1ˆq估计量A的均方误差为∑LSk=1212ˆˆξA=EA−A=σ()()LSLSn{}N2kq∑k=1信号幅度的加权线性最小二乘估计为2若观测噪声独立但并非同分布，则观测噪声的方差为σ。nkNk−11qTTˆA=qWqqWxx()LSWoptopt∑N2kk2qσk=1nk观测噪声的不同，使得不同的观测信号对估计精度的影响不同，∑2σk=1nk估计的均方误差为此时采用加权最小二乘估计，可以提高估计的精度。2−11TˆˆξA=EA−A=qWq=()()()LSWLSWopt{}N2kq权重的选择标准，应使噪声大的样本权重小，因此权重取噪声∑2σk=1nk方差的倒数最为合理，加权矩阵为22若观测噪声退化为独立同分布，即σ样本=σ则各观测,nnk−1W=Coptn权重相同，此时退化为普通线性最小二乘估计
中国科学技术大学—信号统计分析 非线性最小二乘估计利用三角公式，将观测信号展开得x=Acosωkcosθ−Asinωksinθ+n,k=1,2,LN()()k00k以雷达系统为例，假设观测信号为T定义φ=φ,φ,其中[]12x=Acosωk+θ+nk=1,2,LN()k0kφ=Acosθ1−π≤θ≤π式中，频率ω已知，0φ=−Asinθ2振幅A和相位θ∈[−π,π]为待估计参量，则x=cosωkφ+sinωkφ+n,=1,2,LN()()n为观测噪声。k0102kkφ此时，观测信号与待估计参量为非线性关系，无法直接使用观测信号x与新的待估计参量满足线性关系k最小二乘估计。x=Hφ+n此时，观测矩阵为由估计矢量φˆ,根据参量变换关系，即可求得振幅和相位的LScosωsinω⎡⎤00⎢⎥ˆˆcos2ωsin2ω非线性最小二乘估计量A和θ。00LSLSH=MM⎢⎥考虑到θ∈[−π,π],则cosNωsinNω⎣00⎦1/222ˆˆˆˆ则线性最小二乘估计为A=φ+φA>0()LS1LSLSLSˆˆˆˆNNNNθ=arccosφ/Aφ≤0()⎡1⎤LSLSLS2LS2sinωcosωx−sin2ωsinωx()()()()∑0∑0k∑0∑0k⎢2k=1k=1k=1k=1ˆˆˆˆθ=−arccosφ/Aφ0()LS1LSLSLSNNNN1⎥2cosωcosωkx−sin2ωsinωkx()()()()∑0∑0∑0∑02⎣k=1k=1k=1k=1⎦若观测噪声非同分布，可采用加权最小二乘估计来提高估计的精度。φˆ=LSNNNN122cosωsinωk−sin2ωsin2ωk()()()()∑0∑0∑0∑0方法与上一节的讨论类似。4k=1k=1k=1k= 稳健估计 稳健估计•前述的信号参量估计都是基于准确的信号模型的，所获得的估计量在准• 稳健估计则的意义上是最佳的。• M估计•当实际信号偏离假定的信号模型时，估计性能将显著下降。若一个估计1. M估计量在理想模型下是最优的，在该模型附近是接近最优的，则这种估计被2. M估计的选权迭代法称为稳健估计。•当信号模型在允许的范围内变化，稳健估计的性能不大，即稳健估计对3. M估计常用的权函数信号模型具有非敏感性。
中国科学技术大学—信号统计分析 M估计若函数ρx,θ()关于θ的导数存在，即1. M估计∂ρx,θ()假设观测样本为ϕx,θ=()T∂θx=x,x,L,x[]12Nx =1,2,L,N独立同分布且条件概率密度函数为()fxθ,()iˆ若θ满足M为待估计的参量。θNϕx,θ=0()∑iˆi=1ˆ选定一连续非负函数ρx,θ,()若估计量θ满足θ=θMMNρx,θ=min()∑iˆ则也称θ为θ的一个M估计。i=1ˆθ=θMMˆ则称θ为θ的一个M估计。M若ρx,θ()取为对数概率密度函数，即M估计是对最大似然估计准则的推广，这是M估计最初得名的原因。kρx,θ=−lnfxθx=Aq+nk=1,2,L,N()()kk则ρM估计用函数代替最大似然估计中的概率密度函数，使之能够N适应更加复杂的模型。lnfxθ=max()∑ii=1ˆθ=θMN当实际模型与假定的理想模型有一定偏差时，可以选取合适的∂lnfxθ()i=0∑∂θi=1ˆρˆ函数，抑制该偏差对估计量θ的影响。θ=θMM此时M估计就是最大似然估计。ρ常用的函数是对称、连续、严凸或者在正半轴上非降的函数。2. M估计的选权迭代法假定观测权矩阵假定线性观测方程x=Hθ+np0L⎡⎤10⎢⎥Tp2式中，⎢⎥x=x,x,L,x[]是独立观测样本矢量，P=12N⎢⎥MOMT⎢⎥H是观测矩阵，其第行记为ih,00Lpi⎣N⎦Tθ=[θ,θ,L,θ]是待估计的矢量，12MT考虑到误差方程和观测权矩阵，将M估计的函数取为n=n,n,L,n[]是测量误差矢量。12N显然ρx,θ=pρn()()iin=x−Hθi上式称为误差方程。
中国科学技术大学—信号统计分析根据M估计的第一个定义，可得ϕn()i令权函数w=,可得稳健权矩阵inNNiTpρnpρx−hθmin()()∑i∑iii⎡ϕn⎤()=11=1ˆθ=θM0L0⎢⎥n1w0L0对上式求关于θ的导数，并记⎡⎤ϕn=∂ρn∂n1()()iiiϕn()⎢⎥2w002W==n2得M估计方程NMMM⎢⎥MMMpϕnh=0⎢⎥()∑iii00Lw⎣N⎦i=1ˆθ=θMϕn()N00L上式可以写成n⎣N⎦Nϕn()ihpn=0∑iiini=1iˆθ=θMw称为稳健权因子，是相应的误差n的函数。iiˆ方程的解即为未知参量的M估计。θMp=pw,令则M估计方程为iii稳健权矩阵与观测权矩阵的区别：Nhpn=0∑iii稳健权矩阵是在计算过程中得到的，是后验知识，由具体的观测i=1ˆθ=θM即数据决定，代表观测样本中各个观测值对估计精度的影响。THPn=0ˆθ=θM式中观测权矩阵是观测之前就确定的，是先验的知识，例如：⎡⎤pwL110⎢⎥P=MOM⎢⎥1）若观测样本是由不同的仪器得到，则P可以代表仪器的性能；⎢⎥0Lpw⎣NN⎦2) 若观测样本由同一仪器在不同时间得到，则P可以代表pP称为等价权矩阵，其中元素称为等价权因子，i仪器性能随时间的变化。是观测权因子与稳健权因子之积。3. M估计常用的权函数将误差方程代入M估计方程，可得M估计的法式方程TTˆ•选择不同的权函数形成的稳健估计不同，权函数是影响估计性能的一个HPHθ=HPxM进一步可得重要的因素。−1TTˆθ=HPHHPx•观测数据分为有效数据、有用数据和有害数据三类，相应的权函数也分()M为三段：当选定ρ函数后，稳健权矩阵W可以确定。正常段：权保持初始值，一般为1，即充分利用有效数据。由于等价权因子p是误差n的函数，而在估计之前n未知，可疑段：权小于初始值，一般小于1，即限制利用有用数据。iii淘汰段：权值为零，即排除有害数据。因此需要赋给n初值，采用迭代算法估计参量。θi
中国科学技术大学—信号统计分析（2）Tukey估计权函数（1）Huber估计权函数22⎧⎧1u≤c⎛⎞u⎪1−u≤c⎪⎜⎟w(u)=cwu=⎨()c⎨⎝⎠u>c⎪⎪u⎩0u>c⎩σu=nσ,式中，是其标准差，cn是估计的误差，是常数。unσ,的误差，σ=n式中，是估计是其标准差，c是常数。特点：缺少淘汰段，因此有害数据没有被剔除，其对参量估计的特点：缺少正常段，其对参量的估计没有充分利用有效数据。精度不高。但其具有一致收敛的特点，且不受初始误差的影响。但其适应能力强，适用于有害数据较多的情况。（1）Hampel估计权函数⎧1u≤a•在实际估计中，可以将多种权函数结合起来使用。⎪a⎪a<u≤b•例如在估计卫星轨道参量时：⎪u⎪wu=()⎨c−u（1）先用Huber权函数，利用其一致收敛且对误差初值不敏感的⎪b<u≤c⎪c−bu()特点，获取精度较高的误差初值。⎪0u≥c⎪⎩（2）然后用Hampel权函数，可获取轨道参量的高精度估计。u=nσ,n是估计σ式中，的误差，是其标准差，a,b,c是常数。特点：包含四个分段，把可疑段又分为两段，提高了估计的精度。但其计算量较大，且对误差初值比较敏感。
