ARMA模型的特性
本章为本书重点之一，主要掌握三类模型的格林函数形式、平稳性和可逆性条件、AFC和PAFC的形式和特点。
第一节 线性差分方程
后移(Backshift)算子:
定义：后移算子B定义为，从而。
后移算子的性质：
常数的后移算子为常数：
分配律：
结合律：
后移算子B的逆为前移算子
对于，无限求和得
前面的MA(m)模型、AR(n)模型和ARMA(n,m)模型可分别表示为：
其中：
线性差分方程
可将写成
这里
差分方程通解为：
这里，C (t)是齐次方程解，I (t)是特解。
齐次方程解的计算
无重根 考虑齐次差分方程
其中
假定G1，G2，…，Gn是互不相同，则在时刻t的通解：
其中Ai为常数（可由初始条件确定）。
重根 设有d个相等的根，可验证通解为
对一般情形，当的因式分解为
齐次方程解便是
因此，齐次方程解是由衰减指数项Gt、多项式tj、衰减正弦项Dtsin(2πf0t+F)，以及这些函数的组合混合生成的。
上述过程中计算并不方便，通常通过解方程得到其根为：。由于的根与的根互为倒数，因此。
非齐次方程的特解通常情况下不容易得到，没有一个“万能钥匙”，需要具体问题具体分析，只能对一些具有特殊形式非齐次项的方程进行讨论。此处丛略。
第二节 格林函数(Green’s function)和平稳性(Stationarity)
格林函数(Green’s function)
定义：设零均值平稳序列能够表示为
（1）
则称上式为平稳序列的传递形式，式中的加权系数称为格林（Green）函数，其中。
格林函数的含义：
格林函数是描述系统记忆扰动程度的函数。
式（1）可以记为
（2）
其中。
式（1）表明具有传递形式的平稳序列可以由现在时刻以前的白噪声通过系统“”的作用而生成，是j个单位时间以前加入系统的干扰项对现实响应的权，亦即系统对的“记忆”。
AR（1）系统的格林函数
由AR（1）模型
即：
则AR(1)模型的格林函数。如若，则随着j的增大而缓慢减小，表明系统的记忆较强；相反，若，则随着j的增大而急剧减小，表明系统的记忆较弱.
例：下面是参数分别为、和的AR（1）系统对扰动的记忆情况（三个序列由同一正态白噪声序列模拟生成）：
比较前后三个不同参数的图，可以看出：
取正值时，响应波动较平坦。
取负值时，响应波动较大。
越大，系统响应回到均衡位置的速度越慢，时间越长。
由于其中，因此AR（1）模型可用一个无限阶MA来逼近，这说明AR模型是一种长效记忆模型。
三、AR系统的平稳性
1、由平稳性的定义求AR(1)系统的平稳性条件
将AR（1）模型两边平方再取数学期望，得到
如果序列是平稳的，则有，由上式可得
由于是非负的，所以，从而，这就是AR（1）模型的平稳性条件。
利用滞后算子B，AR（1）模型可以写为
式中，那么平稳性条件就等价于的根在单位圆外（或的根落在单位圆内）。
上述平稳条件可以推广到AR（n）模型，即
其中：的平稳性条件为：的根在单位圆外（或的根在单位圆内）。
2、由格林函数求AR(1)模型的平稳性条件
对于AR(1)系统来说，其平稳性条件也可以由格林函数得出。如果系统受扰后，该扰动的作用渐渐减小，直至趋于零，即系统响应随着时间的增长回到均衡位置，那么，该系统就是平稳的。相对于格林函数来说，就是随着j→∞，扰动的权数，由于＝故必有j→∞，，显然，
这就是AR(1)系统平稳性条件。反过来，若，则称AR(1)为渐近稳定的，也必是平稳的。
时，=1; 当=1时,=(-1)j 当=-1时
这时，虽然响应不回到其均衡位置，但仍是有界的，这时系统为临界稳定的，系统可能存在某种趋势或季节性。
当时，j→∞，→∞，任意小的扰动只要给定足够的时间，就会使系统响应正负趋于无穷，永远不会回到其均衡位置，这时系统便是不稳定的，当然是非平稳的。
例：求AR（2）模型的平稳域
解：特征方程 的根
，
，
根据AR模型的平稳性的条件
由于是实数，必同为实数或共轭复数，由于，因此
故AR（2）模型的平稳域为
四、格林函数与Wold分解(Wold’s Decomposition)
所谓Wold分解也叫正交分解，其核心就是把一个平稳过程分解成不相关的随机变量的和。由于这一思想是由Wold引入(1938年)到时序分析中的，故叫做Wold分解。他认为可以用线性空间来解释ARMA模型的解。
在n维线性空间Ln中，n个线性无关的向量称为空间的一组基。设可由线性表示：
其中由向量和唯一确定，称为向量关于基的坐标。
如果用线性空间的观点来看AR(1)模型的解
由于是相互独立的，可看作线性空间的基(或无限维坐标轴)，显然可由线性表示，其系数就是对于的坐标，就是 EMBED 的正交向量的和。因而上式也叫做Wold分解式，其系数叫Wold系数。
格林函数和Wold系数是同一客体从不同角度观察的结果，二者是完全一致的。Wold系数是线性空间解释，格林函数是系统解释。
五、ARMA模型格林函数的通用解法
ARMA(n,m)模型
且
则
令
则化为
比较等式两边B的同次幂的系数，可得
由上式，格林函数可从开始依次递推算出。
思考：MA(m)模型的格林函数为
例：ARMA（2，1）系统的格林函数
ARMA（2，1）模型可以看作是一个二阶差分方程，设该方程的解是
将上式代入模型中：
利用比较系数法，B的同次幂必相等，于是：
B的指数：
上式可以写成：
即：
上式为一关于齐次差分方程的形式，其通解为
其中：和是特征方程的根；和是任意常数，其值由初始条件确定。这里的初始条件是：
则ARMA（2，1）系统的格林函数为：
ARMA（2，1）模型的格林函数也可以通过下面的过程求得。
根据Wold分解，平稳ARMA（2，1）模型
可以写成
即：
AR（2）为ARMA（2，1）模型的特殊形式，同样具有上述关系。
例：ARMA（n，n-1）系统的格林函数
与上面方法相同，ARMA（n，n-1）系统的格林函数的隐式的递推式为：
其中 由下列式子导出
即
其最终解为：
其中：
例：ARMA（2，1）系统的平稳性条件
ARMA（2，1）的平稳性条件要求：。
由得：，即的根在单位圆内。
由于ARMA（2，1）的特征方程和AR（2）和形式一样（或者说和其移动平均项系数无关），因此其平稳域与AR（2）系统的平稳域相同，都是：
思考：MA模型的平稳性条件。
第三节 逆函数和可逆性（Invertibility）
所谓可逆性(Invertibility)是指移动平均模型可以用AR模型表示。
逆函数的定义
设是零均值平稳序列，如果白噪声序列能够表示为
则称上式为平稳序列的逆转形式，式中的加权系数称为逆函数。
二、ARMA模型的逆函数
1、ARMA（n,m）模型逆函数通用解法
对于ARMA（n,m）模型的逆函数求解模型格林函数求解方法相同。
令 ，
则平稳序列的逆转形式可表示为
由ARMA(n,m)模型可得
仍由先前定义的和，则上式可化为
比较上式两边B的同次幂的系数，得到
即
由此可从开始推算出。
2、AR模型的逆函数
对于AR（1）模型 有
则其逆函数
类似对于AR（n）模型有
其逆函数为：
3、MA模型的逆函数
对于MA（1）模型，则
， ， ，
即
比较上式两边B的同次幂的系数得
从而有
也可以用以下方法求MA（1）模型的逆函数
由得
即
可见
与AR（1）讨论相类似，上面推导所隐含的可逆性条件为
对于MA（m）模型的可逆性讨论与AR（n）模型平稳性的讨论是类似的，即：
MA（m）模型的可逆性条件为其特征方程的特征根满足
下面所讲的逆函数与格林函数的关系也作为求逆函数的一种选择。
三、和之间的关系
对于AR（1）模型和MA（1）模型， 注意到
格林函数 逆函数
AR（1）：
MA（1）
可以看出，AR（1）的和MA（1）的形式一致，只是符号相反，参数互换。此对偶性对其它模型仍然存在，如：
ARMA（2，1）的格林函数为
ARMA（1，2）的逆函数为
综上可知，在格林函数的表达式中，用代替，代替，代替，即可得到相对应的逆函数。
四、关于ARMA模型平稳性与可逆性的说明
通过上面的讨论可知，AR模型不存在可逆性性条件，MA模型不存在平稳性条件。因此，对于ARMA模型的平稳性条件是针对其AR系数而言，可逆性条件是针对其MA系数而言。
只有同时满足平稳性可可逆性条件，ARMA模型才是有意义的。
第四节 自协方差函数
一、理论自协方差函数和自相关函数
对于ARMA系统来说，设序列的均值为零，则自协方差函数
自相关函数
二、样本自相关函数的计算
在拟合模型之前，我们所有的只是序列的一个有限样本数据，无法求得理论自相关函数，只能求样本的自协方差函数和自相关函数。样本自协方差有两种形式：
则相应的自相关函数为
在通常的情况下，我们常采用第一种的计算方法。
三、AR模型的自协方差函数和自相关函数
AR（1）模型的自协方差函数和自相关函数
AR（1）模型为：
假设为零均值序列。将上式两端乘以，并取期望，得
当k=0时，有：
即：
当 k=1时，有
即：
当k=2时，有
依此类推，便有一般式：
将代入，有，
相应的自相关函数为，即
(2)、AR（n）模型的自协方差函数和自相关函数
自相关函数
两边同乘以 得到
取期望，得：
上式两边除以 ，可得差分方程：
我们注意到，上式类似于过程 自身所满足的差分方程。
假定将上式记为
这里，
记
则差分方程通解：
这里，，，…，是特征方程：
=0
的根。
为了保证平稳性，则要求 。在实际应用中，如果假定根是互异的，会出现两种情况：
Gi是实根，这时在通解 ρk 中AiGik 随k增大等比例地衰减到零，我们常称之为指数衰减。
Gi和Gj是一对共轭复根，导致在通解出现：
使得自相关函数呈衰减的正弦振荡，衰减系数 ，频率f满足：
方差：当k=0时，
EMBED
上式两边除以 ，并有 ，故方差 可以写成
四、MA模型的自协方差函数和自相关函数
（1）MA（1）模型的自协方差函数和自相关函数：
将MA（1）模型
两端同乘以取期望，得
当k=0时，有
当k=1时，有
当k=2时，有
可见，对于MA（1）模型来说
（2）MA（m）模型的自协方差函数和自相关函数
自相关函数
因此该过程的方差是
且
由此得出自相关函数是
对于MA(m)过程，当滞后超出过程的阶数m时自相关函数为零。换言之，滑动平均过程的自相关函数具有超出m步滞后的截尾性。（上述性质用来在B-J建模过程中，识别MA模型）
五、偏自相关函数
对于一个k阶AR模型，有：
由此得到Yule-Walker 方程，记为：
或
Pkφk=ρk
当已知时，由该方程组可以解出，，……，。遗憾的是，用该方程组求解时，需要知道自回归过程的阶数。因此，我们可以对连续的k值求解Yule-Walker方程。
对k=1，2，3，… 依次求解方程，得
……
上述序列为AR模型的偏自相关函数。
如果自回归过程的阶数为n，则对于k>n应该有(kk=0。
偏自相关性是条件相关，是在给定的条件下，和的条件相关。换名话说，偏自相关函数是对和之间未被所解释的相关的度量。
由最小二乘原理易得，是作为关于线性回归的回归系数。
由（2）可得，对于AR（n）模型，当k>n时，=0。（此性质用来在B-J建模过程中，识别AR特征）
对于任何平稳过程，都可以由Yule-Walker 方程定义偏自相关函数，当然也都是作为自相关函数的函数。
六、自回归和滑动平均过程之间的对偶性
自回归和有限滑动平均过程之间存在对偶关系的特征：
在一个n阶平稳自回归模型中，at可表示为既往X的有限加权和，换言之，Xt可表为既往a的无限加权和：
同样，在一个m阶滑动平均模型中，Xt可表示为既往a的有限加权和，换言之，at可表为既往X的无限加权和：
有限的MA过程具有在某点之外全为零的自相关函数，但由于它等价于一个无限阶的AR过程，因此其偏自相关函数无限伸延，且被衰减指数和（或）衰减正弦波所控制。与此相反，AR过程具有在某点之外全为零的偏自相关函数，但是它的自相关函数无限伸延，且有衰减指数和（或）衰减正弦波混合生成。
对于一个有限m阶自回归过程，其参数不必满足任何条件就能保证可逆性，然而，为满足平稳性，φ(B)=0的根必须都在单位圆外。与此相反，MA过程的参数不需要满足任何条件就能保证平稳性，然而，为满足可逆性，θ(B)=0的根必须都在单位圆外。
滑动平均过程的谱与对应的自回归过程的谱存在互逆关系。
七、本章小结
零均值时间序列统计分析结果
类别
模 型
AR(n)
MA(m)
ARMA(n,m)
模型方程
平稳性条件
特征根全在单位圆内
无条件平稳
特征根全在单位圆内
可逆性条件
无条件可逆
特征根全在单位圆内
特征根全在单位圆内
传递形式
逆转形式
Green函数
拖尾
截尾
拖尾
逆函数
截尾
拖尾
拖尾
自相关函数
拖尾
截尾
拖尾
偏相关函数
截尾
拖尾
拖尾
【本章思考题】叙述AR、MA和ARMA模型的格林函数形式、平稳性和可逆性条件、AFC和PAFC的形式和特点。
【实验内容】1、观察前面生成的几个自回归序列的波动变化不同之处；
2、观察生成的AR模型和MA模型自相关函数和偏自相关函数的不同之处。
