- 1 -
基于混合反馈型回声状态网络的预测算法
冯辰，崔鸿雁**
（北京邮电大学网络体系构建与融合北京市重点实验室，北京 100876）
摘要：随着回声状态网络(ESN)预测算法的广泛应用，算法的预测精度已经成为衡量该算法5
好坏的一条重要标准。本论文提出了一种基于混合反馈型回声状态网络的改进型预测算法。
该算法向 ESN 动态池中注入部分小波神经元，并将该混合动态池进行环形交叉反馈拓扑,提
高了 ESN 动态池的混沌特性。新型 ESN 分别继承动态池组成改变或者拓扑改变带来的好的
预测特性，有效地提高 ESN 预测算法的预测精度。仿真结果表明，本文提出的新型的 ESN
预测算法可以在动态池规模为 50-500 范围内时保持较高的预测精度。 10
关键词：回声状态网络；混合动态池；小波神经元；环形交叉反馈拓扑
中图分类号：TP183
Hybrid Feedback Echo State Network Based Prediction
Algorithm 15
FENG Chen, CUI Hongyan
(Beijing Key Laboratory of Network System Architecture and Convergence, Beijing University of
Posts and Telecommunications, Beijing 100876)
Abstract: As the Echo State Network ESN prediction algorithm is widely used in various fields,
the predictive accuracy has become a key index of ESN to measure its property. In this paper, we 20
propose a new prediction algorithm based on hybrid feedback ESN to improve the prediction
accuracy. The new ESN model is injected with wavelet-neuron and changed the architecture of
Dynamic Reservoir (DR) to cycle-interval-feedback topology to improve the Chaotic
Characteristic of DR. The new ESN can inherit the good Predicted Characteristics of changing in
form or constitution of DR and improve the predictive accuracy effectively. Simulated results 25
show the proposed new ESN prediction algorithm can keep a high precision of prediction when
the DR size varies from 50 to 500.
Keywords: Echo State Network; hybrid dynamic reservoir; wavelet-neuron; cycle-interval-
feedback topology
30
0 引言
神经网络预测算法因为其观测的直观性和对混沌时间序列预测的准确性，受到了越来也
多的关注。回声状态网络(ESN)是一种新型递归神经网络。近些年来，由于 ESN 对混沌时间
序列优秀的预测效果和简单的训练过程，ESN 预测算法已经开始应用于各个领域，并取得
了很好的预测效果[1-3]。 35
随着 ESN 预测算法的广泛应用，越来越多的研究关注于如何提高 ESN 预测算法的预测
精度。一些研究通过改变 ESN 动态池中神经元的网络拓扑达到提高预测精度的目的[4,5]。
Rodan 中提出了三种最小复杂度拓扑的 ESN：直线型拓扑，直线型反馈拓扑，环形拓扑，并
分析了三种最小复杂度拓扑 ESN 在不同动态池拓扑规模下的预测误差和记忆能力。文章证
明了简单的环形拓扑在较低的拓扑复杂度下取得较好的预测精度和优秀记忆能力。本文结合40
最小复杂度两种拓扑类型综合为环形反馈拓扑，该拓扑也属于简单拓扑，具有很好的预测性
能。仿真证明该拓扑 ESN 预测在动态池规模较大时具有很好的预测特性，但在动态池规模
较小时预测精度相对较低。还有一些研究通过改变 ESN 动态池的构成来实现提高预测精度
- 2 -
[6]。文中提出了一种注入小波神经元的混合动态池 ESN 预测算法,通过增加动态池神经元种
类，丰富了动态池的记忆特性。通过仿真证明了该算法有效地提高了预测精度，在动态池规45
模较小时效果显著，在动态池规模较大时效果相对一般。于是本文提出问题：是否可以在改
变 ESN 动态池构成的同时，根据新型混合动态池特点进行相应的拓扑调整，从而可以同时
继承两种形式的动态池改变而带来的优秀预测特性，有效地提高 ESN 预测算法的预测精度，
使算法在动态池规模任意的情况下均表现出优秀的预测性能？论文提出了一种基于混合反
馈型回声状态网络的改进型预测算法，通过仿真证明，提出的算法同时改变 ESN 动态池的50
神经元组成和拓扑，在动态池规模任意的情况下均取得了很好的预测效果。
本文的组织结构如下：第一部分对 ESN 预测算法进行简单介绍，包括 ESN 的结构组成
等 ESN 重要性质；第二部分提出新型的 ESN 模型，并详细介绍了新型 ESN 预测算法的预
测过程；第三部分将通过实验仿真新型 ESN 算法的性能，并设计对比方案；最后一章将讨
论我们的工作并进行总结。 55
1 经典 ESN 模型
ESN 是一种三层递归神经网络，包括输入层、中间层和输出层。正如图 1 所示：左边
的部分为输入层，该层由 K 个输入神经元构成；中间的部分为中间层，中间层是 ESN 最重
要的一层，该层包含 ESN 动态池，由 N 个中间神经元按一定的规则连接而成，经典 ESN 预
测算法的动态池神经单元完全随机连接；右面的部分为输出层，由 L 个可训练输出神经元60
构成。ESN 各层神经元之间也相互连接，我们使用连接权重矩阵来描述各层神经元之间的
连接，由于神经元之间不能完全地传递信息，所以神经元连接权重的值属于[0,1]之间[7]。我
们定义输入层神经元到中间层神经元的连接权重矩阵为输入权重矩阵 inW ，中间层神经元相
互连接的权重矩阵为动态池权重矩阵W ，输入层、中间层、输出层神经元与输出神经元之
间的连接权重矩阵为输出权重矩阵 outW ，输出层神经元与中间层神经元反馈连接的权重矩阵65
为反馈权重矩阵 backW 。由图 1 可知， inW W outW backW 分别为 K N× ， N N× ，
( )K N L L+ + × ， L N× 阶矩阵。特别的，为了保证 ESN 的回声状态特性，动态池权重矩
阵W 必须为稀疏矩阵且该矩阵的谱半径必须小于 1。最终的动态池权重矩阵W 一般定义为
线性公式(1)：
max( / | |)W a W λ= (1) 70
其中 maxλ 为矩阵W 中最大的特征值，a 为该矩阵的谱半径。谱半径的值越小，衰减越
迅速；谱半径的值越大，衰减越缓慢。谱半径的值应保持在（0,1）之间[8,9]，这样就使矩阵
满足了阻尼衰减性，使动态池神经单元不受初始状态的影响。
- 3 -
中国科技论文在线
75
图 1 ESN模型
在整个 ESN网络训练过程中， inW 、 backW 、W 都是固定不变的，变化的只有 outW 。训
练可以改变输出神经元的连接，从而改变 outW 。我们定义输入时间序列、输出时间序列和动
态池神经元状态序列分别为： 80
1 2( ) ( ( ), ( )... ( ))Ku n u n u n u n= (2)
1 2( ) ( ( ), ( )... ( ))Ly n y n y n y n= (3)
1 2( ) ( ( ), ( )... ( ))Nx n x n x n x n= (4)
其中n 为时间序列的下标。
2 混合反馈型回声状态网络预测算法 85
混合反馈回声状态网络预测模型
混合反馈型回声状态网络预测模型如下：
图 2 混合反馈型 ESN 模型
90
- 4 -
中国科技论文在线
从图 2 中我们可以清楚地看到，混合反馈型 ESN 与经典的 ESN 相比，中间层动态池已
经产生了很大的改变。混合神经元环形交叉反馈拓扑结构替代了原有的单一神经元随机拓扑
结构。动态池具体改变如下：
1、向动态池中注入部分小波神经元来替代原有的神经元，替代原有的动态池神经元，
使动态池变为混合单元动态池。 95
普通的ESN网络动态池神经元的激活函数为Sigmoid或者 tanh 函数，本论文中使用 tanh
函数。这种函数具有的特点是函数值在接近 0的位置呈现线性特性，而在远离 0的位置呈现
非线性特性，且值域保持在（‐1,1）之间。选取的小波神经元也应该具有相近的特征，最终
我们选取了激活函数为 Sigmoid 类型的小波作为注入单元，该 Sigmoid 的小波神经元具体的
激活函数如下： 100
(2 )2
, [2 (2 ) 1] / 2
j d j
j j
j j
d
d x t
d t jx t eψ − −= − + （5）
其中
, , ( 1, 2,3,... , )j j mix mix
mix mix
j jd t j NR NR
NR NR
= = − = ∈�
， mixR 为该小波神经元的
混入比例。
每个小波神经元中的激励函数采用的小波函数都不相同，小波神经元可以使用一系列的
小波母函数通过平移和伸缩组成的一个系列函数。这样极大地丰富了动态池内神经元的种105
类，提高 ESN 网络动态池神经元的记忆方式种类，丰富 ESN 动态池的记忆功能，使 ESN
对非线性混沌时间序列的预测产生更好的效果。
ESN网络动态池混合了两种神经元，其状态矩阵更新公式为：
'( 1) ( ( 1) ( ) ( ))in backx n f W u n Wx n W y n+ = + + + （6）
其中当该神经元为普通 ESN神经元时， ' tanh( )f x= ；当该神经元为 Sigmoid型小波神110
经元时， ' , ( )d tf xψ= 。
2、改变混合动态池神经元的拓扑，对两种神经元进行环形交叉反馈拓扑，如图 3 所示：
图 3 混合动态池环形交叉反馈拓扑 115
通过向 ESN 动态池注入小波神经元，使动态池成为了混合型动态池。通过以下步骤完
- 5 -
中国科技论文在线
成对该混合动态池的拓扑：
（1）将动态池中的普通神经元和小波神经元依次交叉排列成环，并按照一个方进行连
接，形成神经元交叉环形拓扑（图 3 实线箭头所示）。 120
（2）在环中找到相邻的两个普通神经元，将它们进行与环形连接方向相反的反连接（图
3 中点虚线箭头所示）。最终完成环中所有相邻普通神经元的反馈连接。
（3）同样在环中找到相邻的两个小波神经元，将它们进行相同的反馈连接（图 3 长虚
线箭头所示）。最终完成环中所有相邻小波神经元的反馈连接。
通过以上步骤，我们完成了对经典 ESN 网络动态池结构和组成的改造，增加了 ESN 动125
态池神经元的种类，使动态池由原来的单一神经元构成变成了由普通神经元和小波神经元混
合构成，小波神经元也由于其激活函数是通过小波母函数的平移和伸缩产生而各不相同；同
时我们改变了动态池内神经元的拓扑结构，由原来单一神经元的随机拓扑变为了混合神经元
环形交叉反馈拓扑，增加了神经元状态信息在不同神经元之间传递的几率。
混合反馈型回声状态网络预测算法 130
通过以下的步骤，我们对建立好的混合反馈 ESN 进行训练[9]：
（1） 首先对动态池 DR， inW ， backW ， outW ，W 进行初始化，并使动态池神经元初
始状态 (0) 0x = 。
（2） 使用训练序列对混合反馈型 ESN进行训练。我们将用来训练的输入序列和输出
序列定为教师序列。通过将教师序列按时间顺序 1,2...n T= 分别加载到 ESN 的输入层135
和输出层进行训练。动态池神经元状态更新公式见公式（6）。其中当该神经元为普通 ESN
神经元时， ' tanh( )f x= ；当该神经元为 Sigmoid型小波神经元时， ' , ( )d tf xψ= 。
（3） 为了减少初始状态对 ESN 训练的影响，抛弃 0T （ 0T T< ）之前的动态池神经
元状态。将 0 1T T− + 时间段内的输入序列 ( )u n 、动态池状态向量 ( )x n 和输出序列 ( )y n 组
成规模为 0( 1) ( )T T K N L− + × + + 的状态矩阵 M 。同时收集所对应的规模为140
0( 1)T T L− + × 的教师输入序列矩阵T 。
（4） 使用逆矩阵法获得 outW ：
1( )toutW M T
−= （7）
其中M 为 0( 1) ( )T T K N L− + × + + 的状态矩阵，T 为对应的教师输出序列。这样我们
就完成了混合反馈型 ESN 的训练，获得训练完成后的 outW 。我们就可以使用训练好的混合145
反馈型 ESN 对训练序列进行预测，预测结果将通过公式（8）获得：
( 1) ( ( ( 1), ( 1), ( )))out outy n f W u n x n y n+ = + + （8）
其中 outf 为神经元的输出函数。值得注意的是，在训练过程中可以通过加入较小的噪声
来提高系统的稳定度，同时也可以根据实际情况取舍 backW 。
我们通过以下公式计算预测误差，比较 ESN 预测算法的预测性能： 150
max
min
2
max min
( ( ) ( ))
T
tech
T
y n y n
mse
T T
−
= −
∑
（9）
- 6 -
中国科技论文在线
其中mse表示预测误差， minT 、 maxT 表示预测的起止时间， ( )techy n 表示实际输出序列，
( )y n 表示预测输出序列。
下一章我们将通过实验证明混合反馈型 ESN 模型将会有更好的预测准确度。
3 仿真结果和分析 155
数据集
为了对本文提出的新型 ESN 预测算法的性能进行测试，本文使用了以下三种数据集作
为实验数据对算法进行预测。
（1）NARMA
NARMA 是一种有输入的非线性自回归移动平均数数列，是一种经常被使用的用来测试160
混沌时间序列预测算法的数据集，其具体构成如下：
( ) ( ) (1 ( 1)) ( 1)y t e t y t y tτ= − + + − − − （10）
其中 ( )e t 为独立分布在（0,1）之间的输入序列，τ 为时延，本实验取τ =3。
（2）NARX(2,1)
NARX(2,1)也是一种十分常用的动态时间序列数据集，其具体构成如下： 165
2 2
( 1) ( 2)[ ( 1) ]( ) ( 1) ( )
1 ( 1) ( 2)
y t y t y ty t x t e t
y t y t
− − − += + − ++ − + − （11）
其中 2( ) sin( )
25
tx t π= ，为正弦时间序列输入， ( )e t 为 N(0,4e-4)的高斯白噪声。
（3）Henon Map
本文还使用了加入噪声的 Henon Map 数据集，信噪比为 50DB。Henon Map 公式如下：
2( 1) 1 ( ) ( )x t y t x t+ = + −∂ （12） 170
( 1) ( )y t x tβ+ = （13）
本实验中 α = ， β = ，其中初始条件为 y(1)=0; y(2)=0; x(1)=y(2)。
仿真设计
实验设计以下方案与本文提出的混合反馈型 ESN 预测算法进行对比：
（1）经典 ESN 预测算法，此算法在第一部分已经做详细介绍。 175
（2）混合动态池 ESN 预测算法，该算法在经典 ESN 预测算法的基础上，只向动态池
注入了一定比例的小波神经元[6]。为了与本论文算法作对比，小波神经元的激活函数与本
文算法小波神经元激活函数相同。
（3）反馈型 ESN 预测算法，该算法没有改变 ESN 动态池的组成，只是结合[4]中的环
形拓扑和反馈拓扑，对动态池的普通神经元进行了环形反馈拓扑。 180
仿真一：使用数据集 NARMA 和 NARX(2,1)，计算混合反馈型 ESN 预测算法与对比方
案的mse，计算公式见公式（9），比较在不同的动态池规模下，各方案预测误差情况。本
实验的动态池规模选择为（50,100，……，500）。为了减少实验误差，在不同的动态池神
经元规模下，重复 20 次实验，计算mse的平均值。
仿真二：在 Henon Map 序列下，混合反馈型 ESN 预测算法和经典 ESN 预测算法的预测 185
- 7 -
中国科技论文在线
性能的比较，预测结果取真实预测结果序列，与 Henon Map 测试序列进行比较。
实验所使用的数据集序列长度均为 4000，其中前 2000 为训练序列，后 2000 为测试序
列。训练序列中舍去前 100 个时间单位的序列，为了避免动态池神经元初始状态对 ESN 训
练的影响。实验预测结果分为两种：训练序列预测结果和测试序列预测结果。训练序列预测
结果是指在通过训练序列对 ESN 完成训练后，使用训练好的 ESN 网络对训练序列再次进行190
预测，获得训练序列预测结果；测试序列预测结果是指使用训练好的 ESN 对测试序列进行
预测，获得测试序列预测结果。分别将训练序列预测结果和测试序列预测结果与实际训练序
列和测试序列进行比较，计算mse，获得训练序列预测误差和测试序列预测误差。
仿真结果分析
图 4 和图 5 显示了测试一中在数据集 NARMA 下，混合反馈型 ESN 预测算法与其他对195
比方案在不同的动态池规模下的预测误差mse的对比。
50 100 150 200 250 300 350 400 450 500
动态池规模
训
练
序
列
预
测
误
差
经典ESN
混合ESN
反馈ESN
混合反馈型ESN
图 4 NARMA 数据集下，训练序列的预测误差比较
50 100 150 200 250 300 350 400 450 500
动态池规模
测
试
序
列
预
测
误
差
经典ESN
混合ESN
反馈ESN
混合反馈型ESN
图 5 NARMA 数据集下，测试序列的预测误差比较 200
- 8 -
中国科技论文在线
从图 4、图 5 中可以看出，与其他对比方案相比，本文提出的混合反馈型 ESN 预测算
法在数据集 NARMA 下取得了最好的预测效果。在不同的动态池规模下，混合反馈型 ESN
预测算法均有较小的预测误差。从图中可以看出，混合 ESN 算法在较小的动态池规模下
（50-100），具有很好的预测效果，当随着动态池规模的而增大，起预测准确度会下降。而205
反馈型 ESN 算法在动态池规模较小时预测性能不佳，但当动态池规模大于 100 时，其预测
性能会逐步加强。本文提出的混合反馈型 ESN 预测算法继承了以上两种 ESN 算法的优势，
无论动态池规模的大小，均具有优秀的预测准确度，特别是动态池规模在 100-200 之间时，
具有非常明显的优势。混合反馈型 ESN 预测算法与经典的 ESN 预测算法相比，有效地提高
了预测准确度。 210
图 6 和图 7 显示了测试一中在数据集 NARX(2,1)下，混合反馈型 ESN 预测算法与其他
对比方案在不同的动态池规模下的预测误差mse的对比。
50 100 150 200 250 300 350 400 450 500
动态池规模
训
练
序
列
预
测
误
差
经典ESN
混合ESN
反馈ESN
混合反馈型ESN
图 6 NARX(2,1)数据集下，训练序列的预测误差比较
50 100 150 200 250 300 350 400 450 500
动态池规模
测
试
序
列
预
测
误
差
经典ESN
混合ESN
反馈ESN
混合反馈型ESN
215
图 7 NARX(2,1)数据集下，测试序列的预测误差比较
- 9 -
中国科技论文在线
从图 6、图 7 可以看出，无论是训练序列还是测试序列的预测，混合反馈型 ESN 均取
得了很好的预测效果。在数据集 NARX(2,1)下，混合 ESN 预测算法在动态池规模小于 200
时具有较好的预测效果，随着动态池规模的增大，预测误差相对变大。而反馈型 ESN 预测220
算法，动态池规模越大，其预测效果相对越好。实验结果证明了混合反馈型 ESN 预测算法
有效地综合了以上两种算法的优势，在不同的动态池规模下，均有较好的预测准确度。与经
典 ESN 预测算法，混合反馈型 ESN 预测算法有效提高了预测精度。
图 8、图 9 显示了数据集 Henon Map 真实序列、混合反馈型 ESN 预测算法预测结果序
列、经典 ESN 预测算法预测结果序列的比较。 225
0 10 20 30 40 50 60 70 80 90 100
-1
0
1
时间下标
H
en
on
M
ap
值
经典ESN
混合反馈型ESN
Henon Map训练序列
图 8 Henon Map 训练序列、经典 ESN 训练序列预测结果和
混合反馈型 ESN 训练序列预测结果的对比
0 10 20 30 40 50 60 70 80 90 100
-1
0
1
时间下标
H
en
on
M
ap
值
经典ESN
混合反馈型ESN
Henon Map测试序列
图 9 Henon Map 测试序列、经典 ESN 测试序列预测结果和 230
混合反馈型 ESN 测试序列预测结果的对比
在图 8 和图 9 中，混合反馈型 ESN 预测算法的预测结果（蓝线）几乎被 Henon Map 序
- 10 -
中国科技论文在线
列（绿线）完全覆盖，说明预测结果与真实序列几乎相同；而经典 ESN 预测算法（红线）
可以看出与 Henon Map 序列（绿线）有很多的不同，说明预测结果与真实序列相比预测有235
误差。通过与 Henon Map 混沌时间序列的真实对比可以得出：混合反馈型 ESN 预测算法与
经典 ESN 预测算法相比，有效地提高了预测精度。
4 结束语
基于混沌反馈型 ESN 的预测算法通过向动态池中注入小波神经元，并相应地对动态池
进行环形交叉反馈拓扑，有效地提高了算法的预测精度。仿真结果证明，综合改变 ESN 动240
态池的神经元组成和拓扑可以使 ESN 预测算法在动态池规模在 50-500 的情况下对混沌时间
序列保持较高的预测性能。
[参考文献]
[1] Tong M H, Bickett A D, Christiansen E M, et al. Cottrell. Learning grammatical structure with Echo State 245
Networks[J]. IEEE Trans on Neural Networks, 2007, 20(3): 424-432.
[2] Recognition Using a Predictive Echo State Network[J]. IEEE Trans on Audio, Speech, and Language
Processing, 2007, 15(5): 1724-1730.
[3] Lin X W, Yang Z H, Song Y X. Short-term stock price prediction based on echo state networks[J]. Expert
Systems with Applications, 2009, 26(3):7313-7317. 250
[4] Rodan A, Tino P. Minimum Complexity Echo State Network[J]. IEEE Trans on Neural Networks, 2011, 22(1):
131-144.
[5] Deng Z D, Zhang Y. Collective Behavior of a Small-World Recurrent Neural System With Scale-Free
Distribution[J]. IEEE Trans on Neural Networks, 2007, 18(5): 1364-1375.
[6] wavelet Hybrid Echo State Networks (SWHESN)[C]. The Sixth World Congress on Intelligent Control and 255
Automation, 2006, 1: 3014 - 3018.
[7] Rad A A. Dynamical Networks (miniporject) Effect of Topology of the Reservoir on Performance of Echo Stat
Networks[OL].[2008].
_Rad/REP_AjdariRad_ESN[1].pdf.
[8] Lukosevicius M, Jaeger H. Reservoir Computing Approaches to Recurrent Neural Network Training[J]. 260
Computer Science Review, 2009, 3(3): 127-149.
[9] covering BPPT , RTRL , EKF and the " echo state network " approach[J]. Computer and Information Science,
2005, (159)2002: 1-46.
