-1-
一种新型人工神经网络模型
摘 要：提出一种新型人工神经网络模型，称为“基于模式神经元的人工神经网络（Pattern
Neuron Based Artificial Neural Network,PNBANN）”。与现有的神经计算网络不同，PNBANN
是一种完全基于神经元连接的网络模型。网络中的每一个神经元都唯一代表一种模式，每当
接收新模式时，自动建立一个新的连接，把信息存储在网络中；而接收已有的模式时，已有
的神经元连接得到加强。当模式神经元的输出达到所设定的感觉阈值时，对应模式的信息被
记忆。因此，PNBANN 就是不断地接收、存储各种信息，并把感觉足够强的模式记忆下来，
这一过程更接近于人脑的学习、记忆过程。实验结果证明，PNBANN 学习效率高，在学习新
知识时不会影响已有的知识，同时具有很强的识别能力。
关键词：模式神经元 人工神经网络 感觉阈值
中图分类号：TP18
1 引言
使机器能够思维并具有人类的智慧，是人工系统模拟生物系统的最高目标，也是当前信
息化社会的迫切要求。为使机器达到真正的智能化，必须首先揭开人脑的奥秘，掌握人脑的
结构、组成以及工作机理。但人类的大脑是世界上最复杂、最高级、最神奇的物质结构，经
过数亿年的生命进化，人类的大脑已经成为生命进化史中的一个顶峰。科学研究已经表明，
人脑的生理结构是由大约 1011个神经元组成，而每个神经元与其他神经元的连接可多达 104
条。此外，每个神经元本身也是一个错综复杂的系统。这些神经元相互连接构成了一个动态
的、开放的、高度复杂的神经网络巨系统。由于人脑的这种高度复杂性，以致于人们至今对
她的生理结构和工作机理还未完全弄清楚，有关大脑的一系列难解之谜依然摆在我们面前。
近几十年来,神经计算科学迅速发展，人们提出了很多种神经计算网络模型[7]. 最新资
料显示，目前在人工神经网络的研究方面，国内外学者主要是按照神经计算这一思路进行研
究，构建不同的神经计算网络，提出新的算法，而研究最多的是把神经计算网络应用于实际
工程当中，如控制系统、模式识别等实际应用领域[1-6]。但现在的问题是，尽管现有计算机
的运算速度远远超过人脑，但在某些在人类看来异常简单的事情，智能机器实现起来却异常
困难，甚至是无能为力。这说明，现有人工神经网络与人脑的生物神经网络还存在着本质的
区别。本文正是针对这一问题，提出一种新的、更接近人脑的神经网络模型。
2 现有人工神经计算模型及工作算法简述
在神经计算科学中，Hebb 学习是唯一真正具有神经生理学依据的学习机制，因而，对
各类人工神经系统具有普适性。Hebb 突触修饰是神经网络模型建立的依据，也是记忆和学
习的基础。现有各种神经计算模型虽然各有不同，但都是以神经计算科学为基础的，是基于
“计算”的神经网络。图 1（a） 是一个 3 输入 2 输出的单层感知器。
-2-
( )a ( )b
1x 2x 3x 1x 2x 3x
1y 2y 2
y1y 3y
w
Δ
其中：
输入向量： 3 11 2 3( , , ) {0,1}Tx x x ×= ∈x
输出向量： 2 11 2( , ) {0,1}Ty y ×= ∈y
连接权向量： 11 21 31
12 22 32
Tw w w
w w w
⎡ ⎤= ⎢ ⎥⎣ ⎦
w ，其中， ijw 为第 i个输入节点至第 j个神经元的联结
强度值。感知器的工作算法（WA）为
0 0
( 1, 2)
1 0
T
j j
j
j j
u b
y j
u b
=
− <⎧⎪= =⎨ − >⎪⎩
u w x
其中， 1 2( , )Tu u=u 为整合量， jb 为神经元 j的阈值。感知器的任务是学习并记忆知识
集 ( ) ( ){ , | 1, 2,3,4}i id i= < > =K x y 中的知识， ( ) ( ),i id< >x y 为期望映射对。这就是神经网络的
自组织过程，也就是学习并获取知识的过程。
3 改进的人工神经计算模型
根据人脑学习、记忆的规律，我们构建了新的神经网络，如图 1（b）所示。乍看起来，
二者并没有什么明显的不同，但事实上存在着本质上的差别。在图 1（a）中，人们利用了
编码的概念，即两个输出共有 22 4= 个不同的状态，代表四种模式。这样的连接确实可以
节省神经元的数量，但却是以增加计算的复杂性为代价的。从网络的工作算法可以看出，输
入与输出之间是根据连接权向量形成的一种映射关系，而学习过程实际上就是使输入、输出
之间关系从不确定到确定的过程。如果在原有知识集中加入新的知识，那就要重新选择连接
权向量，这样一来，在学习新知识的时候可能会影响原有的知识，更主要的是，随着知识集
的扩大，也就是网络规模的增加，每次学习新知识所进行的运算量会越来越大。而人脑学习、
记忆的规律是，已有的、与新知识相关的知识越丰富，学习、记忆新知识就越快、越容易，
而与新知识毫不相关的内容则不受任何影响。
神经元之间的连接规则
以图 1（b）为例，每当第一次接收到某个模式 3 11 2 3( , , ) {0,1}j x x x ×= ∈x ，就会有一个
神经元 j把所有处于兴奋状态的输入层神经元连接起来，例如，神经元 1、2、3 分别对应的
输入为 (1,1,0), (1,0,1), (1,1,1) 。神经元 j的输出可以表示为
图 1 两种不同的神经网络模型
Fig1 two different sorts of neural network model
-3-
3
1
, 1, 2,3j ij i
i
y x jδ
=
= =∑ （1）
其中，
11 12 13
21 22 23
31 32 33
ij
δ δ δ
δ δ δ δ
δ δ δ
⎡ ⎤⎢ ⎥∈ = ⎢ ⎥⎢ ⎥⎣ ⎦
Δ 是第 i个输入神经元与第 j个输出神经元之间的连接效率，称为
“感觉传递因子”，或‘传递因子’，其大小为 1,(0)
0ij
i j
i j
δ ⎧= ⎨⎩
第、 神经元之间有连接;
第、 神经元之间无连接.，
通过这种连接规则， jy 就是输入模式 jX 的响应，其大小反映了神经网络对该模式的
响应程度，也就是大脑对该模式的感觉强度。一旦某个神经元在某个模式输入激励下建立起
了一个连接，这个神经元就会被这个输入模式所“占有”，而不会再改变连接形式，即：这
个模式就永久保存在神经网络中。因此，我们把这样的神经元称为“模式神经元”。这样，
一种模式与一种连接是一对一的关系，也体现了神经元之间存在的竞争机制。在此，我们暂
且把这个新型人工神经网络称为“基于模式神经元的人工神经网络”（Pattern Neuron Based
Artificial Neural Network, PNBANN）。
神经元之间连接的加强和减弱
对于已经建立起来的所有神经元连接，每当一个神经元的输入为“1”时，输入、输出
神经元之间的连接就会被加强，反之则减弱，可以表示为：
1 1 12
1 0 1 0
( ) , ( ) 1 1
( )
( ) , ( ) 1 , 0
ij ij i
ij
ij ij i
t t x
t
t t x
δ δδ δ δ
+ Δ ≥ =⎧⎪= ⎨ −Δ ≥ + Δ =⎪⎩
且，
（2）
3
2 2
1
( ) ( ) , 1, 2,3j ij i
i
y t t x jδ
=
= =∑ （3）
其中， 2( )jy t 是第 j个神经元在 2t 时刻的输出； 1 2( ) , ( )ij ijt tδ δ∈Δ ∈Δ是本次接收前、后的
传递因子； 1 00, 0Δ > Δ > 分别称为加强因子和衰减因子，表示对神经元之间联系的加强和
减弱，相当于记忆或遗忘的速度，其大小取决于不同的人对不同事物记忆的能力以及注意的
强度等因素。以上关系表明，如果神经网络反复接收同一种模式，则该模式就会被逐渐加强，
即输出值逐渐增加；反之，如果已经建立起来的神经元连接长期得不到刺激，连接效率也会
逐渐降低，但减弱的结果不会使已经建立起来的神经元连接消失。这样的规定是出于以下两
点考虑（以图 1（b）为例）：①如果模式（1,1,1）中的第 3 个输入与第 3 个输出之间由于
长时间得不到加强而断开连接，即 33δ 变为 0，则 3y 就变成了（1,1,0）,这显然会与 1y 相冲
突，不符合一个神经元唯一代表一种模式的规则；②即使 33δ 会减小，但 13δ 和 23δ 有可能会
被经常加强，只要这个模式存在，仍然可以被回忆起来，这一点体现了人脑的联想记忆功能。
记忆的形成与遗忘
大脑通过神经系统接收来自体外和体内各部分的信息，对这些信息进行存储、加工。在
这些信息中，有一些是与人类日常活动有关的信息，在需要的时候应该能够被回忆起来，这
就是需要记忆的信息。我们可以设想大脑有这样一种记忆形成机制：当某个模式神经元的输
出超过某个设定的阈值时，大脑就会在记忆区记录下有关这个模式的主要特征，这个模式就
-4-
被记忆下来了。也就是，
0j jy b− < 不记忆该模式的特征；
0j jy b− ≥ 在记忆区记录有关该模式的特征。
其中 jb 是对应 jy 的记忆阈值，反映不同人对不同知识的敏感程度。神经元输出 jy 对应的是
生物神经系统中对某种输入信息所产生的感觉，而 jb 就是对应的“感觉阈值”或“兴奋阈
值”，当对某种事物的感觉超过兴奋阈值时，该事物就会在大脑中留下“痕迹”或“烙印”，
即形成了记忆。记忆的内容不是信息本身，而是有关该信息的描述（属性、特征等）。人与
其它动物的不同之处主要就在于，人可以把记忆的信息用语言、符号来描述，并对记忆内容
进行综合，使各种记忆互相联系，从而使人对各种信息的记忆变得更加容易、记忆内容更加
丰富。其它动物的记忆是出于原始的、本能的，记忆的实质是把某种信息与某种生存所必需
的某种活动直接联系起来，这也就是我们所说的条件反射。比如看见一个苹果，猴子只知道
它是一种可以吃的东西，而人类却可以用丰富的语言来描述它，并产生一系列联想。另外，
如果某个模式长期得不到加强则会逐渐减退，当 jy 再降低到该模式的记忆阈值以下时，有
关这个模式的记忆就会消失，也就是被“遗忘了”，这就是大脑的记忆、遗忘机制。但遗忘
的信息并没有从大脑中抹去，而依然保存在神经网络中，这一点是由神经元之间连接的加强
和减弱规则所决定的，即由式（2）所保证的。我们重新学习以前遗忘掉的知识比学习全新
的知识要容易得多，这就说明，即使遗忘的知识也没有完全从大脑中抹去。这一机制也可以
反映出人脑的记忆规律：人脑本身并不能判断什么是有用的、应该记住的东西，如果想把某
事记住，唯一能做的就是要想办法反复加强这件事。
4 实验结果及分析
为了测试 PNBANN 的性能，我们在计算机上做了仿真实验，实验模型如图 2 所示。
7x 6x 5x 3x4x 2x
0y1y
0x1x
2y3y4my −3my −2my −1my −
设输入向量 8 10 2 7( , , , ) {0,1}i Tx x x ×= ∈x " ，则第一层上的每个模式神经元都是 8 位二进制
数的不同组合，可以代表声音信号的一个采样值或图像信号的一个像素的灰度值，所以我们
把它们称为‘基本模式神经元’，所对应的模式称为‘基本模式’。 把第一层上基本模式神
经元的输出作为输出层模式神经元的输入，则输出层上的模式神经元就是由第一层上的模式
神经元组合而成的，可以代表更复杂的模式，如一段声音或一幅图像。为方便起见，把输出
层上的神经元称为‘输出模式神经元’，所对应的模式称为‘输出模式’。
图 2 具有 8 个输入的双层 PNBANN
Fig2 A two-stage PNBANN with 8 inputs
-5-
设输出层共有 n 个模式神经元，第 j 个模式神经元所代表的模式可以表示为
1 2[ , , , ]mj j j j=X x x x" ，则 1 2[ , , , ]mj j j jy ∝ x x x" 。
其中，
8 1
0 2 7( , , , ) {0,1} ,
1, 2, ,
1, 2, ,
i T
j x x x
i m
j n
×= ∈
=
=
x "
"
"
实验利用 ，在 Pentium 4 , 480M 内存的普通 PC 机上进行。实验主要包括
三个主要内容：
训练时间测试
PNBANN 的训练过程实际上就是把所有的知识集全部添加到神经网络中的过程，试验结
果见表 1。一共做了 10 次实验，每次添加到网络中的知识集为
{ } {
}
1 2 1 2
1 2 1 1 1 2 2 2
1 2
, , , [ , , , ],[ , , , ],
,[ , , , ]
m m
n
m
n n n
=X X X x x x x x x
x x x
" " "
" "
其中， n表示知识集中输出模式的
数量，m表示每个输出模式中所包含的基本模式的数量。通过选择不同的m和n，计算所
需的训练时间。实验数据表明，无论m和 n怎样选择，只要m与 n的乘积相等，所用的训
练时间就相等。每次实验添加到网络中的比特数为8 m n× × ，经过对所有数据的综合分析，
10 次实验中每存入 1 比特所用的时间大约都是 sμ 。仿真结果表明，PNBANN 模型可以
高速、无误地接收、存储、记忆信息，这是与其它神经网络相比 PNBANN 所具有的最大优势。
表 1 训练速度测试
results of training time
序号 1 2 3 4 5 6 7 8 9 10
n 1000 100 1000 200 1000 400 1000 10000 1000 10000
m 100 1000 200 1000 400 1000 600 600 800 800
训练时间/s
在训练集上的识别率
每次实验中取 410n = ，选择不同的m，首先进行训练，然后从知识集中随机挑选任意的
模式进行识别，结果见表 2。
表 2 在训练集上的识别率
testing rates in training set
序号 1 2 3 4 5 6 7 8 9 10
m <700 700 750 800 830 840 850 860 870 880
识别率/% 100
实验结果表明，当 700m < 时,识别率可以达到 100%。随着m的增加，识别率会逐渐降低。
之所以产生误识别，是因为我们在仿真算法中没有考虑时序的问题。按照 PNBANN 的组成原
则，以下这样的按时间分布的模式
-6-
[(1,1,0), (1,0,1), (1,1,1)] ， [(1,1,0), (1,1,1), (1,0,1)] ， [(1,0,1), (1,1,0), (1,1,1)] ，
[(1,0,1), (1,1,1), (1,1,0)]，[(1,1,1), (1,1,0), (1,0,1)]，[(1,1,1), (1,0,1), (1,1,0)]是属于 6 个不
同的模式，但在我们的仿真中为简单起见并没有考虑到这一点，因而出现了误识别，但即
使是这样，只要取 830m < ，仍能保证 95%以上的识别率。
加入噪声后的识别率
为检验 PNBANN 的抗噪声性能，我们对知识集中的模式加入一定的噪声，然后输入到
PNBANN 中进行识别。试验中取 410n = ，每次取m为某一固定数值，把这 n个模式作为知识
集存放到 PNBANN 中；然后从知识集中随机选取某一模式，并把该模式中的 k 个基本模式用
随机产生的 8 位二进制数代替，这就相当于在输出模式中加入了噪声，并把 k /m定义为噪
声比例。通过改变m，得到 PNBANN 抗噪声性能，实验结果如图 3 所示。结果表明，对于不
同的m 都存在一个噪声比例的门限值，当噪声比例小于这个门限值时，识别率基本不变，
而超过这个门限值时，识别率会迅速减低。图 3 中的垂直虚线就是对应不同m的门限值，
当m分别等于 5、7、10、20、40、100 时，对应的门限值分别是 、、、 和
。可见，m越大，抗噪声能力越强，当m超过 20 以后，随着m得增加，各条曲线逐
渐重合，最大门限值在 附近。这就说明，只要m的取值足够大，只要噪声比例不超过
65%，都可以得到理想的识别率。
1
噪声比例
识
别
率
m=5
m=7
m=10
m=20
m=40
m=100
5 结论
研究结果表明，PNBANN 能够准确接收并保存所有输入的信息，并有选择地学习、记忆
那些有用的信息。除非由于某种原因使得原有的网络连接遭到破坏或产生混乱的连接(就像
人脑受刺激后产生的精神错乱)，学习过程只会使网络规模逐渐增大、神经元之间的连接越
加复杂，而不会影响网络的稳定，或使记忆的内容产生混乱。PNBANN 不需要训练就可以使
每个模式的输入、输出之间建立确切的对应关系，没有任何的近似或不确定因素，这是它与
现有的基于计算的神经网络相比最大的优势。至于 PNBANN 的泛化能力，以及在其它高等运
算方面的性能，是我们以后继续研究的内容。
图 3 加入不同比例噪声后的识别率
Fig3 testing rates for patterns with noise
-7-
参考文献
1 Liang N Y, Huang G B. A Fast and Accurate Online Sequential Learning Algorithm
for Feedforward Networks[J]. IEEE Trans on Neural Netw, 2006,17(6):1411-1422.
2 Ferrari S, Stengel R F. Smooth Function Approximation Using Neural Networks[J].
IEEE Trans on Neural Netw, 2005,16(1):24-38.
3 Frate F D, Pacifici F, Schiavon G , et al. Use of Neural Networks for Automatic
Classification from High-Resolution Images[J]. IEEE Trans on Geosci R emote Sens,
2007, 45(4):800-809.
4 Kim Y W, Keely S, Ghosh J, et al. Application of Artificial Neural Networks to
Broadband Antenna Design Based on a Parametric Frequency[J]. IEEE Antennas
Wireless Propag. Lett., 2005, 4: 112–117.
5 刘宇红, 刘桥, 任强. 基于模糊聚类神经网络的语音识别方法[J]. 计算机学报，2006，
29(10): 1894-1900.
6 黄国宏, 熊志化, 邵惠鹤. 一种新的基于构造型神经网络分类算法[J]. 计算机学报,
2005, 28(9): 1519-1523.
7 阮晓钢. 神经计算科学[M]. 北京: 国防工业出版社, .
A New Kind of Artificial Neural Network
Zhou Xiaozheng1，Lin Xiaozhu1，Chen Xing2，Li Yulong3
1 School of Information Engineering, Beijing Institute of Petro-Chemical Technology, Beijing,
PRC, (102617)
2 School of Electronic and Information Engineering, Beijing University of Aeronautics and
Astronautics, Beijing, PRC, (100083)
3 Chonnam National University, Yosu, Korea, 550-749
Abstract
In this paper, a new kind of artificial neural network is proposed, which is called Pattern-Neuron Based
Artificial Neural Network (PNBANN). Different from the current neurocomputing networks,
PNBANN is based on neuron connecting completely. Each neuron in PNBANN uniquely represents a
pattern. Whenever an unknown pattern is received, a new neuron corresponding to this pattern is
produced, and then the information is srored in the PNBANN. If a pattern has existed in the network
when it is received, the connections included in the existing pattern neuron structure are enhanced.
When the output of a pattern neuron exceeds the given feeling threshold, the pattern is memorized.
Therefore, PNBANN can easily receive and store information constantly, and memorizes the
information or patterns which can results strong feeling. This process is quite similar to the process of
human brain to learn and keep something in mind. Simulations are made in this paper, and the results
show that PNBANN can study with very high efficiency, and the existing patterns are not influenced
while new pattern are incoming. It is also verified that PNBANN has a very high performance in
recognition.
Keywords: Pattern-Neuron Artificial Neural Network Feeling Threshold
作者简介：周晓正，男，1960 年生，博士，副教授，主要研究方向是人体信息系统、模式
识别、神经网络和机器学习。
