计算智能
计算智能涉及神经计算、模糊计算、进化计算和人工生命等领域，这些研究领域体现出生命科学与信息科学的紧密结合，也是广义人工智能力图研究和摹仿人类和动物智能(主要是人类的思维过程和智力行为)的重要进展。
把计算智能理解为智力的低层认知，它主要取决于数值数据而不依赖于知识。人工智能是在计算智能的基础上引入知识而产生的智力中层任知。生物智能，尤其是人类智能，则是最高层的智能。即CIAIBI。
第5章 计算智能
§概述
§神经计算
§模糊计算
§遗传算法
§人工生命
§粒群优化
§蚁群算法
§概述
什么是计算智能，它与传统的人工智能的区别？
第一个对计算智能的定义是由贝兹德克(Bezdek)于1992年提出的。他认为，从严格意义上讲，计算智能取决于制造者提供的数值数据，而不依赖于知识；另一方面，人工智能则应用知识精品。
§概述
及相关符号的表示含义
A----Artificial, 表示人工的(非生物的)，即人造的
B----Biological, 表示物理的+化学的+(??)=生物的
C----Computational, 表示数学+计算机
NN----神经网络
PR----模式识别
I----智能
§概述
及其与神经网络(NN)、模式识别(PR)和智能(I)之间的关系
注：.9个节点，表示9个研究领域或学科
.节点间的距离衡量领域间的差异，如CNN与CPN的差异比BNN与BPR小
.符号 →意味着“适当的子集”，如：ANN APR AI， CI AI BI。
输入 复杂性 ————> 层次
复
杂
性 人类知识 BNN BPR BI B-生物的
(+)传感输入
知识 ANN APR AI A-符号的
(+)传感数据
计算 CNN CPR CI C-数值的
(+)传感器
§概述
及其相关领域的定义
BNN
ANN
CNN
BPR
APR
CPR
BI
AI
CI 人类智能硬件：大脑
中层模型：CNN + 知识精品
低层，生物激励模型
对人的传感数据结构的搜索
中层模型：CPR+知识精品
对传感数据结构的搜索
人类智能软件：智力
中层模型：CI+知识精品
计算推理的低层算法 人的传感输入的处理
以大脑方式的中层处理
以大脑方式的传感数据处理
对人的感知环境中结构的识别
中层数值和语法处理
所有CNN+模糊、统计和确定性模型
人类的认知、记忆和作用
以大脑方式的中层认知
以大脑方式的低层认知
§概述
总结：
计算智能是一种智力方式的低层认知，它与人工智能的区别只是认知层次从中层下降到低层而已。中层系统含有知识(精品)，低层系统则没有。
若一个系统只涉及数值(低层)数据，含有模式识别部分，不应用人工智能意义上的知识，而且能够呈现出：①计算适应性；②计算容错性；③接近人的速度；④误差率与人相近，则该系统就是计算智能系统。
若一个智能计算系统以非数值方式加上知识(精品)值，即成为人工智能系统。
§神经计算
神经计算就是通过对人脑的基本单元---神经元的建模和联结，来探索模拟人脑神经系统功能的模型，并研制一种具有学习、联想、记忆和模式识别等智能信息处理功能的人工系统。
§人工神经网络研究的进展
§人工神经网络的结构
§人工神经网络的典型模型
§基于神经网络的知识表示与推理
§前馈神经网络
§神经网络
§自组织映射神经网络
*
作为动态系统辨识、建模和控制的一种新的、令人感兴趣的工具，人工神经网络在过去十多年中得到大力研究并取得重要进展。神经计算是以神经网络为基础的计算。
§人工神经网络研究的进展
一、发展历程
40年代心理学家麦卡洛克(Mcculloch)和数学家皮茨(Pitts)合作提出的兴奋与抑制型神经元模型和赫布(Hebb)提出的神经元连接强度的修改规则，他们的研究结果至今仍是许多神经网络模型研究的基础。
50年代、60年代的代表性工作是罗森布拉特(Rosenblatt)的感知机和威得罗(Widrow)的自适应性元件Adaline(adapyive lineear element,即自适应线性元)。
1969年，明斯基(Minsky)和帕伯特(Papert)合作发表了颇有影响的Perceptron一书，得出了消极悲观的论点，加上数字计算机正处于全盛时期并在人工智能领域取得显著成就，70年代人工神经网络的研究处于低潮。
80年代后，传统的Von Neumann数字计算机在模拟视听觉的人工智能方面遇到了物理上不可逾越的极限。与此同时，鲁姆尔哈特(Rumelhart)与Mcclelland以及Hopfield等人在神经网络领域取得了突破性进展，神经网络的热潮再次掀起。
§人工神经网络研究的进展
二、特点
可以充分逼近任意复杂的非线性关系；
所有定量或定性的信息都等势分布贮存于网络内的各神经元，故有很强的鲁棒性和容错性；
采用并行分布处理方法，使得快速进行大量运算成为可能；
可学习和自适应不知道或不确定的系统；
能够同时处理定量、定性知识；
可硬件实现。
结构特征：
并行式处理
分布式存储
容错性
能力特征：
自学习
自组织
自适应性
§人工神经网络研究的进展
三、基本功能
联想记忆功能
*
联想记忆功能
由于神经网络具有分布存储信息和并行计算的性能，因此它具有对外界刺激信息和输入模式进行联想记忆的能力。联想记忆有两种基本形式：自联想记忆与异联想记忆。
自联想记忆 网络中预先存储（记忆)多种模式信息，当输入某个已存储模式的部分信息或带有噪省干扰的信息时，网络能通过动态联想过程回忆起该模式的全部信息。
异联想记忆 网络中预先存储了多个模式对，每一对模式均由两部分组成，当输入某个模式对的一部分时，即使输入信息是残缺的或迭加了噪声的，网络也能回忆起与其对应的另一部分。
神经网络通过预先存储信息和学习机制进行自适应训练，可以从不完整的信息和噪声干扰中恢复原始的完整信息，这一能力使其在图象复原、图像和语音处理、模式识别、分类等方面具有巨大的潜在应用价值。
§人工神经网络研究的进展
三、基本功能
非线性映射功能
*
非线性映射功能
在客观世界中，许多系统的输入与输出之间存在复杂的非线性关系，对于这类系统，往往很难用传统的数理方法建立其数学模型。设计合理的神经网络通过对系统输入输出样本对进行自动学习，能够以任意精度逼近任意复杂的非线性映射。神经网络的这一优良性能使其可以作为多维非线性函数的通用数学模型。该模型的表达是非解析的，输入输出数据之间的映射规则由神经网络在学习阶段自动抽取并分布式存储在网络的所有连接中。具有非线性映射功能的神经网络应用十分广阔，几乎涉及所有领域。
§人工神经网络研究的进展
三、基本功能
分类与识别功能
*
分类与识别功能
神经网络对外界输入样本具有很强的识别与分类能力。对输入样本的分类实际上是在样本空间找出符合分类要求的分割区域，每个区域内的样本属于一类。传统分类方法只适合解决同类相聚，异类分离的的识别与分类问题。但客观世界中许多事物（例如，不同的图象、声音、文字等等）在样本空间上的区域分割曲面是十分复杂的，相近的样本可能属于不同的类，而远离的样本可能同属一类。神经网络可以很好地解决对非线性曲面的逼近，因此比传统的分类器具有更好的分类与识别能力。
§人工神经网络研究的进展
三、基本功能
优化计算功能
*
优化计算功能
优化计算是指在已知的约束条件下，寻找一组参数组合，使由该组合确定的目标函数达到最小值。某些类型的神经网络可以把待求解问题的可变参数设计为网络的状态，将目标函数设计为网络的能量函数。神经网络经过动态演变过程达到稳定状态时对应的能量函数最小，从而其稳定状态就是问题的最优解。这种优化计算不需要对目标函数求导，其结果是网络自动给出的。
§人工神经网络研究的进展
三、基本功能
知识处理功能
*
知识处理功能
知识是人们从客观世界的大量信息以及自身的实践中总结归纳出来的经验、规则和判据。神经网络获得知识的途径与人类似，也是从对象的输入输出信息中抽取规律而获得关于对象的知识，并将知识分布在网络的连接中予以存储。神经网络的知识抽取能力使其能够在没有任何先验知识的情况下自动从输入数据中提取特征，发现规律，并通过自组织过程将自身构建成适合于表达所发现的规律。另一方面，人的先验知识可以大大提高神经网络的知识处理能力，两者相结合会使神经网络智能得到进一步提升。
§人工神经网络研究的进展
总之，神经网络具有学习和适应、自组织、函数逼近和大规模并行处理能力
神经网络在模式识别、信号处理、系统辨识和优化等方面广泛应用
§人工神经网络的结构
一、生理神经元的结构与功能
1.生理神经元的结构
大多数神经元由一个细胞体(cell body或soma)和突(process)两部分组成。突分两类， 即轴突(axon)和树突(dendrite)，。轴突是个突出部分，长度可达1m，把本神经元的输出发送至其它相连接的神经元。树突也是突出部分，但一般较短，且分枝很多，与其它神经元的轴突相连，以接收来自其它神经元的生物信号。
轴突和树突共同作用，实现了神经元间的信息传递。轴突的末端与树突进行信号传递的界面称为突触(synapse)，通过突触向其它神经元发送信息。对某些突触的刺激促使神经元触发(fire)。只有神经元所有输入的总效应达到阈值电平，它才能开始工作。无论什么时候达到阈值电平，神经元就产生一个全强度的输出窄脉冲，从细胞体经轴突进入轴突分枝。这时的神经元就称为被触发。越来越明显的证据表明，学习发生在突触附近，而且突触把经过一个神经元轴突的脉冲转化为下一个神经元的兴奋或抑制。
§人工神经网络的结构
2.生理神经元的功能
从生物控制论的观点，神经元作为控制和信息处理的基本单元，具有下列一些重要的功能与特性：
时空整合功能：神经元对于不同时间通过同一突触传入的神经冲动，具有时间整合功能。对于同一时间通过不同突触传入的神经冲动，具有空间整合功能。两种功能相互结合，具有时空整合的输入信息处理功能；
兴奋与抑制状态：即兴奋（细胞膜电位升高）和抑制（细胞膜电位降低）。
脉冲与电位转换：突触界面具有脉冲/电位信号转换功能。
神经纤维传导速度：神经冲动沿神经纤维传导的速度在1-150m/s之间。
突触延时和不应期：突触对神经冲动的传递具有时延和不应期，在相邻的二次冲动之间需要一个时间间隔，即为不应期。
每个人脑大约含有1011-1012个神经元，每一神经元又约有103-104个突触。神经元通过突触形成的网络，传递神经元间的兴奋与抑制。大脑的全部神经元构成极其复杂的拓扑网络群体，用于实现记忆与思维。
*
从生物控制论的观点，神经元作为控制和信息处理的基本单元，具有下列一些重要的功能与特性：
时空整合功能：神经元对于不同时间通过同一突触传入的神经冲动，具有时间整合功能。对于同一时间通过不同突触传入的神经冲动，具有空间整合功能。两种功能相互结合，具有时空整合的输入信息处理功能；
兴奋与抑制状态：即兴奋（细胞膜电位升高）和抑制（细胞膜电位降低）。
脉冲与电位转换：突触界面具有脉冲/电位信号转换功能。神经纤维传导速度：神经冲动沿神经纤维传导的速度在1-150m/s之间。
突触延时和不应期：突触对神经冲动的传递具有时延和不应期，在相邻的二次冲动之间需要一个时间间隔，即为不应期。<BR> 随着脑科学和生物控制论研究的进展，人们对神经元的结构和功能有了进一步的了解，神经元并不是一简单的双稳态逻辑元件，而是超级的微型生物信息处理机/或控制机。
§人工神经网络的结构
二.人工神经元
1.人工神经元的组成
人工神经网络(artificial neural nets,ANN)或模拟神经网络是由模拟神经元组成的，可把ANN看成是以处理单元PE(processing element)为节点，用加权有向弧(链)相互连接而成的有向图。其中，处理单元是对生理神经元的模拟，而有向弧则是轴突-突触-树突对的模拟。有向弧的权值表示两处理单元间相互作用的强弱。
来自其它神经元的输入乘以权值，然后相加。把所有总和与阈值电平比较。当总和高于阈值时，其输出为1；否则，输出为0。大的正权对应于强的兴奋，小的负权对应于弱的抑制。
在简单的人工神经网模型中，用权和乘法器模拟突触特性，用加法器模拟树突的互联作用，而且与阈值比较来模拟细胞体内电化学作用产生的开关特性。
*
§人工神经网络的结构
2. ANN的数学描述
令来自其它处理单元(神经元)i的信息为Xi，它们与本处理单元的互相作用强度为Wi，i=0,1,…，n-1，处理单元的内部阈值为θ。那么本神经元的输入为
xi为第i个元素的输入，wi为第i个元素与本处理单元的互联权重。f称为激发函数(activation function)或作用函数。它决定节点(神经元)的输出。该输出为1或0取决于其输入之和大于或小于内部阈值θ。
处理单元的输出为
*
§人工神经网络的结构
激发函数一般具有非线性特性，常用的非线性特性如下图所示，分述于下：
① 阈值型
对于这种模型，神经元没有内部状态，激发函数为一阶跃函数，如图 (a)所示。这时，输出为： 1 ,xi>0
f(xi)=U(xi)= 0 ,xi≤0
② 分段线性强饱和型 见图 (b)。
③ Sigmoid型激发函数称为西格莫伊德(Sigmoid)函数，简称S型函数，其输入输出特性常用对数曲线或正切曲线等表示。这类曲线反映了神经元的饱和特性。S型函数是最常用的激发函数，它便于应用梯度技术进行搜索求解。
*
§人工神经网络的结构
三、人工神经网络的基本特性和结构
1.神经网络的基本特性
许多神经元以一定方式连接在一起，即构成神经网络。这种由许多神经元组成的信息处理网络具有并行分布结构。每个神经元具有单一输出，并且能够与其他神经元连接；存在许多输出连接方法，每种连接方法对应一个连接权系数。严格地说，人工神经网络是一种具有下列特性的有向图：
①对于每一个节电i存在一个状态变量xi;
②从节点j至节点i，存在一个连接权系统数wji；
③对于每个节点i，存在一个阈值i；
④对于每个节点i，定义一个变换函数f i(xi,wji, i),i≠j；对于最一般的情况，此函数取f i(∑wij xj -i)形式。
j
*
§人工神经网络的结构
2.神经网络的结构
⑴递归网络
有些神经元的输出被反馈至同层或前层神经元，信号能够从正向或反向流通。又叫反馈网络。
典型例子：Hopfield网络、Elmman网络和Jordan网络
如图：vi表示接点的状态，xi为节点的输入值，xi’为收敛后的输出值，i=1,2,…,n
⑵前馈网络
具有递阶分层结构，由一些同层神经元间不存在互连的层次组成。从输入到输出的信号通过单向连接流通；神经元从一层连接至下一层，不存在同层神经元间的连接。如图：实线指明实际信号流通，虚线表示反向传播。
典型例子：多层感知器MLP
*
误差反向传播神经网络则具有很强的学习能力，可以实现非线性
可分输入样本的分类。
§人工神经网络的结构
2.神经网络的结构
注：
分层形前向网络具有任意精度的模式映射能力，因而可以用作模式分类、匹配等，
而反馈型神经网络则是一个非线性动力学系统，它具有如下两个重要特征：
1．系统具有多个稳定状态，从某一初始状态开始运动，系统最终可以到达某一个稳定状态；
2．不同的初始连接权值对应的稳定状态也不相同。
如果用系统的稳定状态作为记忆，那么由某一初始状态出发向稳态的演化过程，实际上就是一个联想过程，所以反馈型神经网络具有联想记忆的功能。
*
误差反向传播神经网络则具有很强的学习能力，可以实现非线性
可分输入样本的分类。
§人工神经网络的结构
决定人工神经网络整体性能
节点本身的信息处理能力(数学模型)
节点与节点之间连接(拓扑结构)
相互连接的强度(通过学习来调整)
*
误差反向传播神经网络则具有很强的学习能力，可以实现非线性
可分输入样本的分类。
§人工神经网络的结构
3.神经网络的主要学习算法
加拿大心理学家Donald Hebb出版了《行为的组织》一书，指出学习导致突触的联系强度和传递效能的提高，即为“赫布律”。
在此基础上，人们提出了各种学习规则和算法，以适应不同网络模型的需要。有效的学习算法，使得神经网络能够通过连接权值的调整，构造客观世界的内在表示，形成具有特色的信息处理方法，信息存储和处理体现在网络的连接中。
神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。
*
§人工神经网络的结构
3.神经网络的主要学习算法
⑴有师学习
能够根据期望的和实际的网络输出(对应于给定输入)之间的差来调整神经元间连接的强度或权。因此，有师学习需要有老师或导师来提供期望或目标输出信号。
典型例子：规则、广义规则或反向传播算法
*
§人工神经网络的结构
⑵无师学习
不需要知道期望输出。在训练过程中，
只要向神经网络提供输入模式，神经
网络就能够自动适应连接权，以便按
相似特征把输入模式分组聚集。
典型例子：Kohonen算法、
Carpenter-Grossberg自适应
谐振理论。
⑶强化学习
是有师学习的特例。它不许要老师给出目标输出，而采用一个评论员来评价与给顶输入相对应的神经网络输出的优度。
典型例子：遗传算法
*
另一种是灌输式学习 或死记式学习
在生物神经网络中，存在着一种侧抑制现象，即当一个神经细胞兴奋后，会对其周围
的其它神经细胞产生抑制作用。这种抑制使神经细胞之间出现竞争，“强者”超“强”，“弱”
者越“弱”，最终形成一个强兴奋的中心细胞，而在其周围的神经细胞都处于抑制状态。此
外，在学习过程中，还存在着一种无需教师指导的学习。例如刚出生的婴儿，在外界环境
的声音信号刺激下，会自然地发出声音，这种“无师自遏”的现象就是自组织、自学习的方
式。利用这种竞争性的无导师学习策略，学习时只需输入训练模式，网络就会对输入模式
进行自组织，达到识别和分类的目的。具有这种性质的网络有自组织特征映射SOM(self Organization feature Map)、对传神经网络CPM(Counter Propagation Network)、自适应共振模型
ART(Adaptive Resonance Theory)和认知机模型(neoconitron)等。
§人工神经网络的典型模型
感知器神经网络：
1.感知器(Perceptron)是最“古老”的网络(Rosenblatt，于1975年提出)，是一组可训练的线性分类器，目前已很少使用。
有师学习 误差修正 正向 线形分类、预测
2. MadaLine是AdaLine的发展，是一组具有最小均方差线性网络的组合，学习能力较强，但I/O间需满足线性关系。
有师学习 误差修正 正向 分类，噪声抑制
3.反向传递(BP)网是一种反向传递并修正误差的多层映射网，在参数适当时，能收敛到较小的均方误差，是当前应用最广的一种网络。缺点是训练时间长，易陷入局部极小。
有师学习 误差修正 反向 分类
*
前向网络：感知器、 BP网、自适应线性元件、交替投影神经网
在生物神经网络中，存在着一种侧抑制现象，即当一个神经细胞兴奋后，会对其周围
的其它神经细胞产生抑制作用。这种抑制使神经细胞之间出现竞争，“强者”超“强”，“弱”
者越“弱”，最终形成一个强兴奋的中心细胞，而在其周围的神经细胞都处于抑制状态。此
外，在学习过程中，还存在着一种无需教师指导的学习。例如刚出生的婴儿，在外界环境
的声音信号刺激下，会自然地发出声音，这种“无师自遏”的现象就是自组织、自学习的方
式。利用这种竞争性的无导师学习策略，学习时只需输入训练模式，网络就会对输入模式
进行自组织，达到识别和分类的目的。具有这种性质的网络有自组织特征映射SOM(self Organization feature Map)、对传神经网络CPM(Counter Propagation Network)、自适应共振模型
ART(Adaptive Resonance Theory)和认知机模型(neoconitron)等。
在生物神经网络中，存在着一种侧抑制现象，即当一个神经细胞兴奋后，会对其周围
的其它神经细胞产生抑制作用。这种抑制使神经细胞之间出现竞争，“强者”超“强”，“弱”
者越“弱”，最终形成一个强兴奋的中心细胞，而在其周围的神经细胞都处于抑制状态。此
外，在学习过程中，还存在着一种无需教师指导的学习。例如刚出生的婴儿，在外界环境
的声音信号刺激下，会自然地发出声音，这种“无师自遏”的现象就是自组织、自学习的方
式。利用这种竞争性的无导师学习策略，学习时只需输入训练模式，网络就会对输入模式
进行自组织，达到识别和分类的目的。具有这种性质的网络有自组织特征映射SOM(self Organization feature Map)、对传神经网络CPM(Counter Propagation Network)、自适应共振模型
ART(Adaptive Resonance Theory)和认知机模型(neoconitron)等。
自组织特征映射soM是由芬兰的KDh皿en教授于1981年提出的一种神经网络模型
它的原理是基于生物神经细胞的如下二种功能c
1．实际的神经细胞中有一种特征敏感细胞，在外界信号的刺激下，通过自学习形成
对某一种特征特别敏感的神经元。
2．生物神经细胞在外界的刺激下．会自动聚集而形成一种功能拄，一个功能栓的细胞完成同一种功能.
§人工神经网络的典型模型
自组织竞争学习神经网络模型：
４.自组织映射网(SOM)由Kohonen于1972年提出。能形成簇与簇之间的连续映射，起向量量化器的作用
无师学习 竞争律 正向 自组织映射
(Counter Propagation Network)由R Hecht和Nielsen于1987年提出，亦称对流网，将Kohonen 特征映射网络与Grossberg 基本竞争型网络相结合，充分发挥了它们各自的特长：无导师训练解决网络隐含层的理想输出未知问题，有导师训练解决输出层按系统要求给出指定输出结果的问题。经过反复学习，PN 可以将任意输入模式映射为输出模式．
无师学习和有师学习 Hebb律 正向 模式映射
6. 自适应共振(ART)由Grossberg提出，是根据可选参数对输入数据进行粗分类的网络，ARTⅠ用于二值输入，ARTⅡ用于连续值输入。缺点是太敏感，输入有小的变化，输出变化很大。
无师学习 Hebb律 反向 模式分类
*
与BP 神经网络不同的是，CPN 是一个异构网，2 层神经网络执行不同的训练算法，网络的异构性更接近于对人脑功能的模拟。对传神经网络第1 层执行Kohonen 提出的自组织映射(Self-organization map，简称为SOM)算法，被称为Kohonen 层。该层执行无导师学习，以“强者占先，弱者退出”方式工作，网络按照SOM 学习规则产生竞争层的获胜神经元，并按这一规则调整相应的Kohonen 层的连接权值W。第2 层为输出层，执行Grossberg 提出的散射星(Outstar)算法，被称为Grossberg 层。Grossberg 层执行有导师训练，按照基本竞争型网络学习规则，得到各输出神经元的实际输出，并按照有导师型的误差校正方法，修正Grossberg 层的连接权值V，以实现类的表示功能。
CPN 将Kohonen 特征映射网络与Grossberg 基本竞争型网络相结合，充分发挥了它们各自的特长：无导师训练解决网络隐含层的理想输出未知问题，有导师训练解决输出层按系统要求给出指定输出结果的问题。经。经过反复学习，CPN 可以将任意输入模式映射为输出模式.
针对聚类问题的神经网络方法中,最早由A. Carpenter和S. Grossberg(1976)提出的自适应共振(ART)模型是其中应
用较多的一种。ART(Adap tive Resonance Theory)是一种自组织神经网络结构,是无教师的学习网络。当神经网络和环境
有交互作用时,对环境信息的编码会自发地在神经网中产生,即认为神经网络在进行自组织活动。ART就是这样一种能自
组织地产生对环境认识编码的神经网络理论模型。由于横向抑制是自组织网络的特性,ART采用了MAXNET子网结构,
该网络采用横向抑制的方法增强并能选择节点中具有最大输出的一个。
ART模型的算法过程如下:
第一,将一个新样本X置入节点
第二,采取自下而上的过程,求得: yj = Σi bjiXi
第三,运用MAXNET网络,找到具有最大值输出的节点
第四,通过自上而下的检验,判断X是否属于第j类,即如果有
ΣipjiXi
ΣiXi
>ρ
则X属于第j类,ρ是警戒参数。如果上式不成立,转到第六步,否则继续
第五,对于特定的j和所有的i更新bji和pji ,设t + 1时刻pji ( t + 1) = pji ( t) Xi , Pji (0) = 1
bji ( t + 1) =
pji ( t) Xi
0. 5 + ΣN
i = 1pji ( t) Xi
, bji (0) =
1
N + 1
第六,无法判断X是否属于第j类,抑制该节点返回到第二步,执行另一个聚类的处理过程
bji和pji在网络里的作用不同,当聚类结束后, bji = { bj1 , bj2 , bj3 , ⋯, bjN }更象是第j类的类中心。为了保证新的样本X
确实属于第j类,必须进行一次检验,即自上而下加权求和ΣipjiXi ,并将其与ρ比较。参数ρ设置的越大,类内模式的近似
度就越高,因而就会出现较多的类,反之亦然。
由上述算法说明可以看出,ART模型的分类方法与基于距离的分类的聚类算法是同一类型。它与传统方法的不同之
处仅在于分类准则是通过MAXNET网实现的,且分类结果可以通过网络反馈环节得到检验。
§人工神经网络的典型模型
7.认知机(Neocognitron)由Fukushima于1972年提出，是迄今为止结构最复杂的多层网，通过无导师学习，具有选择性注意的能力，对样品的平移、旋转不敏感。缺点是耗用结点及互连多，参数多且难选。
*
与BP 神经网络不同的是，CPN 是一个异构网，2 层神经网络执行不同的训练算法，网络的异构性更接近于对人脑功能的模拟。对传神经网络第1 层执行Kohonen 提出的自组织映射(Self-organization map，简称为SOM)算法，被称为Kohonen 层。该层执行无导师学习，以“强者占先，弱者退出”方式工作，网络按照SOM 学习规则产生竞争层的获胜神经元，并按这一规则调整相应的Kohonen 层的连接权值W。第2 层为输出层，执行Grossberg 提出的散射星(Outstar)算法，被称为Grossberg 层。Grossberg 层执行有导师训练，按照基本竞争型网络学习规则，得到各输出神经元的实际输出，并按照有导师型的误差校正方法，修正Grossberg 层的连接权值V，以实现类的表示功能。
CPN 将Kohonen 特征映射网络与Grossberg 基本竞争型网络相结合，充分发挥了它们各自的特长：无导师训练解决网络隐含层的理想输出未知问题，有导师训练解决输出层按系统要求给出指定输出结果的问题。经。经过反复学习，CPN 可以将任意输入模式映射为输出模式.
针对聚类问题的神经网络方法中,最早由A. Carpenter和S. Grossberg(1976)提出的自适应共振(ART)模型是其中应
用较多的一种。ART(Adap tive Resonance Theory)是一种自组织神经网络结构,是无教师的学习网络。当神经网络和环境
有交互作用时,对环境信息的编码会自发地在神经网中产生,即认为神经网络在进行自组织活动。ART就是这样一种能自
组织地产生对环境认识编码的神经网络理论模型。由于横向抑制是自组织网络的特性,ART采用了MAXNET子网结构,
该网络采用横向抑制的方法增强并能选择节点中具有最大输出的一个。
ART模型的算法过程如下:
第一,将一个新样本X置入节点
第二,采取自下而上的过程,求得: yj = Σi bjiXi
第三,运用MAXNET网络,找到具有最大值输出的节点
第四,通过自上而下的检验,判断X是否属于第j类,即如果有
ΣipjiXi
ΣiXi
>ρ
则X属于第j类,ρ是警戒参数。如果上式不成立,转到第六步,否则继续
第五,对于特定的j和所有的i更新bji和pji ,设t + 1时刻pji ( t + 1) = pji ( t) Xi , Pji (0) = 1
bji ( t + 1) =
pji ( t) Xi
0. 5 + ΣN
i = 1pji ( t) Xi
, bji (0) =
1
N + 1
第六,无法判断X是否属于第j类,抑制该节点返回到第二步,执行另一个聚类的处理过程
bji和pji在网络里的作用不同,当聚类结束后, bji = { bj1 , bj2 , bj3 , ⋯, bjN }更象是第j类的类中心。为了保证新的样本X
确实属于第j类,必须进行一次检验,即自上而下加权求和ΣipjiXi ,并将其与ρ比较。参数ρ设置的越大,类内模式的近似
度就越高,因而就会出现较多的类,反之亦然。
由上述算法说明可以看出,ART模型的分类方法与基于距离的分类的聚类算法是同一类型。它与传统方法的不同之
处仅在于分类准则是通过MAXNET网实现的,且分类结果可以通过网络反馈环节得到检验。
§人工神经网络的典型模型
8. 双向联想存储器(BAM)是一类单状态互联想网，具有学习功能。缺点是存储密度较低，且易振荡。
9. Hopfield网由Hopfield于1982年提出，是一类不带有学习功能的单层自联想网，缺点是要对称连接，内存开销较大
10. Boltzmann机由 Hinton等提出。建立在Hopfield网络基础上，具有学习能力，能够通过一个模拟退火过程寻求解答。缺点是训练时间较BP网更长。
有师学习 Hebb/模拟退火 反向 组合优化
*
联想(A5xc2a6m)是指空间和时间上相接近的、或性质上相似相反的以及存在因果关系的事物在大脑中的一种联想关系。而这里所谓的联想记忆(A眺办li僧M90v)是指神经网络经过学习，存贮并记忆了确定的输入模式后，在输入带有噪声或无噪声的不完整模式时，网络仍能通过计算给出与输入模式最接近的完整模式。
Hopfield神经网络模型是由美国加州工学院物理学教授Hopfield于1982年提出的一种相互全连接的反馈型神经网络。由于在网络中成功地引入了“能量函数”的概念，给出了网络的稳定性判据，所以可以用它来实现A／D转换和解决优化组合计算等问题。所有这些有意义的成果有力地推动了神经网络的研究热潮，开拓了神经网络在信息处理和优化计其中的新用途。
Hopfield神经网络是一种确定性的神经网络模型，它的能量函数存在局部极小值，这在实现联想记亿时是十分必要的条件，但是在解决诸如组合优化计算以及其它需要全局极小值作为问题的稳态解时，它就无法保证一定能得到全局最优解了。
为了解决局部圾小值问题，Hinton
等人在1985年提出了一种随机二值神经网络模型，称为波尔兹曼机BM。在该模型中，引入了一个温度变量，且二值神经元的点火是概率型的，再加上应用了模拟退火算法，使该网络的能量函数能够摆脱局部极小值的束缚，最终到达期望的全局最小状态。
§基于神经网络的知识表示与推理
基于神经网络的知识表示
这里采用的是一种隐式的表示方法。某一问题的若干知识在同一网络中表示。
例如：在有些神经网络系统中，知识用神经网络中所对应的有向权图的邻接矩阵及阈值向量表示的。
0
0
x1
x2
y
邻接矩阵为：
0 0 0
0 0 0
0 0 0 0
0 0 0 0
0 0 0 0 0
该网络代表下列4条规则：IF x1=0 AND x2=0 THEN y=0
IF x1=0 AND x2=1 THEN y=1
IF x1=1 AND x2=0 THEN y=1
IF x1=1 AND x2=1 THEN y=0
*
§基于神经网络的知识表示与推理
医疗诊断实例：
假设系统的诊断模型只有六种症状、两种疾病、三种治疗方案。
首先选择一批合适的病人并从病历中采集如下信息：
⑴症状：对每一症状只采集有、无及没有记录这三种信息。
⑵疾病：对每一疾病也只采集有、无及没有记录这三种信息。
⑶治疗方案：对每一治疗方案只采集是否采用这两种信息。
其中，对“有”、“无”、“没有记录”分别用+1、-1、0表示。这样每一个病人构成一个训练样本。
*
§基于神经网络的知识表示与推理
根据症状、疾病及治疗方案间的因果关系，并通过训练样本对网络的训练得到如下神经网络 。其中，x1, x2 , … x6 ,为症状； x7, x8 为疾病名； x9, x10 , x11 为治疗方案； xa, xb , xc ,是附加层，这是由于学习算法的需要而增加的
x1
x7
2
输入层
0
-1
-2
-1
2
0
3
3
x2
x3
x4
x5
x6
x8
xa
xb
xc
x11
x9
x10
-2
3
3
3
3
-4
-4
3
2
4
1
-1
-4
-2
2
-3
1
-1
-3
-3
-3
中间层
输出层
附加层
输出层
*
§基于神经网络的知识表示与推理
说明：
⑴这是一个带正负权值wij的前向网络，有wij可构成相应的学习矩阵。当i>j时wij =0;当i<j且接点I和接点j之间不存在连接弧时， wij也为0；其余， wij为图中连接弧上所标的数据。
x1
x7
2
输入层
0
-1
-2
-1
2
0
3
3
x2
x3
x4
x5
x6
x8
xa
xb
xc
x11
x9
x10
-2
3
3
3
3
-4
-4
3
2
4
1
-1
-4
-2
2
-3
1
-1
-3
-3
-3
中间层
输出层
附加层
输出层
*
§基于神经网络的知识表示与推理
说明：
⑵神经元取值为+1,0,-1，特性函数为一离散型的阈值函数，其计算公式为
n +1, Xj>0
Xj=∑wijxi xj’= 0, Xj=0
i=1 -1, Xj<0
为计算方便，增加了w0jx0项。X0的值为常数，w0j的值标在节点的圆圈中，它实际上是-j， j是节点j的阈值。
x1
x7
2
输入层
0
-1
-2
-1
2
0
3
3
x2
x3
x4
x5
x6
x8
xa
xb
xc
x11
x9
x10
-2
3
3
3
3
-4
-4
3
2
4
1
-1
-4
-2
2
-3
1
-1
-3
-3
-3
中间层
输出层
附加层
输出层
*
§基于神经网络的知识表示与推理
说明：
⑶图中连接弧上标出的wij值是根据一组训练样本，通过某种学习算法对网络进行训练得到的。这就是神经网络系统所进行的知识获取。
⑷由全体的值及各种症状、疾病、治疗方案名所构成的集合就形成了该疾病诊断系统的知识库。
x1
x7
2
输入层
0
-1
-2
-1
2
0
3
3
x2
x3
x4
x5
x6
x8
xa
xb
xc
x11
x9
x10
-2
3
3
3
3
-4
-4
3
2
4
1
-1
-4
-2
2
-3
1
-1
-3
-3
-3
中间层
输出层
附加层
输出层
*
§基于神经网络的知识表示与推理
2.基于神经网络的推理
通过网络计算实现的，把用户提供的初始证据用作网络的输入，通过网络计算最终得到输出结果。
例如：
证据是x1=1,x2=x3=-1
由 0+2×1+(-2) ×(-1)+3 ×(-1)=1>0
得x7=1
x1
x7
2
输入层
0
-1
-2
-1
2
0
3
3
x2
x3
x4
x5
x6
x8
xa
xb
xc
x11
x9
x10
-2
3
3
3
3
-4
-4
3
2
4
1
-1
-4
-2
2
-3
1
-1
-3
-3
-3
中间层
输出层
附加层
输出层
当证据是x1=x3=1， x2=？由 0+2×1+3 ×1=5 +(-2) ×(？)>0 得x7=1
由此可见，在用神经网络进行推理时，即使已知的信息不完全，照样可以进行推理。
*
§基于神经网络的知识表示与推理
2.基于神经网络的推理
正向网络推理步骤：
⑴把已知数据输入网络输入层的各个节点。
⑵利用特性函数分别计算网络中各层的输出。计算中，前一层的输出作为后一层有关节点的输入，逐层进行计算，直到计算出输出层的输出值为止。
⑶用阈值函数对输出层的输出进行判定，从而得到输出结果。
推理具有如下特征：
⑴同一层的处理单元(神经元)是完全并行的，但层间的信息传递是串行的。由于层中处理单元的数目比网络的层次多得多，因此它是一种并行推理。
⑵在网络推理中不会出现传统人工智能系统中推理的冲突问题。
⑶网络推理只与输入及网络自身的参数有关，而这些参数又是通过多网络进行训练得到的，因此它是一种自适应推理。
*
学习资源
中南大学国家精品课程《人工智能 》
*
§模糊计算
模糊计算就是以模糊逻辑为基础的计算 .模糊逻辑（Fuzzy Logic）建立在模糊集理论的基础上，是一种处理不精确描述的软计算。与不确定推理处理随机事件发生的可能性相对照，模糊逻辑面向事物特性和能力的不精确描述。
例如，描述人的年龄可有三个以术语表示的定性值：轻、中、老。尽管作为数值变量时其变量值更简单（如“年龄”等于25），但其值域有许多值（如1－100）。定性值是一种形式的数据压缩（年龄只有三个定性值）。定性值往往无明确的分界线, 30-40岁之间的人属年轻或中年就是很模糊的，且因人的观念和场合而异。 为表示类似这样的一些模糊概念，扎德于1965年提出 模糊集合理论，其基本思想就是把传统集合论中由特征函数决定的绝对隶属关系模糊化，使元素x对子集A的隶属程度不再局限于取0或1，而是可以取［0，1」上的任何值，以指示元素X隶属于子集A的模糊程度。
*
由扎德（Zadeh）于1983年提出的模糊逻辑（Fuzzy Logic）建立在模糊集理论德基础上，是一种处理不精确描述的软计算。与不确定推理处理随机事件发生的可能性相对照，模糊逻辑面向事物特性和能力的不精确描述。模糊逻辑的核心概念是 语言变量。
例如，当将人的年龄作为一个语言变量时，其可有三个以术语表示的定性值：轻、中、老。每个值均由称为 隶属的一个函数加以定义。尽管年龄作为数值变量时其变量值更简单（如“年龄”等于25），但其值域有许多值（如1－100）。所以语言变量是一种形式的数据压缩（年龄只有三个定性值）。但这种压缩不同于定性物理中的量（值间隔）概念，因为语言变量的定性值是一种模糊值间隔，相互重叠，不存在用于分割连续值域的界标。
模糊计算就是以模糊逻辑为基础的计算
§模糊计算
§模糊逻辑
§模糊推理
§模糊控制
*
§模糊逻辑
一.模糊集合及其运算
1.模糊集合 (fuzzy sets)
定义：在论域U上定义一个模糊子集（简称模糊集）A ，其对U的任意元素x均指定一个值A(x)[0,1] ，以表示它对A的隶属程度，即有μA:U→[0,1] ,A={x/μA}其中，μA称为A的隶属函数。
当μA(x)=1时，x确定性隶属于A；
而μA(x)=0时，x确定性非隶属于 A ；
x取其它值时，隶属程度模糊。
总之，一个模糊集 A是以隶属函数μA(x)来描述的，隶属程度的概念构成模糊集理论的基石.
*
一个论域U中的元素x可以按其属性划分为子集。例如具有属性a的元素构成子集A，表示为
A = {x/a(x)}
传统的集合论中，元素x与子集A的关系只可能有两种：x∈A（a(x)＝1）或 xA （a(x)＝1） ，视x是否有属性a而定。所以，a(x）也称为特征函数。然而，真实世界中的许多事物和概念却不能这样简单地描述。例如，上述年龄"轻"这个概念就找不到一个年龄数值作为年轻和中年的分界线。通常，30岁以下的人认为是年轻的，但30-40岁之间的人属年轻或中年就是很模糊的，且因人的观念和场合而异。
为表示类似这样的一些模糊概念，扎德于1965年提出 模糊集合理论，其基本思想就是把传统集合论中由特征函数决定的绝对隶属关系模糊化，使元素x对子集A的隶属程度不再局限于取0或1，而是可以取［0，1」上的任何值，以指示元素X隶属于子集A的模糊程度。
§模糊逻辑
一.模糊集合及其运算
1.模糊集合 (fuzzy sets)
在论域U中，可以把模糊子集表示为元素u与其隶属函数μA 的序偶集合，记为 A={(u, μA (u))|u∈U}
若为连续，则模糊集A可记作
若U为离散，则模糊集A可记为：
*
一个论域U中的元素x可以按其属性划分为子集。例如具有属性a的元素构成子集A，表示为
A = {x/a(x)}
传统的集合论中，元素x与子集A的关系只可能有两种：x∈A（a(x)＝1）或 xA （a(x)＝1） ，视x是否有属性a而定。所以，a(x）也称为特征函数。然而，真实世界中的许多事物和概念却不能这样简单地描述。例如，上述年龄"轻"这个概念就找不到一个年龄数值作为年轻和中年的分界线。通常，30岁以下的人认为是年轻的，但30-40岁之间的人属年轻或中年就是很模糊的，且因人的观念和场合而异。
为表示类似这样的一些模糊概念，扎德于1965年提出 模糊集合理论，其基本思想就是把传统集合论中由特征函数决定的绝对隶属关系模糊化，使元素x对子集A的隶属程度不再局限于取0或1，而是可以取［0，1」上的任何值，以指示元素X隶属于子集A的模糊程度。
§模糊逻辑
举例：以人的年龄作为论域例来考察模糊集，设立以定性术语来描述年龄的语言变量“年龄”，其值域为:
年龄= {轻，中，老}
可以为“年龄”的三个定性值分别建立隶属函数μY 、 μM和μO 。它们各以梯形或三角形表示。从图中可见，这三个隶属函数是相互重叠的，即年龄在30～65岁之间的人不能确定性地划归某一个子集。
*
§模糊逻辑
2模糊集的运算
设A和B为论域U中的两个模糊集，其隶属函数分别为 μA和 μB ，则对于所有u∈U ，存在下列运算：
（1）A与B的并（逻辑或）记为A∪B ，其隶属函数定义为
(2）A与B的交（逻辑与）记为 A∩B ，其隶属函数定义为：
（3）A的补（逻辑非）记为A ，其传递函数定义为
*
§模糊逻辑
举例：若论域U={x1,x2,x3,x4}上有
则：
可见，模糊集合的逻辑运算实质上就是隶属函数的组合运算过程。
*
§模糊逻辑
二、模糊逻辑
模糊逻辑的基本思想是将常规数值变量模糊化，使变量成为以定性术语（也称语言值）为值域的语言变量。 当用语言变量来描述对象时，这些定性术语就构成 模糊命题。可以省略被描述的对象，则模糊命题可表示为“＜语言变量＞＜定性值＞” 形式。例如张三“年龄轻”就是一个模糊命题，其模糊程度用定性术语“轻”的隶属函数来表示。然后可以对模糊命题作合取、析取、取反等逻辑操作。
每个模糊命题均由相应的一个模糊集作细化描述，所以模糊逻辑操作与模糊集操作是一致的。
*
§模糊逻辑
二、模糊逻辑
定义：设P1，P2，…，Pm为论域U1，U2，…，Un上的一组模糊命题，相应的隶属函数为μ P1 ， μp2 ，…， μp m ，当前观察的论域元素分别为 x P1 ， xp2 ，…， xp m ；令PV和P∧分别表示这些命题的析取和合取，则PV和P∧的隶属程度为
*
§模糊逻辑
令析取和合取隐含着max和min操作，则此二式可简写为
其中，不同的模糊命题可以面向同一论域，即使用相同的语言变量，但取用的定性值不同，隶属函数也不同。对于模糊命题的取反，则有
注：让模糊命题的析取和合取隐含max和min，在一定程度上反映了客观规律，但这种平等看待各模糊命题的观念有时仍不符合实际。在真实世界中，影响问题求解的因素往往具有不相同的相对重要性。这可以通过引入加权模糊逻辑来解决
*
让模糊命题的析取和合取隐含max和min，在一定程度上反映了客观规律，但这种平等看待各模糊命题的观念有时仍不符合实际。在真实世界中，影响问题求解的因素往往具有不相同的相对重要性。例如一个模糊控制器的输入变量是与标准温度的温差θ和温度变化速率dθ，输出为恒温加热器液体燃料流量的修正量y（图）；为保持恒温，若控制温差比控制温度变化率更有效，就应加强温差对流量修正的影响。这可以通过引入加权模糊逻辑来解决。
§模糊推理
模糊推理有多种模式，其中最重要的且广泛应用的是基于模糊规则的推理。模糊规则的前提是模糊命题的逻辑组合（经由合取、析取和取反操作），作为推理的条件；结论是表示推理结果的模糊命题。所有模糊命题成立的精确程度（或模糊程度）均以相应语言变量定性值的隶属函数来表示。
模糊规则由应用领域专家凭经验知识来制定，并可在应用系统的调试和运行过程中，逐步修正和完善。模糊规则连同各语言变量的隶属函数一起构成了应用系统的知识库。基于规则的模糊推理实际上是按模糊规则指示的模糊关系 作模糊合成运算的过程。
*
§模糊推理
1. 直接 基于模糊规则的推理
当模糊推理的输人信息是量化的数值时，可以直接基于模糊规则作推理，然后把推理结论综合起来，典型的推理过程可以分为两个阶段，其中第一阶段又分为三个步骤，表述如下：
（1）计算每条模糊规则的结论：①输入量模糊化，即求出输入量相对于语言变量各定性值的隶属度；②计算规则前提部分模糊命题的逻辑组合（合取、析取和取反的组合）；③将规则前提逻辑组合的隶属程度与结论命题的隶属函数作min运算，求得结论的模糊程度。
（2）对所有规则结论的模糊程度作max运算，得到模糊推理结果。
*
§模糊推理
举例: 观察图所示的模糊控制。设想经验知识库中包括九条规则。描述温差θ、温度变化率dθ和燃料流量修正量y这三个论域的语言变量具有相同的定性值和隶属函数，且这三个论域均归化到实数域［-1,1］上。这些定性值取以下术语：
NB(负大)、NS(负小)、ZO(零) 、 PS(正小) 、 PB(正大)
*
§模糊推理
相应的隶属函数如图所示。
设模糊控制器当前输入的数
量值为：θ = ，dθ = 0，
则有两条规则激活：
输入量的隶属度为
基于max-min原则，可以分别计算这两条规则结论的模糊程度（分别以μ1和μ2指示）：
*
§模糊推理
μ1(y)和μ2(y)实际是将μNsy(y) 和μNBy(y) 的和以上部分切去后的结果，这种min运算也称切头法。最后对μ1(y)和μ2(y)作max操作，得到模糊推理结果(记为模糊集H)μH(y)＝μ1(y)∨μ2(y)。
*
§模糊推理
设燃料流量修正量这个论域为有限离散值的集合，即将实数域[-1，l]分成8个等级，级差为，则有
令AH1 和 AH2分别指示相应于这二条规则的推理结果模糊集，则有
*
§模糊推理
2. 基于模糊关系的推理
建立在论域 U1，U2，…，Un上的一个模糊关系R是笛卡尔积 U1×U2×…×Un上的模糊集合。若这些论域的元素变量分别为
XU1， XU2， … ， XU2 ， 则R的隶属函数记μR( XU1， XU2， … ， XU2 )。模糊关系 R可形式地定义为
注：尚未建立一致的理论去指导模糊关系的构造。存在着多种构造模糊关系的方法，相关的模糊合成运算方法也不同，形成了多种风格的模糊推理方法。不过，基于max-min原则的算法占居了目前模糊推理方法的主流。
*
在模糊推理中，尚未建立一致的理论去指导模糊关系的构造。这意味着存在着多种构造模糊关系的方法，相关的模糊合成运算方法也不同，从而形成了多种风格的模糊推理方法。不过，基于max-min原则的算法占居了目前模糊推理方法的主流。尽管这些算法不能说是最优的，但易于实现并能有效地解决实际问题，因此它们已广泛地应用于模糊推理。
§模糊推理
当模糊推理的输人信息是定性术语（以相应的模糊集表示）时，可以基于模糊关系作推理。介绍简单直观的Mamdani方法。
设模糊规则形如PH ,模糊命题P和H相应的模糊集AP和AH分别建立在论域UP和UH上（相应的元素变量为xP，xH）。令R(P;H) 指示从P推出H的模糊关系，则定义
当实际的输人信息是模糊命题P’（相应的模糊集为AP’ ）的，则模糊推理的输出H’（相应的模糊集为AH ’）表示为
*
§模糊推理
举例：设UP=UH={1，2，3，4，5}，是关于长度的论域，论域中元素的量度单位是“米”。现有模糊规则为“XP短 XH长”，定义定性术语“短”和“长”模糊集AP和AH分别为（隶属程度为0的项省略）：
则 R(P;H) ， AP，AH可表示
为矩阵 。有
*
§模糊推理
若模糊推理的实际输入是模糊命题“xP略短”，其相应模糊集AP’定义为
则有
即
*
显然，这个推理结果不很合理，因为实际输入为"xP略短"和"xP短"时的推理结果似乎不应相同。主要原因在于模糊关系 只基于一条规则求出，当模糊规则增加时，即可以求得较为贴切的模糊关系和更合理的推理结果。
§模糊推理
设有m条形如PiHi的规则，相应于每条规则的模糊关系分别为R1 ， R2， …，Rm，则综合的模糊关系R定义为
在实际应用中，规则的前提常表示为若干模糊命题的合取，则
或者
*
§模糊推理
3.模糊判决
通过模糊推理得到的结果是一个模糊集合或者隶属函数，但在实际使用中，特别是在模糊逻辑控制中，必须用一个确定的值才能去控制伺服机构。在推理得到的模糊集合中取一个相对最能代表这个模糊集合的单值的过程就称为解模糊或 模糊判决（defuzzification）。
下面介绍各种模糊判决方法，并以“水温适中”为例，说明不同的计算过程。
这里假设“水温适中”的隶属函数为
μF(x)=（X：
+
*
理论上用重心法比较合理，但是计算比较复杂，因而在实时性要求较高的系统不采用这种方法。最简单的方法是最大隶属度方法，这种方法取所有的模糊集合或者隶属函数中隶属度最大的那个值作为输出，但是这种方法未考虑其他隶属度较小的值的影响，代表性不好，所以它往往用于比较简单的系统。介于这两者之间的还有几种平均法：如 加权平均法、隶属度限幅（a-cut）元素平均法等。
§模糊推理
(1).重心法
所谓重心法就是取模糊函数曲线与横坐标轴围成面积的重心作为代表点。理论上应该计算输出范围内一个连续点的重心，即
但实际上是计算输出范围内整个采样点（即若干离散值）的重心。这样，在不用 花费太多时间的情况下，用足够小的取样间隔来提供所需要的精度，这是一种最好的折衷方案。即
*
§模糊推理
u=（0×+10×+20×.033+30×+40×+50×+60×
+70×+80×+90×+100×）
/（++++++++++）
=48.
在隶属函数不对称的情况下，其输出的代表值 。如果模糊集合中没有，那么就选取最靠近的一个温度值500C输出。
(2).最大隶属度法
在推理结论的模糊集合中取隶属度最大的那个元素作为输出量。不过，要求这种情况下的隶属函数曲线一定是正规凸模糊集合（即其曲线只能是单峰曲线）。如果该曲线是梯形平顶，那么具有最大隶属度的元素就可能不只一个，这时就要对所有取最大隶属度的元素求其平均值。
例如，对于“水温适中”这种情况，按最大隶属度原则，有两个元素40和50具有最大隶属度 ，那就要对所有取最大隶属度的元素40和50求平均值，执行量应取.
*
§模糊推理
(3).系数加权平均法
系数加权平均法的输出执行量由下式决定：
式中，系数Ki的选择要根据实际情况而定，不同的系统决定了系统有不同的响应特性。当该系统选择ki=UN(xi)时，即取其隶属函数时，这就是重心法。在模糊逻辑控制中，可以通过选择和调整系统来改善系统的响应特性。因而这种方法具有一定的灵活性。
*
§模糊推理
(4).隶属度限幅元素平均法
用所确定的隶属度值 a隶属度函数曲线进行切割，再对切割后等于该隶属度的所有元素进行平均，用这个平均值作为输出执行量，这种方法就称为隶属度限幅元素平均法。
例如，当取a为最大隶属值时，表示“安全隶属”关系，这时a=。在“水温适中”的情况下，400C和500C的隶属度是非曲直求其平均值得到输出代表量：
u=（40+50）/2=45
这样，当“完全隶属”时，其代表量为450C。
如果当a=时，表示“大概隶属”关系，则切割隶属度函数曲线后，从300C到700C的隶属度值都包含在其中，所以求其平均值得到输出代表量：
u=（30+40+50+60+70）/5=50
这样，当“大概隶属”时，其代表量为500C。
*
§模糊控制
基于模糊逻辑的推理系统已发展为一个重要的学科领域，成功的实用系统也与日俱增。最成功的应用领域是对各种物理和化学特征，如温度、电子流、液流、机械运动等的模糊控制。在日本，模糊控制技术已得到广泛采用，尤为成功的是家用电器，照相机等消费产品。
*
§模糊控制
的系统构成与工作原理
(1)模糊推理系统的基本结构
由四个重要部件组成：知识库、推理机制、模糊化输入接口与去模糊化输出接口。
*
§模糊控制
知识库：包含模糊if-then规则库和数据库。规则库中的模糊规则定义和体现了与领域问题有关的专家经验或知识，而数据库则定义模糊规则中用到的隶属函数。模糊规则的形式一般为if A is a then B is b，其中A与B都是语言变量而a和b则是由隶属函数映射到的语言值。例如“if H 很适应 then 结构 很合理”这样一条模糊规则中，建筑高度“H”与“结构”都是语言变量，而“很适应”与“很合理”分别是它们的语言值，在数据库中都有相应的隶属函数加以定义。
推理机制：按照这些规则和所给的事实（例如针对某一拟定方案）执行推理过程，求得合理的输出或结论（例如方案的评价值）。
模糊输入接口：将明确的输入转换为对应隶属函数的模糊语言值。
去模糊输出接口：则将模糊的计算结果转换为明确的输出。
*
§模糊控制
2、FIS的建立步骤
分为三个步：
一是挑选能够反映系统工作机制的控制输入输出变量 ；
二是挑选这些变量的模糊子集；
三是用模糊规则建立输出集与输入集的关系。
3、模糊系统F将输入x映射到输出F(x)的步骤
一将输入x并联地匹配到所有“如果部分”的模糊集合，这一步依据输入x属于每一个“如果部分”集合A的程度来“激活”或“启动”模糊规则。
二叠加所有按比例收缩的“则部分”集合，生成最终的输出集合。
三去模糊化，系统计算出最终输出集的形心或重心作为输出F（x）。
*
§模糊控制
2、FIS的建立步骤
分为三个步：
一是挑选能够反映系统工作机制的控制输入输出变量 ；
二是挑选这些变量的模糊子集；
三是用模糊规则建立输出集与输入集的关系。
3、模糊系统F将输入x映射到输出F(x)的步骤
一将输入x并联地匹配到所有“如果部分”的模糊集合，这一步依据输入x属于每一个“如果部分”集合A的程度来“激活”或“启动”模糊规则。
二叠加所有按比例收缩的“则部分”集合，生成最终的输出集合。
三去模糊化，系统计算出最终输出集的形心或重心作为输出F（x）。
*
§模糊控制
4、具体实施技术
模糊控制实际上是周期性执行模糊化、模糊推理和反模糊化的过程，但周期性执行导致大量重复计算，效率低下。这可以通过引入查表法来改进。
将输入和输出物理量的值域划分为若干等级（例如 13），并归化到某一标准区域上（如[-6，6]，然后以二维模糊化表的方式定义隶属函数 。如：
*
§模糊控制
4、具体实施技术
模糊控制实际上是周期性执行模糊化、模糊推理和反模糊化的过程，但周期性执行导致大量重复计算，效率低下。这可以通过引入查表法来改进。
将输入和输出物理量的值域划分为若干等级（例如 13），并归化到某一标准区域上（如[-6，6]，然后以二维模糊化表的方式定义隶属函数 。如：
*
§ 遗传算法
遗传算法是源于达尔文生物进化理论的“自然选择”、“适者生存”法则而提出的一种搜索寻优算法。基本思想：将每个可能的问题解表示成“染色体”，从而得到一个由染色体组成的“群体”，这个群体被限制在问题特定的环境里，根据预定的目标函数对每个个体进行评价，给出了一个合适度值。开始时总是随即地产生一些个体，即侯选解，利用遗传算法对这些个体按”适者”有更多的机会生存的原则进行交叉组合产生后代，后代由于继承了父代的一些优良性状，因而明显优于上一代，这样“染色体”的群体将逐步朝着更优解的方向进化。
*
§ 遗传算法
遗传算法的基本步骤：
第1步 根据由问题确定的编码规则，随即产生初始群体；
第2步.计算群体中每个个体的适应度值；
第3步.如果解满足要求或遗传代数超过指定代数，则结束；否则继续执行第4步；
第4步.根据适应值进行选择复制产生新一代；
第5步.根据事先确定的交叉和变异概率选择部分个体进行交叉和变异，转第2步；
§ 遗传算法
遗传算法的基本过程：
begin
1. 选择适当表示，生成初始群体；
2. 评估群体；
3. While 未达到要求的目标 do
begin
1. 选择作为下一代群体的各个体；
2. 执行交换和突变操作；
3. 评估群体；
end
end
§ 遗传算法
对于一个SGA算法来说主要涉及以下内容：
·编码和初始群体生成；
·群体的评价；
·个体的选择；
·交换；
·突变；
§ 遗传算法
在讲解中会结合如下的货郎担问题(Travelling Salesman Problem，简记为TSP)：设有n个城市，城市i和城市j之间的距离为d(i，j) i, j=1,...,n．TSP问题是要找遍访每个域市恰好一次的一条回路，且其路径总长度为最短。
§ 遗传算法的基本机理
一.编码与解码
许多应用问题的结构很复杂，但可以化为简单的位串形式编码表示。
1.编码:将问题结构变换为位串形式编码表示的过程；
2.解码(或译码):而相反将位串形式编码表示变换为原问题结构的过程。
把位串形式编码表示叫染色体，有时也叫个体。
§ 遗传算法的基本机理
3.常用的编码方法：
⑴.二进制编码
假设某一参数的取值范围是[A,B],用长度为l的二进制串来表示该参数，将[A,B]等分成2l-1个子部分，记每一等分的长度为，则它能够产生2l个不同的编码，如下：
000……00=0 → A
000……01=1 → A + 其中
∶ ∶ ∶∶
111……11=2l-1 → B
假设某一个体的编码是：X:xlxl-1xl-2…x2x1
则二进制编码所对应的解码公式为
缺点:长度较大
B - A
= ————
2l - 1
B – A l
x=A + ———— .∑-1
2l – 1 i=1
§ 遗传算法的基本机理
3.常用的编码方法：
⑵.浮点数编码
个体的每个染色体用某一范围内的一个浮点数来表示,个体的编码长度等于其变量的个数。
对于一些多维、高精度要求的连续函数优化问题采用此法会有益
⑶.格雷码
连续的两个整数所对应的编码值之间只有一个码位是不相同的，其余码位都完全相同。
例如：十进制数7和8的格雷码分别为0100和1100。
§ 遗传算法的基本机理
3.常用的编码方法：
⑷.符号编码
指个体染色体编码串中的基因值取自一个无数值含义而只有代码含义的符号集。符号集可以是字母表，如：{A、B、C、D…}；数字序号表{1、2、3、4…}或代码表{x1、x2、x3…},等等。
举例：对于销售员旅行问题，按一条回路中城市的次序进行编码。从城市w1开始，依次经过城市w2 ，……，wn，最后回到城市w1，我们就有如下编码表示：
w1 w2 …… wn
由于是回路，记wn+1=w1。它其实是1，……，n的一个循环排列。要注意w1，w2，……，wn是互不相同的。
§ 遗传算法的基本机理
二.适应度函数
为了体现染色体的适应能力而引入的对问题中的每一个染色体都能进行度量的函数。通过适应度函数来决定染色体的优、劣程度，它体现了自然进化中的优利劣汰原则。
例如：
对优化问题，适应度函数就是目标函数。
TSP的目标是路径总长度为最短，路径总长度的倒数就可以为TSP的适应度函数：
适应度函数要有效反映每一个染色体与问题的最优解染色体之间的差距，一个染色体与问题的最优解染色体之间的差距小，则对应的适应度函数值之差就小，否则就大。适应度函数的取值大小与求解问题对象的意义有很大的关系。
§ 遗传算法的基本机理
三.遗传操作
简单遗传算法的遗传操作主要有三种:选择(selection)、交叉(crossover)、变异(mutation)。改进的遗传算法大量扩充了遗传操作，以达到更高的效率。
1.选择操作
也叫复制操作，对自然界“适者生存”的模拟。根据个体的适应度函数值所度量的优、劣程度决定它在下一代是被淘汰还是被遗传。
一般地说，选择将使适应度较大(优良)个体有较大的存在机会，而适应度较小（低劣）的个体继续存在的机会也较小。简单遗传算法采用赌轮选择机制，令Σfi表示群体的适应度值之总和，fi表示种群中第i个染色体的适应度值，它产生后代的能力正好为其适应度值所占份额fi／Σfi。
§ 遗传算法的基本机理
2.交叉
是GA中最主要的遗传操作，其工作于选择过程结束后产生的下一代群体。交叉操作应用于从这一群体中随机选择的一系列个体对（串对）。
SGA采用的是单点交换。设串长为L，交换操作将随机选择一个交换点（对应于从1到L-1的某个位置序号），紧接着两串交换点右边的子串互换，从而产生了两个新串。例如，设Ａ1，Ａ2为要交换的串，交换点被随机选择为7（串长为10）。
Ａ1＝1000011111
Ａ2＝1111111011
交换得新串Ａ1'，Ａ2'：
Ａ1'＝1000011011
Ａ2'＝1111111111
当然，并非所有选中的串对都会发生交换。这些串对发生交换的概率是Pc。Pc为事先指定的0－1之间的值，称为交换率。
*
让我们来讨论TSP的交叉操作作为较复杂的例子，举例如下：
以下标作为交叉位置的编号，设已选择了如下两个染色体：
w1 w2 …… wnz1 z2 …… zn随机产生一个1和n-1之间的数k，将此二染色体中前k个城市作交换，得到：
z1 z2 …… zk wk+1 wk+2 …… wn
w1 w2 …… wk zk+1 zk+2 …… zn 但这两个可能不是合法的染色体，因为可能有重复的数码，要进行如下的合法化处理：首先对z1 z2 …… zk wk+1 wk+2 …… wn进行改造。将z1 z2 …… zk 和wk+1 wk+2 …… wn中的数字进行比较，如果在wk+1 wk+2 …… wn中出现了z1 z2 …… zk的数字，就在wk+1 wk+2 …… wn中删除这些数字，剩下来的总数串就没有n个了，也就是说不是1，……，n的一个全排列，其中缺少的数字是w1 w2 …… wk中的某些数字，因此按w1 w2 …… wk的顺序将缺少的数字取出来补到z1 z2 …… zk wk+1 wk+2 …… wn的后面。如此繁杂的过程可以简化如下，首先将w1 w2 …… wk加到z1 z2 …… zk wk+1 wk+2 …… wn后面，得到：
z1 z2 …… zk wk+1 wk+2 …… wn w1 w2 …… wk 从这个数串的wk+1 wk+2 …… wn中wk+1 wk+2 …… wn已出现在z1 z2 …… zk中的数字，接着从w1 w2 …… wk部分中删除已出现在z1 z2 …… zk wk+1 wk+2 …… wn中的那些数字，得到的是一个合法的染色体。
同样对另一个不合法染色体进行类似合法化。
§ 遗传算法的基本机理
3.变异
一般在交换后进行。突变操作的对象是个体（即串），旨在改变串中的某些位的值，即由0变为1，或由1变为0。并非所有位都能发生变化，每一位发生变化的概率是Pm。Pm为事先指定的0－1之间的某个值，称为变异率。串中每一位的突变是独立的，即某一位是否发生突变并不影响其它位的变化。变异的作用是引进新的遗传物质或恢复已失去的遗传物质。例如，若群体的各串中每一位的值均为0，此时无论如何交换都不能产生有1的位，只有通过突变。
例如：10100110 对从右往左的第5位进行变异操作 10110110
*
现在对TSP的变异操作作简单介绍，随机产生一个1至n之间的数k，决定对回路中的第k个城市的代码wk作变异操作，又产生一个1至n之间的数w，替代wk，并将wk加到尾部，得到： w1 w2 …… wk-1 w wk+1 …… wn wk 你发现这个串有n+1个数码，注意数w其实在此串中出现重复了，必须删除与数w相重复的，得到合法的染色体。
§ 遗传算法的基本机理
四.控制参数
1.交叉概率和变异概率
并不是所有被选择了的染色体都要进行交叉操作和变异操作，而是以一定的概率进行，一般在程序设计中交叉发生的概率要比变异发生的概率选取得大若干个数量级，交叉概率取至之间的值；变异概率取至之间的值。
2.种群规模
指种群的染色体总数，它对算法的效率有明显的影响，规模太小不得于进化，而规模太大将导致程序运行时间长。对不同的问题可能有各自适合的种群规模，通常种群规模为30至100。
3.个体长度
有定长和变长两种。它对算法的性能也有影响。
*
§ 遗传算法的基本机理
举例：
来说明遗传算法的一个进化循环。设每一串的长度为10，共有4个串组成第一代群体（POP1），目标函数（适应函数）为各位值之和
§ 遗传算法的求解步骤
一.遗传算法的特点
遗传算法是一种基于空间搜索的算法，它通过自然选择、遗传、变异等操作以及达尔文适者生存的理论，模拟自然进化过程来寻找所求问题的解答。遗传算法具有以下特点：
1. 遗传算法是对参数集合的编码而非针对参数本身进行进化；
2. 遗传算法是从问题解的编码组开始而非从单个解开始搜索；
3. 遗传算法利用目标函数的适应度这一信息而非利用导数或其它辅助信息来指导搜索；
4. 遗传算法利用选择、交叉、变异等算子而不是利用确定性规则进行随机操作。
§ 遗传算法的求解步骤
最主要的特点体现在下述两个方面:
.智能性
进化算法的智能性包括自组织、自适应和自学习等。应用进化算法求解问题时,在确定了编码方案、适应值函数和遗传算子以后，算法将利用进化过程中获得的信息自行组织搜索。进化算法的这种智能性特征同时赋予了它具有根据环境的变化自动发现环境的特性和规律的能力。
.本质并行性
进化算法的本质并行性表现在两个方面:一是进化算法是内在并行的，即进化算法本身非常适合大规模并性。二是进化算法的内含并行性，由于进化算法采用种群的方式组织搜索，因而它可以搜索解空间内的多个区域，并相互交流信息。
§ 遗传算法的求解步骤
二.遗传算法的框图
简单遗传算法框图如图所示。
(1) 初始化群体;
(2) 计算群体上每个个体的适应度值;
(3) 按由个体适应度值所决定的某个规则选择将进入下一代的个体;
(4) 按概率Pc进行交叉操作;
(5) 按概率Pc进行突变操作;
(6) 没有满足某种停止条件，则转第(2)步，否则进入(7)。
(7) 输出种群中适应度值最优的染色体作为问题的满意解或最优解。
算法的停止条件最简单的有如下二种：（1）完成了预先给定的进化代数则停止；（2）群体中的最优个体在连续若干代没有改进或平均适应度在连续若干代基本没有改进时停止。
§ 遗传算法的求解步骤
一般遗传算法的主要步骤如下：
(1) 随机产生一个由确定长度的特征字符串组成的初始群体。
(2) 对该字符串群体迭代的执行下面的步(a)和(b)，直到满足停止标准：
(a) 计算群体中每个个体字符串的适应值；
(b) 应用复制、交叉和变异等遗传算子产生下一代群体。
(3) 把在后代中出现的最好的个体字符串指定为遗传算法的执行结果，这个结果可以表示问题的一个解。
§ 遗传算法的求解步骤
三.遗传算法求解举例
用遗传算法求解函数
f(x)=(10.x)+
的最大值，其中x[-1,2]。
首先用高等数学的方法求解，
先求导数，令其为0，…
最后求得 x≈ f(x)≈
§ 遗传算法的求解步骤
1.方案表示
用二进制矢量表示一个染色体。
假设精度取小数点后6位数。[-1，2]将被均匀地分为3×1000000个等长的区间。因为 2097152=221＜3000000≤222=4194304，每个染色体由22位字节的二进制矢量表示。
二进制串<b21b20…b0>和区间[-1，2]中的x之间的映射关系为
⑴将二进制串<b21b20…b0>转化为相应的十进制：
21
(<b21b20…b0>)2=(∑)10=x’
i=0
⑵找到相应的实数x:
x= + x’.3/(222-1)
例如：二进数(1000101110110101000111)
x’=(1000101110110101000111)2=2288967
x=-1+
§ 遗传算法的求解步骤
2.种群初始化
随机产生一定数量的染色体，每个染色体为22位字节的二进制数即可。
3.适应度函数
由于目标本身为求函数最优，适应度函数取目标函数即可。
eval(v)=f(x) v代表染色体
例如：v=(1000100000110101000111) 对应x=
eval(v)=f(x)=
4.遗传操作
包括复制、交叉和变异。同上面介绍。
6.算法参数
种群规模pop-size=50，交叉概率pc=，变异概率pm=。
§ 遗传算法的求解步骤
结果表明：
随着代数的增加，适应值也不断增加，直到第150代，最佳染色体为vmax=(1111001101000100000101),它对应xmax=, f(xmax)=
遗传算法计算结果
代数 适应度函数值 代数 适应度函数值
12 39
40
51
99
137
150
*
作为动态系统辨识、建模和控制的一种新的、令人感兴趣的工具，人工神经网络在过去十多年中得到大力研究并取得重要进展。神经计算是以神经网络为基础的计算。
*
联想记忆功能
由于神经网络具有分布存储信息和并行计算的性能，因此它具有对外界刺激信息和输入模式进行联想记忆的能力。联想记忆有两种基本形式：自联想记忆与异联想记忆。
自联想记忆 网络中预先存储（记忆)多种模式信息，当输入某个已存储模式的部分信息或带有噪省干扰的信息时，网络能通过动态联想过程回忆起该模式的全部信息。
异联想记忆 网络中预先存储了多个模式对，每一对模式均由两部分组成，当输入某个模式对的一部分时，即使输入信息是残缺的或迭加了噪声的，网络也能回忆起与其对应的另一部分。
神经网络通过预先存储信息和学习机制进行自适应训练，可以从不完整的信息和噪声干扰中恢复原始的完整信息，这一能力使其在图象复原、图像和语音处理、模式识别、分类等方面具有巨大的潜在应用价值。
*
非线性映射功能
在客观世界中，许多系统的输入与输出之间存在复杂的非线性关系，对于这类系统，往往很难用传统的数理方法建立其数学模型。设计合理的神经网络通过对系统输入输出样本对进行自动学习，能够以任意精度逼近任意复杂的非线性映射。神经网络的这一优良性能使其可以作为多维非线性函数的通用数学模型。该模型的表达是非解析的，输入输出数据之间的映射规则由神经网络在学习阶段自动抽取并分布式存储在网络的所有连接中。具有非线性映射功能的神经网络应用十分广阔，几乎涉及所有领域。
*
分类与识别功能
神经网络对外界输入样本具有很强的识别与分类能力。对输入样本的分类实际上是在样本空间找出符合分类要求的分割区域，每个区域内的样本属于一类。传统分类方法只适合解决同类相聚，异类分离的的识别与分类问题。但客观世界中许多事物（例如，不同的图象、声音、文字等等）在样本空间上的区域分割曲面是十分复杂的，相近的样本可能属于不同的类，而远离的样本可能同属一类。神经网络可以很好地解决对非线性曲面的逼近，因此比传统的分类器具有更好的分类与识别能力。
*
优化计算功能
优化计算是指在已知的约束条件下，寻找一组参数组合，使由该组合确定的目标函数达到最小值。某些类型的神经网络可以把待求解问题的可变参数设计为网络的状态，将目标函数设计为网络的能量函数。神经网络经过动态演变过程达到稳定状态时对应的能量函数最小，从而其稳定状态就是问题的最优解。这种优化计算不需要对目标函数求导，其结果是网络自动给出的。
*
知识处理功能
知识是人们从客观世界的大量信息以及自身的实践中总结归纳出来的经验、规则和判据。神经网络获得知识的途径与人类似，也是从对象的输入输出信息中抽取规律而获得关于对象的知识，并将知识分布在网络的连接中予以存储。神经网络的知识抽取能力使其能够在没有任何先验知识的情况下自动从输入数据中提取特征，发现规律，并通过自组织过程将自身构建成适合于表达所发现的规律。另一方面，人的先验知识可以大大提高神经网络的知识处理能力，两者相结合会使神经网络智能得到进一步提升。
*
从生物控制论的观点，神经元作为控制和信息处理的基本单元，具有下列一些重要的功能与特性：
时空整合功能：神经元对于不同时间通过同一突触传入的神经冲动，具有时间整合功能。对于同一时间通过不同突触传入的神经冲动，具有空间整合功能。两种功能相互结合，具有时空整合的输入信息处理功能；
兴奋与抑制状态：即兴奋（细胞膜电位升高）和抑制（细胞膜电位降低）。
脉冲与电位转换：突触界面具有脉冲/电位信号转换功能。神经纤维传导速度：神经冲动沿神经纤维传导的速度在1-150m/s之间。
突触延时和不应期：突触对神经冲动的传递具有时延和不应期，在相邻的二次冲动之间需要一个时间间隔，即为不应期。<BR> 随着脑科学和生物控制论研究的进展，人们对神经元的结构和功能有了进一步的了解，神经元并不是一简单的双稳态逻辑元件，而是超级的微型生物信息处理机/或控制机。
*
*
*
*
*
误差反向传播神经网络则具有很强的学习能力，可以实现非线性
可分输入样本的分类。
*
误差反向传播神经网络则具有很强的学习能力，可以实现非线性
可分输入样本的分类。
*
误差反向传播神经网络则具有很强的学习能力，可以实现非线性
可分输入样本的分类。
*
*
*
另一种是灌输式学习 或死记式学习
在生物神经网络中，存在着一种侧抑制现象，即当一个神经细胞兴奋后，会对其周围
的其它神经细胞产生抑制作用。这种抑制使神经细胞之间出现竞争，“强者”超“强”，“弱”
者越“弱”，最终形成一个强兴奋的中心细胞，而在其周围的神经细胞都处于抑制状态。此
外，在学习过程中，还存在着一种无需教师指导的学习。例如刚出生的婴儿，在外界环境
的声音信号刺激下，会自然地发出声音，这种“无师自遏”的现象就是自组织、自学习的方
式。利用这种竞争性的无导师学习策略，学习时只需输入训练模式，网络就会对输入模式
进行自组织，达到识别和分类的目的。具有这种性质的网络有自组织特征映射SOM(self Organization feature Map)、对传神经网络CPM(Counter Propagation Network)、自适应共振模型
ART(Adaptive Resonance Theory)和认知机模型(neoconitron)等。
*
前向网络：感知器、 BP网、自适应线性元件、交替投影神经网
在生物神经网络中，存在着一种侧抑制现象，即当一个神经细胞兴奋后，会对其周围
的其它神经细胞产生抑制作用。这种抑制使神经细胞之间出现竞争，“强者”超“强”，“弱”
者越“弱”，最终形成一个强兴奋的中心细胞，而在其周围的神经细胞都处于抑制状态。此
外，在学习过程中，还存在着一种无需教师指导的学习。例如刚出生的婴儿，在外界环境
的声音信号刺激下，会自然地发出声音，这种“无师自遏”的现象就是自组织、自学习的方
式。利用这种竞争性的无导师学习策略，学习时只需输入训练模式，网络就会对输入模式
进行自组织，达到识别和分类的目的。具有这种性质的网络有自组织特征映射SOM(self Organization feature Map)、对传神经网络CPM(Counter Propagation Network)、自适应共振模型
ART(Adaptive Resonance Theory)和认知机模型(neoconitron)等。
在生物神经网络中，存在着一种侧抑制现象，即当一个神经细胞兴奋后，会对其周围
的其它神经细胞产生抑制作用。这种抑制使神经细胞之间出现竞争，“强者”超“强”，“弱”
者越“弱”，最终形成一个强兴奋的中心细胞，而在其周围的神经细胞都处于抑制状态。此
外，在学习过程中，还存在着一种无需教师指导的学习。例如刚出生的婴儿，在外界环境
的声音信号刺激下，会自然地发出声音，这种“无师自遏”的现象就是自组织、自学习的方
式。利用这种竞争性的无导师学习策略，学习时只需输入训练模式，网络就会对输入模式
进行自组织，达到识别和分类的目的。具有这种性质的网络有自组织特征映射SOM(self Organization feature Map)、对传神经网络CPM(Counter Propagation Network)、自适应共振模型
ART(Adaptive Resonance Theory)和认知机模型(neoconitron)等。
自组织特征映射soM是由芬兰的KDh皿en教授于1981年提出的一种神经网络模型
它的原理是基于生物神经细胞的如下二种功能c
1．实际的神经细胞中有一种特征敏感细胞，在外界信号的刺激下，通过自学习形成
对某一种特征特别敏感的神经元。
2．生物神经细胞在外界的刺激下．会自动聚集而形成一种功能拄，一个功能栓的细胞完成同一种功能.
*
与BP 神经网络不同的是，CPN 是一个异构网，2 层神经网络执行不同的训练算法，网络的异构性更接近于对人脑功能的模拟。对传神经网络第1 层执行Kohonen 提出的自组织映射(Self-organization map，简称为SOM)算法，被称为Kohonen 层。该层执行无导师学习，以“强者占先，弱者退出”方式工作，网络按照SOM 学习规则产生竞争层的获胜神经元，并按这一规则调整相应的Kohonen 层的连接权值W。第2 层为输出层，执行Grossberg 提出的散射星(Outstar)算法，被称为Grossberg 层。Grossberg 层执行有导师训练，按照基本竞争型网络学习规则，得到各输出神经元的实际输出，并按照有导师型的误差校正方法，修正Grossberg 层的连接权值V，以实现类的表示功能。
CPN 将Kohonen 特征映射网络与Grossberg 基本竞争型网络相结合，充分发挥了它们各自的特长：无导师训练解决网络隐含层的理想输出未知问题，有导师训练解决输出层按系统要求给出指定输出结果的问题。经。经过反复学习，CPN 可以将任意输入模式映射为输出模式.
针对聚类问题的神经网络方法中,最早由A. Carpenter和S. Grossberg(1976)提出的自适应共振(ART)模型是其中应
用较多的一种。ART(Adap tive Resonance Theory)是一种自组织神经网络结构,是无教师的学习网络。当神经网络和环境
有交互作用时,对环境信息的编码会自发地在神经网中产生,即认为神经网络在进行自组织活动。ART就是这样一种能自
组织地产生对环境认识编码的神经网络理论模型。由于横向抑制是自组织网络的特性,ART采用了MAXNET子网结构,
该网络采用横向抑制的方法增强并能选择节点中具有最大输出的一个。
ART模型的算法过程如下:
第一,将一个新样本X置入节点
第二,采取自下而上的过程,求得: yj = Σi bjiXi
第三,运用MAXNET网络,找到具有最大值输出的节点
第四,通过自上而下的检验,判断X是否属于第j类,即如果有
ΣipjiXi
ΣiXi
>ρ
则X属于第j类,ρ是警戒参数。如果上式不成立,转到第六步,否则继续
第五,对于特定的j和所有的i更新bji和pji ,设t + 1时刻pji ( t + 1) = pji ( t) Xi , Pji (0) = 1
bji ( t + 1) =
pji ( t) Xi
0. 5 + ΣN
i = 1pji ( t) Xi
, bji (0) =
1
N + 1
第六,无法判断X是否属于第j类,抑制该节点返回到第二步,执行另一个聚类的处理过程
bji和pji在网络里的作用不同,当聚类结束后, bji = { bj1 , bj2 , bj3 , ⋯, bjN }更象是第j类的类中心。为了保证新的样本X
确实属于第j类,必须进行一次检验,即自上而下加权求和ΣipjiXi ,并将其与ρ比较。参数ρ设置的越大,类内模式的近似
度就越高,因而就会出现较多的类,反之亦然。
由上述算法说明可以看出,ART模型的分类方法与基于距离的分类的聚类算法是同一类型。它与传统方法的不同之
处仅在于分类准则是通过MAXNET网实现的,且分类结果可以通过网络反馈环节得到检验。
*
与BP 神经网络不同的是，CPN 是一个异构网，2 层神经网络执行不同的训练算法，网络的异构性更接近于对人脑功能的模拟。对传神经网络第1 层执行Kohonen 提出的自组织映射(Self-organization map，简称为SOM)算法，被称为Kohonen 层。该层执行无导师学习，以“强者占先，弱者退出”方式工作，网络按照SOM 学习规则产生竞争层的获胜神经元，并按这一规则调整相应的Kohonen 层的连接权值W。第2 层为输出层，执行Grossberg 提出的散射星(Outstar)算法，被称为Grossberg 层。Grossberg 层执行有导师训练，按照基本竞争型网络学习规则，得到各输出神经元的实际输出，并按照有导师型的误差校正方法，修正Grossberg 层的连接权值V，以实现类的表示功能。
CPN 将Kohonen 特征映射网络与Grossberg 基本竞争型网络相结合，充分发挥了它们各自的特长：无导师训练解决网络隐含层的理想输出未知问题，有导师训练解决输出层按系统要求给出指定输出结果的问题。经。经过反复学习，CPN 可以将任意输入模式映射为输出模式.
针对聚类问题的神经网络方法中,最早由A. Carpenter和S. Grossberg(1976)提出的自适应共振(ART)模型是其中应
用较多的一种。ART(Adap tive Resonance Theory)是一种自组织神经网络结构,是无教师的学习网络。当神经网络和环境
有交互作用时,对环境信息的编码会自发地在神经网中产生,即认为神经网络在进行自组织活动。ART就是这样一种能自
组织地产生对环境认识编码的神经网络理论模型。由于横向抑制是自组织网络的特性,ART采用了MAXNET子网结构,
该网络采用横向抑制的方法增强并能选择节点中具有最大输出的一个。
ART模型的算法过程如下:
第一,将一个新样本X置入节点
第二,采取自下而上的过程,求得: yj = Σi bjiXi
第三,运用MAXNET网络,找到具有最大值输出的节点
第四,通过自上而下的检验,判断X是否属于第j类,即如果有
ΣipjiXi
ΣiXi
>ρ
则X属于第j类,ρ是警戒参数。如果上式不成立,转到第六步,否则继续
第五,对于特定的j和所有的i更新bji和pji ,设t + 1时刻pji ( t + 1) = pji ( t) Xi , Pji (0) = 1
bji ( t + 1) =
pji ( t) Xi
0. 5 + ΣN
i = 1pji ( t) Xi
, bji (0) =
1
N + 1
第六,无法判断X是否属于第j类,抑制该节点返回到第二步,执行另一个聚类的处理过程
bji和pji在网络里的作用不同,当聚类结束后, bji = { bj1 , bj2 , bj3 , ⋯, bjN }更象是第j类的类中心。为了保证新的样本X
确实属于第j类,必须进行一次检验,即自上而下加权求和ΣipjiXi ,并将其与ρ比较。参数ρ设置的越大,类内模式的近似
度就越高,因而就会出现较多的类,反之亦然。
由上述算法说明可以看出,ART模型的分类方法与基于距离的分类的聚类算法是同一类型。它与传统方法的不同之
处仅在于分类准则是通过MAXNET网实现的,且分类结果可以通过网络反馈环节得到检验。
*
联想(A5xc2a6m)是指空间和时间上相接近的、或性质上相似相反的以及存在因果关系的事物在大脑中的一种联想关系。而这里所谓的联想记忆(A眺办li僧M90v)是指神经网络经过学习，存贮并记忆了确定的输入模式后，在输入带有噪声或无噪声的不完整模式时，网络仍能通过计算给出与输入模式最接近的完整模式。
Hopfield神经网络模型是由美国加州工学院物理学教授Hopfield于1982年提出的一种相互全连接的反馈型神经网络。由于在网络中成功地引入了“能量函数”的概念，给出了网络的稳定性判据，所以可以用它来实现A／D转换和解决优化组合计算等问题。所有这些有意义的成果有力地推动了神经网络的研究热潮，开拓了神经网络在信息处理和优化计其中的新用途。
Hopfield神经网络是一种确定性的神经网络模型，它的能量函数存在局部极小值，这在实现联想记亿时是十分必要的条件，但是在解决诸如组合优化计算以及其它需要全局极小值作为问题的稳态解时，它就无法保证一定能得到全局最优解了。
为了解决局部圾小值问题，Hinton
等人在1985年提出了一种随机二值神经网络模型，称为波尔兹曼机BM。在该模型中，引入了一个温度变量，且二值神经元的点火是概率型的，再加上应用了模拟退火算法，使该网络的能量函数能够摆脱局部极小值的束缚，最终到达期望的全局最小状态。
*
*
*
*
*
*
*
*
*
*
由扎德（Zadeh）于1983年提出的模糊逻辑（Fuzzy Logic）建立在模糊集理论德基础上，是一种处理不精确描述的软计算。与不确定推理处理随机事件发生的可能性相对照，模糊逻辑面向事物特性和能力的不精确描述。模糊逻辑的核心概念是 语言变量。
例如，当将人的年龄作为一个语言变量时，其可有三个以术语表示的定性值：轻、中、老。每个值均由称为 隶属的一个函数加以定义。尽管年龄作为数值变量时其变量值更简单（如“年龄”等于25），但其值域有许多值（如1－100）。所以语言变量是一种形式的数据压缩（年龄只有三个定性值）。但这种压缩不同于定性物理中的量（值间隔）概念，因为语言变量的定性值是一种模糊值间隔，相互重叠，不存在用于分割连续值域的界标。
模糊计算就是以模糊逻辑为基础的计算
*
*
一个论域U中的元素x可以按其属性划分为子集。例如具有属性a的元素构成子集A，表示为
A = {x/a(x)}
传统的集合论中，元素x与子集A的关系只可能有两种：x∈A（a(x)＝1）或 xA （a(x)＝1） ，视x是否有属性a而定。所以，a(x）也称为特征函数。然而，真实世界中的许多事物和概念却不能这样简单地描述。例如，上述年龄"轻"这个概念就找不到一个年龄数值作为年轻和中年的分界线。通常，30岁以下的人认为是年轻的，但30-40岁之间的人属年轻或中年就是很模糊的，且因人的观念和场合而异。
为表示类似这样的一些模糊概念，扎德于1965年提出 模糊集合理论，其基本思想就是把传统集合论中由特征函数决定的绝对隶属关系模糊化，使元素x对子集A的隶属程度不再局限于取0或1，而是可以取［0，1」上的任何值，以指示元素X隶属于子集A的模糊程度。
*
一个论域U中的元素x可以按其属性划分为子集。例如具有属性a的元素构成子集A，表示为
A = {x/a(x)}
传统的集合论中，元素x与子集A的关系只可能有两种：x∈A（a(x)＝1）或 xA （a(x)＝1） ，视x是否有属性a而定。所以，a(x）也称为特征函数。然而，真实世界中的许多事物和概念却不能这样简单地描述。例如，上述年龄"轻"这个概念就找不到一个年龄数值作为年轻和中年的分界线。通常，30岁以下的人认为是年轻的，但30-40岁之间的人属年轻或中年就是很模糊的，且因人的观念和场合而异。
为表示类似这样的一些模糊概念，扎德于1965年提出 模糊集合理论，其基本思想就是把传统集合论中由特征函数决定的绝对隶属关系模糊化，使元素x对子集A的隶属程度不再局限于取0或1，而是可以取［0，1」上的任何值，以指示元素X隶属于子集A的模糊程度。
*
*
*
*
*
*
让模糊命题的析取和合取隐含max和min，在一定程度上反映了客观规律，但这种平等看待各模糊命题的观念有时仍不符合实际。在真实世界中，影响问题求解的因素往往具有不相同的相对重要性。例如一个模糊控制器的输入变量是与标准温度的温差θ和温度变化速率dθ，输出为恒温加热器液体燃料流量的修正量y（图）；为保持恒温，若控制温差比控制温度变化率更有效，就应加强温差对流量修正的影响。这可以通过引入加权模糊逻辑来解决。
*
*
*
*
*
*
*
在模糊推理中，尚未建立一致的理论去指导模糊关系的构造。这意味着存在着多种构造模糊关系的方法，相关的模糊合成运算方法也不同，从而形成了多种风格的模糊推理方法。不过，基于max-min原则的算法占居了目前模糊推理方法的主流。尽管这些算法不能说是最优的，但易于实现并能有效地解决实际问题，因此它们已广泛地应用于模糊推理。
*
*
*
显然，这个推理结果不很合理，因为实际输入为"xP略短"和"xP短"时的推理结果似乎不应相同。主要原因在于模糊关系 只基于一条规则求出，当模糊规则增加时，即可以求得较为贴切的模糊关系和更合理的推理结果。
*
*
理论上用重心法比较合理，但是计算比较复杂，因而在实时性要求较高的系统不采用这种方法。最简单的方法是最大隶属度方法，这种方法取所有的模糊集合或者隶属函数中隶属度最大的那个值作为输出，但是这种方法未考虑其他隶属度较小的值的影响，代表性不好，所以它往往用于比较简单的系统。介于这两者之间的还有几种平均法：如 加权平均法、隶属度限幅（a-cut）元素平均法等。
*
*
*
*
*
*
*
*
*
*
*
*
*
让我们来讨论TSP的交叉操作作为较复杂的例子，举例如下：
以下标作为交叉位置的编号，设已选择了如下两个染色体：
w1 w2 …… wnz1 z2 …… zn随机产生一个1和n-1之间的数k，将此二染色体中前k个城市作交换，得到：
z1 z2 …… zk wk+1 wk+2 …… wn
w1 w2 …… wk zk+1 zk+2 …… zn 但这两个可能不是合法的染色体，因为可能有重复的数码，要进行如下的合法化处理：首先对z1 z2 …… zk wk+1 wk+2 …… wn进行改造。将z1 z2 …… zk 和wk+1 wk+2 …… wn中的数字进行比较，如果在wk+1 wk+2 …… wn中出现了z1 z2 …… zk的数字，就在wk+1 wk+2 …… wn中删除这些数字，剩下来的总数串就没有n个了，也就是说不是1，……，n的一个全排列，其中缺少的数字是w1 w2 …… wk中的某些数字，因此按w1 w2 …… wk的顺序将缺少的数字取出来补到z1 z2 …… zk wk+1 wk+2 …… wn的后面。如此繁杂的过程可以简化如下，首先将w1 w2 …… wk加到z1 z2 …… zk wk+1 wk+2 …… wn后面，得到：
z1 z2 …… zk wk+1 wk+2 …… wn w1 w2 …… wk 从这个数串的wk+1 wk+2 …… wn中wk+1 wk+2 …… wn已出现在z1 z2 …… zk中的数字，接着从w1 w2 …… wk部分中删除已出现在z1 z2 …… zk wk+1 wk+2 …… wn中的那些数字，得到的是一个合法的染色体。
同样对另一个不合法染色体进行类似合法化。
*
现在对TSP的变异操作作简单介绍，随机产生一个1至n之间的数k，决定对回路中的第k个城市的代码wk作变异操作，又产生一个1至n之间的数w，替代wk，并将wk加到尾部，得到： w1 w2 …… wk-1 w wk+1 …… wn wk 你发现这个串有n+1个数码，注意数w其实在此串中出现重复了，必须删除与数w相重复的，得到合法的染色体。
*
