模块（组合）网络
1） 产生的背景
a) 更好的映射非线性函数
b) 模拟人类神经系统,分工
合作
c) 在控制中,克服“时间交叉”
(Temporal Crosstalk) 现象。
模块网络的结构（见图）
学习方法
输出线性和方法：
竞争学习方法：
—— 各专家网络有强的耦合
—— 强者为胜，一个网络参加学习。
进一步改进算法
比较
（1）
（2）
式（1）表示最合适的专家网络以最慢的速度下降
式（2）表示最合适的专家网络以最快的速度下降
加权项
如何确定门控网络输出gi？
—— 给组合网络以概率解释。
训练样本x为p维，
目标输出，即期望输出，为d ，q维，
第i个专家网络的输出 yi ，为q维，
门控网络的第i个输出为gi ，
整个组合网络的输出向量为：
K 为专家网络 的个数
训练的方法
对{x，d}训练样本的概率进行建模
1）随机从先验分布中选取输入向量x
2）以分布P(i/x）选择一个专家网络;
3) 期望d由所选择的规则确定,回归产生:
d =Fi(x) + I I的协方差为i
i = 1,2,…,k
对给定的x,第i个专家最匹配期望输出d 的条件概率分布:
总的输出,由k个多元高斯分布的线性组合:
此式为联想高斯混合模型
为门控网络第i个输出神经元的激励
每个专家网络yi 可以看成多元高斯分布的条件平均：
门控网络（虚线部分为Softmax函数）
或
这里把F（x）看成线性函数
