近年来全球性的神经网络研究热潮的再度兴起，不仅仅是因为神经科学本身取得了巨大的进展．更主要的原因在于发展新型计算机和人工智能新途径的迫切需要．迄今为止在需要人工智能解决的许多问题中，人脑远比计算机聪明的多，要开创具有智能的新一代计算机，就必须了解人脑，研究人脑神经网络系统信息处理的机制．另一方面，基于神经科学研究成果基础上发展出来的人工神经网络模型，反映了人脑功能的若干基本特性，开拓了神经网络用于计算机的新途径．它对传统的计算机结构和人工智能是一个有力的挑战，引起了各方面专家的极大关注．
目前，已发展了几十种神经网络，例如Hopficld 模型，Feldmann 等的连接型网络模型，Hinton 等的玻尔茨曼机模型，以及Rumelhart 等的多层感知机模型和Kohonen 的自组织网络模型等等。在这众多神经网络模型中，应用最广泛的是多层感知机神经网络。多层感知机神经网络的研究始于50年代，但一直进展不大。直到1985年，Rumelhart 等人提出了误差反向传递学习算法（即BP 算法），实现了Minsky 的多层网络设想，如图所示。 BP 算法不仅有输入层节点、输出层节点，还可有1个或多个隐含层节点。对于输入信号，要先向前传播到隐含层节点，经作用函数后，再把隐节点的输出信号传播到输出节点，最后给出输出结果。节点的作用的激励函数通常选取S 型函数，如 Q
x e x f /11)(-+=
式中Q 为调整激励函数形式的Sigmoid 参数。该算法的学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层。每一层神经元的状态只影响下一
南京农业大学学报层神经元的状态。如果输出层得不到期望的输出，则转入反向传播，将误差信号沿原来的连接通道返回，通过修改各层神经元的权值，使得误差信号最小。
社含有n 个节点的任意网络，各节点之特性为Sigmoid 型。为简便起见，指定网络只有一个输出y ，任一节点i 的输出为O i ，并设有N 个样本(x k ,y k )(k =1,2,3,…,N )，对某一输入x k ，网络输出为y k 节点i 的输出为O ik ，节点j 的输入为
I jk =
∑i
ik
ij O
巨无霸人体艺术
W
并将误差函数定义为
其中
为网络实际输出，定义E k =(y k -ŷk )2
,
，且O jk =f (I jk )，于是
=δjk O ik
当j 为输出节点时，O jk =ŷk
若j 不是输出节点，则有
因此
如果有M 层，而第M 层仅含输出节点，第一层为输入节点，则BP 算法为： 第一步，选取初始权值W 。
第二步，重复下述过程直至收敛：
a. 对于k =1到N
a ). 计算O ik , I jk 和ŷk 的值(正向过程)；
b ). 对各层从M 到2反向计算(反向过程)； b. 对同一节点j ∈M ，计算δjk ;
∑ = - = N k k k y y E 1工业反哺农业
2
) ( 2 1 ^
k
y ^
) I ( ) ( I jk k k jk
k k
k jk f y y y y E ' - - = ∂ ∂ ∂ ∂ = ^ ^ ^ δ ∑ ∑ ∑ ∑ ∑ ∑ = ∂ ∂ = ∂ ∂ ∂ ∂ = ∂ ∂ ∂ ∂ = ∂ ∂ ' ∂ ∂ = ∂ ∂ ∂ ∂ = ∂ ∂ = m i
亚硝酸盐氮m mj mk mj mk k m i ik mi jk mk
k m
滚子链联轴器jk mk
mk k
jk k jk jk k jk jk jk k jk k jk W W E
O
W O E O E O E f O
E O O E E δ δ I I I I )
I ( I I ⎪ ⎩ ⎪ ⎨ ⎧ = ∂ ∂ ' = ∑ ik mk ij
k m mj
mk jk jk O W E W f δ
δ δ ) I (
jk
k jk
E I ∂ ∂ =
δ ik jk
k ij jk jk k ij k O E W E W E I I I ∂ ∂ = ∂ ∂ ∂ ∂ = ∂ ∂
第三步，修正权值，W ij =W ij -μij W E ∂∂, μ>0, 其中∑∂∂=∂∂N
k ij k
ij
W E W E
。 从上述BP 算法可以看出，BP 模型把一组样本的I/O 问题变为一个非线性优化问题，
它使用的是优化中最普通的梯度下降法。如果把神经网络的看成输入到输出的映射，则这个映射是一个高度非线性映射。
设计一个神经网络专家系统重点在于模型的构成和学习算法的选择。一般来说，结构是根据所研究领域及要解决的问题确定的。通过对所研究问题的大量历史资料数据的分析及目前的神经网络理论发展水平，建立合适的模型，并针对所选的模型采用相应的学习算法，在网络学习过程中，不断地调整网络参数，直到输出结果满足要求。
网络参数确定原则：
①、网络节点 网络输入层神经元节点数就是系统的特征因子(自变量)个数，输出层神经元节点数就是系统目标个数。隐层节点选按经验选取，一般设为输入层节点数的75%。如果输入层有7个节点，输出层1个节点，那么隐含层可暂设为5个节点，即构成一个7-5-1 BP 神经网络模型。在系统训练时，实际还要对不同的隐层节点数4、5、6个分别进行比较，最后确定出最合理的网络结构。
②、初始权值的确定 初始权值是不应完全相等的一组值。已经证明，即便确定存在一组互不相等的使系统误差更小的权值，如果所设W ji 的的初始值彼此相等，它们将在学习过程中始终保持相等。故而，产生一组一0.5~+0.5的随机数，作为网络的初始权值。
③、最小训练速率 在经典的BP 算法中，训练速率是由经验确定，训练速率越大，权重变化越大，收敛越快；但训练速率过大，会引起系统的振荡，因此，训练速率在不导致振荡前提下，越大越好。用户可规定一个最小训练速率。该值一般取0.9。
④、动态参数 动态系数的选择也是经验性的，一般取0.6 ~0.8。
⑤、允许误差 一般取0.001~0.00001，当2次迭代结果的误差小于该值时，系统结束迭代计算，给出结果。
⑥、迭代次数 一般取1000次。由于神经网络计算并不能保证在各种参数配置下迭代结果收敛，当迭代结果不收敛时，允许最大的迭代次数。
⑦、Sigmoid 参数 该参数调整神经元激励函数形式，一般取0.9~1.0之间。
⑧、数据转换。允许对输入层各个节点的数据进行转换，提供转换的方法有取对数、平方根转换和数据标准化转换。
ＢＰ算法
由于一个三层ＢＰ网络可以实现任意精确近似任何连续的非线性函数 ，因此ＢＰ网络的应用非常广泛。设有ｍ层神经网络 ，其第ｋ层第ｉ个神经元输入总和为ｎｅｔｋｉ，输出Ｏｍｉ ，由第ｋ -1层的第ｊ个神经元到第ｋ层的第ｉ个神经元的结合权值为Ｗｉｊ，取第 ｐ (ｐ =1 ,2 ,…… ,ｎ)组输入样本 ，则神经元的输出为： Ｏim =ｆ(netik)
neti ｋ=∑j Ｗij Ｖik-1
ｆ (·)为神经元激活函数 ，取Ｓｉｇｍｏｉｄ函数ｆ(ｘ) =1/(1 +ｅ-x) 定义误差函数Ｅ为期望输出ｔj 与实际第ｍ层输出Ｏi ｍ之差的平方和 Ｅ =0.5∑j(Ｏjm -ｔj) 2
ＢＰ算法实际上是有指导的学习 ，学习的实质是求误差函数的极小值 ，利用非线性规划中的最快下降法 , 即 △Ｗij=-ε*?E/?Wij (6 )，ε为学习步长 ,△Ｗｉｊ为权值
改变量。不难导出-ε*?E/?Wij =ε·ｄjk·Ｏjk-1 ,ｋ=1 ,2 ,…… ,ｍ (7)
其中djm =Ｏjm(1 -Ｏjm) (ｔj-Ｏjm)
djk=Ｏjk(1 -Ｏjk)∑lＷijｄjk-1 (8)
塔塔尔得到权值修改的迭代过程 ，即
Ｗmj(ｔ+1 ) =Ｗmj(ｔ) +εｄjmＯjm
Ｗij(ｔ+1 ) =Ｗij(ｔ) +εｄikＯik (9)
其中Ｗmj(ｔ) ,Ｗji(ｔ)为ｔ时刻权值 ,Ｗmj(ｔ+1 ) ,Ｗji(ｔ+1 )为ｔ+1时刻权值。
改进的算法
因为ＢＰ算法存在着收敛的速度慢 ，易陷入局部极小等缺点 ，为使算法具有更大的实用性 ，必须改进ＢＰ算法。采用一种快速的ＢＰ算法 ，它对经典ＢＰ算法做如下改进，变量说明同上。
(1 )误差函数与激活函数对收敛的影响 ，主要反映在等效误差分量ｄjm 与ｄjk 的大小和正负变化上。根据ＢＰ网络误差逆向传播算法 ,ｄjm 的影响更重要 ，用下式代替误差函数Ｅ
Ｅ=-∑j[ｔj·ｌｏｇＯjm +(1 -ｔj)·ｄjm·ｌｏｇ(1 -Ｏjm)
因为ｌｏｇｌ=0 ，当期望输出值为 0或 1时 :
ｄjm =ｔj-Ｏjm
(2 )为了抑制迭代过程的振荡 ，在公式 (9)右边增加一动量项 ，即
Ｗmj(ｔ+1 ) =Ｗmj(ｔ) +εｄjm Ｏjm +α△Ｗmj(ｔ)
Ｗji(ｔ+1 ) =Ｗji(ｔ) +εｄikＯik+α△Ｗji(ｔ)
α为动量项常数。
(3 )采取变学习速率法 ，即
若Ｅｎ+1 -Ｅｎ< 0时 ,ε=ε 1 ,α =α1
否则ε=ε 2 ,α=0
实验中取ε 1 =1 0 ,ε 2 =0.5,α1 =0.9
输入特征值提取
神经网络系统本身具有自组织、自学习、自适应的特点。在一定意义上 ，网络本身的学习就是实现模式变换与特征提取。我们可以用神经网络通过自适应聚类学习到不同模式的特征信息进行识别。网络结构如下：
对应的输入输出关系为
ｚ=∑j=1nｑjＸj
其中ｚ是输出 ,ｑｊ是网络连接权值 ,ｘｊ是输入 ，其初始值本文实验都取 0 3。学习规则:△ｑj=β(ｘjｚ-ｑjｚ2 ) , ｊ=1 ,2 ,…… ,ｎ (1 4)
其中ｘjｚ为学习项 ，在输入ｘj 与输出ｚ相关时，会加强输入端与输出端连接，第二项ｑj ｚ2 为阻尼
项 ，用来保证ｑj2 约束接近 1 ,β取 0.5，当∑j=1n△ｑj<α时停止学习 ,α取一足够小值 ，实验中取 1 0 -5。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议