学年论文（本科）
学 院 数学与信息科学学院
专 业 信息与计算科学专业
年 级 肾毒清10级4班
姓 名 徐玉琳 于正平 马孝慧
李运凤 郭双双 任培培
指导教师 冯志敏
成 绩
2013 年 9月 24日
BP神经网络的原理与应用
1.BP神经网络的原理
1.1 BP神经网络的结构
BP神经网络模型是一个三层网络,它的拓扑结构可被划分为:输入层(InputLayer )、输出层(Outp ut Layer ) ,隐含层(Hide Layer )．其中,输入层与输出层具有更重要的意义,因此也可以为两层网络结构(把隐含层划入输入层,或者把隐含层去掉)每层都有许多简单的能够执行并行运算的神经元组成,这些神经元与生物系统中的那些神经元非常类似,但其并行性并没有生物神经元的并行性高．
BP神经网络的特点：
1）网络由多层构成,层与层之间全连接,同一层之间的神经元无连接．
2）BP网络的传递函数必须可微．因此,感知器的传递函数-——二值函数在这里没有用武之地．BP网络一般使用Sigmoid函数或线性函数作为传递函数． 3）采用误差反向传播算法(Back-Propagation Algorithm)进行学习．在BP网络中,数据从输入层隐含层逐层向后传播,训练网络权值时,则沿着减少误差的方向,从输出层经过中间各层逐层向前修正网络的连接权值．随着学习的不断进行,最终的误差越来越来小． BP神经网络的学习过程
BP神经网络的学习算法实际上就是对误差函数求极小值的算法,它采用的算法是最速下降法,使它对多个样本进行反复的学习训练并通过误差的反向传播来修改连接权系数,它是沿着输出误差函数的负梯度方向对其进行改变的,并且到最后使误差函数收敛于该函数的最小点．
1.3 BP网络的学习算法
BP网络的学习属于有监督学习,需要一组已知目标输出的学习样本集．训练时先使用随机值作为权值,修改权值有不同的规则．标准的BP神经网络沿着误差性能函数梯度的反向
修改权值,原理与LMS算法比较类似,属于最速下降法．
拟牛顿算法
牛顿法是一种基于二阶泰勒级数的快速优化算法．其基本方法是
阿基里斯
式中 ----误差性能函数在当前权值和阀值下的Hessian矩阵（二阶导数）,即
牛顿法通常比较梯度法的收敛速度快,但对于前向型神经网络计算Hessian矩阵是很复杂的,付出的代价也很大．
招标师继续教育有一类基于牛顿法的算法不需要二阶导数,此类方法称为拟牛顿法（或正切法）,在算法中的Hessian矩阵用其近似值进行修正,修正值被看成梯度的函数．
1）BFGS 算法在公开发表的研究成果中,你牛顿法应用最为成功得有Boryden,Fletcher,Goldfard和Shanno修正算法,合称为BFG算法．
该算法虽然收敛所需的步长通常较少,但在每次迭代过程所需要的计算量和存储空间比变梯度算法都要大,对近似Hessian矩阵必须进行存储,其大小为,这里n网络的链接权和阀值的数量．所以对于规模很大的网络用RPROP算法或任何一种梯度算法可能好些；而对于规模较小的网络则用BFGS算法可能更有效．
2）OSS算法 由于BFGS算法在每次迭代时比变梯度算法需要更多的存储空间和计算量,所以对于正切近似法减少其存储量和计算量是必要的．OSS算法试图解决变梯度法和拟牛顿（正切）法之间的矛盾,该算法不必存储全部Hessian矩阵,它假设每一次迭代时与前一次迭代的周菊英Hessian矩阵具有一致性,这样做的一个有点是,在新的搜索方向进行计算时不必计算矩阵的逆．该算法每次迭代所需要的存储量和计算量介于梯度算法和完全拟牛顿算法之间．
最速下降BP法
最速下降BP算法的BP神经网络,设拉帮套k为迭代次数,则每一层权值和阀值的修正按下式进行式中—第k次迭代各层之间的连接权向量或阀值向量；—第k次迭代的神经网络输出误差对各权值或阀值的梯度向量．负号表示梯度的反方向,即梯度的最速下降方向；—学习效率,在训练时是一常数．在MATLAB神经网络工具箱中,,可以通过改变训练参数进行设置；—第k次迭代的网络输出的总误差性能函数,在MATLAB神经网络工具箱中BP网络误差性能函数默认值为均方误差MSE,以二层BP网络为例,只有一个输入样本时,有
xiazhai若有n个输入样本
根据公式和各层的传输函数,可以求出第k次迭代总误差曲面的梯度,分别代入式子便可以逐次修正其权值和阀值,并是总的误差向减小的方向变化,直到达到所需要的误差性能为止．
1.4 BP算法的改进
BP算法理论具有依据可靠、推导过程严谨、精度较高、通用性较好等优点,但标准BP算法存在以下缺点：收敛速度缓慢；容易陷入局部极小值；难以确定隐层数和隐层节点个数．在实际应用中,BP算法很难胜任,因此出现了很多改进算．
利用动量法改进BP算法
标准BP算法实质上是一种简单的最速下降静态寻优方法,在修正W(K)时,只按照第K步的负
梯度方向进行修正,而没有考虑到以前积累的经验,即以前时刻的梯度方向,从而常常使学习过程发生振荡,收敛缓慢．动量法权值调整算法的具体做法是：将上一次权值调整量的一部分迭加到按本次误差计算所得的权值调整量上,作为本次的实际权值调整量,即：
其中：α为动量系数,通常0＜α＜0．9；η—学习率,范围在0．001～10之间．这种方法所加的动量因子实际上相当于阻尼项,它减小了学习过程中的振荡趋势,从而改善了收敛性．动量法降低了网络对于误差曲面局部细节的敏感性,有效的抑制了网络陷入局部极小．
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议