课程论文
现代数字信号处理
专业班级： 电子与通信112班
学生姓名： 王 俊
指导教师： 刘 泉
2011年 12月 1日
摘要
神经网络是一门发展十分迅速的交叉学科，它是由大量的处理单元组成非线性的大规模自适应动力系统。神经网络具有分布式存储、并行处理、高容错能力以及良好的自学习、自适应、联想等特点。目前已经提出了多种训练算法和网络模型，其中应用最广泛的是前馈型神经网络。前馈型神经网络训练中使用最多的方法是误差反向传播(BP)学习算法。但随着使用的广泛，人们发现BP网络存在收敛速度缓慢、易陷入局部极小等缺陷。于是我们就可以分析其产生问题的原因，从收敛速度和局部极小两个方面分别提出改进的BP网络训练方法。
关键词：神经网络，收敛速度，局部极小，BP网络，改进方法
大众邮购Abstract
Neural network is a cross discipline which now developing very rapidly, it is the nonlinearity adaptive power system which made up by abundant of the processing units .
The neural network has features such as distributed storage, parallel processing, high tolerance and good self-learning, adaptive, associate, etc. Currently various training algorithm and network model have been proposed , which the most widely used type is Feedforward neural network model. Feedforward neural network training type used in most of the method is back-propagation (BP) algorithm. But with the use of BP network, people find that the convergence speed is slow, and easy fall into the local minimum. So we can analyze the causes of problems, from the two aspects respectively we can improve the BP training methods of neural network.
Keywords：neural network，convergence speed，local minimum，BP neural network，improving methods
目录
摘要 2
Abstract 2
1 神经网络概述 4
1.1 生物神经元模型 4
1.2 人工神经元模型 4
2 BP神经网络 7
2.1 BP神经网络特点 7
2.2 BP神经网络介绍位置服务 8
3 BP神经网络算法改进 10
3.1 BP网络训练过程介绍 10
3.2 动态调节学习率的改进方法 10
3.3 BP神经网络收敛速度的改进方法 12
3.4局部极小问题的几种改进方案 13
4 总结多媒体电教室 15
5 参考文献 16
1这片土地是神圣的教学设计 神经网络概述
1.1 生物神经元模型
人脑是由大量的神经细胞组合而成的，它们之间相互连接。每个神经细胞（也称神经元）具体如图1.1所示的结构。 图1.1 生物神经元模型
脑神经元由细胞体、树突和轴突构成。细胞体是神经元的中心，它一般又由细胞核、细胞膜等构成。树突是神经元的主要接受器，它主要用来接受信息。轴突的作用主要是传导信息，它将信息从轴突的起点传到轴突末梢，轴突末梢与另一个神经元的树突或细胞体构成一种突触的机构。通过突触实现神经元之间的信息传递。 1.2 人工神经元模型
人工神经网络是利用物理器件来模拟生物神经网络的某些结构和功能。图1.2是最典型的人工神经元模型。
图1.2 人工神经元模型
这个模型是1943年心理学家McCulloch和科学家W.Pitts在分析总结神经元基本特性的基础上首先提出的M-P模型，它是大多数神经网络模型的基础。
---代表神经元i与神经元j之间的连接强度(模拟生物神经元之间突触连接强度)，称之为连接权;
---代表神经元i的活跃值，即神经元状态；
---代表神经元j的输出，即是神经元i的一个输入；
---代表神经元的阐值。
函数f表达了神经元的输入输出特性。在M-P模型中，f定义为阶跳函数:交通流模型
外腔半导体激光器
人工神经网络是一个并行与分布式的信息处理网络结构，该网络结构一般由许多个神经元
组成，每个神经元由一个单一的输出，它可以连接到许多其他的神经元，其输出有多个连接通路，每个连接通路对应一个连接权系数。
严格来说，神经网络是一个具有如下性质的有向图：
1. 对于每个结点有一个状态变量；
2. 结点i到结点j有一个连接权系数；
3. 对于每个结点有一个阈值；
4.对于每个结点定义一个变换函数，最常见的情形为。
图1.3表示了两个典型的神经网络结构，上为前馈网络，下为反馈网络。
图1.3 典型的神经元网络结构
2 BP神经网络
人工神经网络是一种信息处理系统，它有很多种模型。其中有一种用误差传播学习算法（Error Back Propagation即BP算法）进行训练的多层前馈神经网络，简称为BP网络。BP神经网络模型是人工神经网络的重要模型之一。它有广泛的应用，主要包括模式识别及分类、故障智能诊断、图像处理、函数拟合、最优预测等方面的应用。
2.1 BP神经网络特点
l)分布式的信息存储方式
神经网络是以各个处理器本身的状态和它们之间的连接形式存储信息的，一个信息不是存储在一个地方，而是按内容分布在整个网络上。网络上某一处不是只存储一个外部信息，而是存储了多个信息的部分内容。整个网络对多个信息加工后才存储到网络各处，因此，它是一种分布式存储方式。
2)大规模并行处理
BP神经网络信息的存储与处理(计算)是合二为一的，即信息的存储体现在神经元互连的分布上，并以大规模并行分布方式处理为主，比串行离散符号处理的现代数字计算机优越。
3)自学习和自适应性
BP神经网络各层直接的连接权值具有一定的可调性，网络可以通过训练和学习来确定网络的权值，呈现出很强的对环境的自适应和对外界事物的自学习能力。
4)较强的鲁棒性和容错性
BP神经网络分布式的信息存储方式，使其具有较强的容错性和联想记忆功能，这样如果某一部分的信息丢失或损坏，网络仍能恢复出原来完整的信息，系统仍能运行。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议