*************************************
神经元网络
*************************************
摘 要
本文通过搜索与神经元网络相关的各种文献资料,学习研究现有神经元网络理论知识, 并集中的总结国内外相关研究和应用的现状,聚焦了当今社会对神经元网络的研究热点。本文综合前人研究成果,结合自身理解提出相关的问题和看法,并预测了神经元网络的发展趋势。 前 言
人工神经元是对生物神经元的一种模拟与简化。它是神经网络的基本处理单元,利用人工神经元，可以构成各种不同拓扑结构的神经网络。人工神经网络是在现代神经生物学研究基础上提出的模拟生物过程以反应人脑某些特性的计算结构。它不是人脑神经系统的真实描写，只是特的某种抽象、简化和模拟。
人工神经网络最有吸引力的特点就是它的学习能力。因此从20世纪40年代人工神经网络萌芽开始，历经两个高潮期及一个反思期至1991年后进入再认识与应用研究期， 涌现出无数的相关研究理论及成果，包括理论研究及应用研究。最富有成果的研究工作是多层网络BP算法，Hopfield网络模型，自适应共振理论，自组织特征映射理论等。因为其应用价值，该研究呈愈演愈烈的趋势，学者们在多领域中应用人工神经网络模型对问题进行研究优化解决。但目前人工神经网络的研究还存在应用面窄、结果缺乏精确性、可信度等问题。本文将综述性的回顾该研究历史，并聚焦当今社会对神经元网络的研究热点，介绍相关研究理论及成果。同时对该研究中存在的部分问题提出看法和建议，提出神经网络未来发展趋势。
正 文
1、 人工神经网络起源和发展
人工神经网络至今经历了萌芽期、第一高潮期、反思期、第二高潮期、再认识与应用期。
1)萌芽期（20世纪40年代）：1943 年心理学家W.McCulloch 和数学家W.Pitts 合作提出了
最早的神经元数学模型（MP 模型，如图1 所示），开创了神经科学理论研究的时代。1949 年，心理学家Hebb 通过对大脑神经细胞学习和条件反射的观察与研究，提出了改变神经元连接强度的Hebb 规则。
2)第一高潮期（1950~1968）：1957 年，Rosenblatt 发展了MP模型，首次提出了模拟人脑感知和学习能力的感知器（龙蝎酒
Perceptron）概念，并给出了两层感知器的收敛定理，提出了引入隐层处理元件的三层感知器这一重要研究方向。1960 年，Widrow 提出了自适应线性元件（Adaline）模型及一种有效的网络学习方法，即通常所说的Widrow-Hoff 学习规则（也称δ学习规则）。 3)在第一次高潮期后历经反思期(1969~1982)，研究发现人们习以为常的普通知识和经验，计算机却很难学会。这就迫使人们去考虑一个问题：人脑的智能是否可以在机器中再现？
4)而后进入第二次高潮期（1983~1990）：1982 年，美国加洲工学院的物理学家Hopfield 提出了一个用于联想记忆和优化计算的新途径—Hopfield 网络模型（HNN），使神经网络的研究有了突破性的进展。在1984 年发表的另一篇重要论文中，Hopfield 指出HNN 可以用集成电路实现，很容易被工程技术人员及计算机科技工作者理解。这些具有开创性的研
究成果和有意义的工作为神经网络的发展奠定了理论基础。Rumelhart 和McClelland领导的PDP研究小组于1986 罗丹明b年的《并行分布处理》一书，在全面介绍了着重于认知微观结构的PDP 理论的同时，他们发展了多层网络的BP 算法（反向传播算法）。迄今为止，BP 网络仍是应用最普遍的网络模型。随着神经网络研究热潮的出现，不同学科的学者开始联合起来从事神经网络理论、应用开发及实现的研究，国际学术交流日益频繁。1986年 4 月美国物理学会在Snowbirds 召开了国际神经网络会议。1987 年6 月在美国的San Diego 召开了第一届神经网络国际会议。国际神经网络学会（INNS）随之成立。1988 年《神经网络》（《Neural Networks》）杂志创刊。自1988 年起INNS 和IEEE 联合开始召开每年一次的国际学术会议（后改为一年两次）。1990 年3 月，IEEE 神经网络会刊问世。
5)从1991年至今，人工神经网络的研究进入再认识与应用期。
我国的神经网络研究开始于 1988 年前后，并在基础与应用领域开展了一些工作。1989 年召开了全国第一届神经网络——信号处理会议。1990 年、1991 年分别召开了中国第一届、第二届神经网络学术大会。1992 摊丁入亩年在北京召开了国际神经网络学会和IEEE 神经网络委员会的联合学术会议，2005年神经网络国际会议(Second International Symposiumon N
eural Networks,ISNN2005)于5月30日至6月2日在重庆大学召开。这说明了我国的神经网络络研究在国际上也已占有一定的地位。
2环氧丙烯酸树脂、神经网络的相关理论框架
人工神经网络作为智能信息处理的工具之一,有着很强的适应性、高度的容错性及强大的功能等优点,在医学统计中有着广阔的应用前景。它是模仿人的大脑神经系统信息处理功能的智能化系统,由简单处理单元(神经元) 联接构成的规模庞大的并行分布式处理器,根据其网络拓扑结构,可分为四种类型: 前向网络、有反馈的前向网络、层内互联前向网络和全互联或部分互联网络。其中，BP 神经网络(简称BP 网络) 是指基于误差反向传播算法的多层前向网络,目前应用较广泛。
图1:典型的神经元结构
1) BP 网络的拓扑结构及BP 算法的基本原理
BP 网络通常含有输入层、隐含层(中间层) 和输出层,每层均包括多个神经元(即节点) ,输入层与输出层各有一层,隐含层根据需要可以设多层,也可不设,不含隐含层的称为单层BP 网络。神经元之间过权相互连接,前一层神经元只对下一层神经元起作用,同层神经元之间无相互作用,权值大小代表上一级神经元对下一级神经元的影响程度。网络中作用于神经元的激励函数通常采用的是S 型函数(Sigmoid 可微函数)式1 实际上就是logistic 回归中概率的表达式。
f ( x ) = (1 + e- Qx ) - 1 (1)
式中Q 为调节激励函数形式的参数, 称增益值,Q 值越大, S 形曲线越陡峭;反之,曲线越平坦,通常取Q = 1 。
BP 算法(Back Propagation) 是为了解决多层前向神经网络的权值调整而提出来的,也称为反向传播算法,即网络权值的调整规则是向后传播学习算法,具体来说,BP 算法是建立在梯度
下降法的基础上的,学习过程由正向传播和反向传播组成,在正向传播过程中,输入信息由输入层经隐含层逐层处理,并传向输出层,如果输出层得不到期望的输出,则转入反向传播,逐层递归计算实际输入与期望输入的差即误差,将误差信号沿原来的连接通道返回,通过修改各层神经元的权值,最终使得误差信号最小。BP 网络采用了优化技术中最普通的梯度下降法把一组输入输出样本的函数问题转变为一个非线性优化问题,它是一个从输入到输出的高度非线性映射。
2) 过程神经元网络
过程神经元网络是一种适合于处理过程式信号输入的网络，其基本单元是过程神经元。过程神经元和传统神经元有着本质的区别，但二者之间也存在着紧密的联系，前者可用后者以任意精度无限逼近。
过程神经元在拓卜上和传统神经元相似，也具有加权、聚合和激励等操作。二者主要区别在于：过程神经元的输入空间和权值空间是定义在某一时间区间[a，b]上的二阶赋范实函数空间L2（a，b）上的；过程神经元不仅具有空间加权聚合运算，还具有时间累积聚合运算。
由若干过程神经元和传统神经元按一定拓扑结构组成的网络称为过程神经元网络. 过程神经元网络可按输出空间的类型进行分类, 分为离散数值标签输出空间(分类) 、连续数值输出空间(秦淮名妓回归, 单输出通常为欧氏空间R 的子空间) 、赋范实函数空间(泛函逼近) . 常用输出空间有: 用于分类问题的{ - 1 ,1} 、{ - 1 ,0 ,1} ;用于回归问题的、标准正态分布N (0 ,1) ;用于泛函逼近的平方可积函数空间L2( a , b) . 分类离散数值空间的无限细分将逼近连续数值空间,在此意义上,分类问题可看作回归问题的特例,可将二者归为数值输出一类. 下面分别给出数值输出和函数输出的过程神经元网络[3 ,6 ] .
3、人工神经网络的研究现状
人工神经网络的研究可以分为理论研究和应用研究两大方面。
理论研究可分为以下两类：
1)．利用神经生理与认知科学研究人类思维以及智能机理。
2)．利用神经基础理论的研究成果，用数理方法探索功能更加完善、性能更加优越的神经网络模型，深入研究网络算法和性能， 如：稳定性、收敛性、容错性、鲁棒性等；开发新
的网络数理理论，如：神经网络动力学、非线性神经场等。
应用研究可分为以下两类：
1)．神经网络的软件模拟和硬件实现的研究。
2)．神经网络在各个领域中应用的研究。这些领域主要包括：模式识别、信号处理、知识工程、专家系统、优化组合、机器人控制等。目前具体相关的应用研究有：神经网络在空间数据挖掘中的应用、用神经元网络的模糊算法预测平均投票值(PMv)、人工神经元网络在地下工程预测中的应用、人工神经元网络条件下的分支预测算法、神经元网络智能控制器及其应用、神经元网络在安全评价中的应用、用 BP 神经网络预测股票市场的涨跌、基于BP神经元网络的信息产业测度研究。通过神经网络的应用以上问题都得到了更好的优化或解决，而神经网络理论也在应用过程中逐步完善。具体如下：
(1)神经网络在空间数据挖掘中的应用
数据挖掘涉及的学科领域和方法很多, 其分类方法也较多。根据知识发现任务, 搏击风暴可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模
型发现、异常和趋势发现等等; 根据知识发现对象可分为关系数据库、面向对象数据库、空间数据库、时间数据库、文本数据源、多媒体数据库、异质数据库、W eb 数据库; 根据知识发现方法, 可粗分为机器学习方法、统计方法、神经网络方法和数据库方法。神经网络方法中, 可以细分为前向神经网络(BP 算法等)、自组织神经网络(自组织特征映射、竞争学习等) 等。在前面谈到的空间数据挖掘方法中, 统计学方法是其中使用的主要方法。统计学方法存在的问题是要求数据符合一定的统计分布规律, 同时算法所需要的工作量也比较大, 因此在具体使用时还有许多不尽人意之处, 而神经网络和机器学习为解决上述问题注入了新的思想和算法。这些新的方法与传统的统计方法的不同点主要在于: ①该方法很少需要关于实际数据的统计分布规律的假设; ②该方法很少需要对模型的数学分析, 但却可以从大量样本数据中生成用于实现复杂非线性映射的模型。由于神经网络的分布式处理和自学习特性, 使其在空间数据挖掘各知识发现中有着广泛的应用前景。当处理海量数据的数据挖掘中, 神经网络方法有着其它机器学习方法无法比拟的优越性, 这主要是因为神经网络的训练算法一般与样本数据量不是一种线性关系。在空间聚类分析中,
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议