卷积神经网络的结构及发展方向分析

2021年第01期宿迁市马陵中学
159
云数据库是指被优化或部署到一个虚拟计算环境中的数据库,可以实现按需付费、按需扩展、高可用性以及存储整合等优势。根据数据库类型一般分为关系型数据库和非关系型数据库(NoSQL 数据库)。卷积神经网络(Convolutional Neural Networks,CNN)作为一种前馈神经网络,是一种深度学习的算法,具有较深的结构,其本质为一个多层感知机[1]。1998年,纽约大学的Yann Lecun 正式提出卷积神经网络。卷积神经网络(Convolutional Neural Network)是专门针对图像识别问题而设计出的神经网络。它能模仿人类识别图像的多层过程:瞳孔摄入像素;大脑皮层某些细胞初步处理,发现形状边缘、方向;抽象判定形状(如圆形、方形);进一步抽象判定(如判断物体是气球等)[2]。
2  卷积神经网络的基本结构分析
卷积神经网络是一种特殊的多层神经网络,与其他神经网络一样,卷积神经网络也使用反向传播算法进行训练,不同之处在于网络的结构。卷积神经网络的网络连接具有局部连接和参数共享的特点。局部连
接是相对于普通神经网络的全连接而言的,即这一层的某一个节点只与前一层的某些节点相连。参数共享是指同一层中多个节点的连接共享同一组参数[3]
2.1  卷积层
世纪之星机箱卷积层是构建卷积神经网络的核心层,网络中党的性质
卷积神经网络的结构及发展方向分析
赵 黎
昆明医科大学基础医学院,云南 昆明 650500
摘要:从目前全系神经网络的发展来看,卷积神经网络是人工智能网络的重要组成部分,并且具有非常重要的分析与研究价值。文章从卷积神经网络概念出发,着重分析了卷积神经网络卷积层、池化层、全连接层的基本结构,有利于人们掌握卷积神经网络的特点。与此同时,文章还探究了卷积神经网络的缺陷以及发展方向,以此希望能为相关人员提供一定的参考价值。
关键词:卷积神经网络;深度学习;特征表达;神经网络;迁移学习中图分类号:TP391
的大部分计算都是由卷积神经网络产生的。
卷积层的作用:(1)滤波器或卷积的作用。卷积层的参数由一组可学习的滤波器组成。每个滤波器的空间相对较小(宽度和高度),但深度与输入数据是相一致的。直观地说,网络会让滤波器在看到某些类型的视觉特征时学会激活。特定的视觉特征可能是特定方向的边界,或者是第一层上特定颜的点,甚至还可以是蜂窝或车轮形状的图案。(2)卷积层可以看作一个神经元的输出。神经元只观察一小部分输入数据,并与空间左右两侧的所有神经元共享参数。(3)减少参数数量。由于卷积具有“权值共享”的特点,所以它可以减少参数数量,减少计算开销,防止出现因参数过多而导致过拟合现象。
2.2  池化层
池化(Pooling):也称为欠采样或下采样。主要用于特征降维,压缩数据和参数的数量,减小过拟合,同时提高模型的容错性。
通常在连续的卷积层之间会周期性地插入一个池化层。池化层功能是逐步减小数据量的空间大小,从而减少网络中的参数数量,进而减少计算资源的消耗,有效地控制过拟合。卷积层使用MAX 独立操作输入数据量的每个深度切片,改变其空间大小。最常见的形式是卷积层使用2×2大小的过滤器对每个深度切片进行步长为2的下采样,丢弃其中75%的激活信息。每次MAX 操作取4个数字的最大值(即深
度切片中的一个2×2区域),深度保持不变。在这个过程中,输入数据体大小为W 1·H 1·D 1,有两
2021年第01期
160个超参数:空间大小FF 和步长SS ;输出数据体大小为W 2·H 2·D 2,其中:
W 2=(W 1-F )/S +1H 2=(H 1-F )/S +1D 2=D 1
在实践中,最大池化层通常只有两种形式:一种是F =3,S =2F =3,S =2,也叫重叠池化;另一种更常用的是F =2,S =2F =2,S =2。
2.3  全连接层
国贼查抄内幕典型的神经网络结构是全连接的,即某一层的一个节点与上层的每个节点相连,每个节点使用一组参数。这种结构是一种经典的全连接结构。在全连接网络中,如果k 层有n 个节点,k +1层有m 个节点,则总共有n ×m 个连接;每个连接有一个参数,加上每个k +1层节点有一个偏差,总共有n ×m  + m 个训练参数,所以全连接层的连接数和参数数量的顺序为O(n ^2)。
如何上好体育课
全连接的核心操作就是矩阵向量乘积y =W x 。全连接本质就是由一个特征空间线性变换到另一个特征空间。目标空间的任一维——也就是隐层的一个cell,都会受到源空间每一维的影响。
在卷积神经网络中,全连接常出现在最后几层,主要用于对前面设计的特征做加权和。比如mnist,前面的卷积和池化相当于做特征工程,后面的全连接相当于做特征加权。全连接层具有两个作用:一是维度变换,尤其全连接层可以把高维变到低维,同时还能把有用信息保留下来。二是隐含语义的表达(embedding),即把原始特征映射到各个隐语义节点(hidden node)。对于最后一层全连接而言,就是分类的显示表达。
3  卷积神经网络的结构特点
卷积神经网络由多层感知机(MLP)演化,具有局部区域连接、权值共享、降采样的结构特点。
3.1  局部区域连接
局部区域连接的思想来源于视觉神经元的结构。在传统的神经网络结构中,神经元之间呈现全连接状态,即第n -1层的神经元均与第n 层的各个神经元连接。在结构上,卷积神经网络具有部分区域连接特点,所以其第n -1层与第n  层之间的部分
神经元是呈现连接状态。全连接与局部连接的区别可见图1,其中左边的图是全连接。由图可知,前
后层的神经元之间均有边,每边均存在参数,因此,全连接具有很多的参数。而右边的局部连接的边很少,参数没有多少。对比两者,可知局部区域连接数更少,参数更少。
3.2  权值共享
1998年,LeCun 发布了LeNet -5网络架构。LeNet-5模型中首次提出权值共享特点。这一特性被广泛应用于2010年初的卷积神经网络研究中。权值共享,指的是整张图均在使用同一个卷积核内的参数,如一个卷积核是3×3×1,不会因图像内所处位置的不同而改变卷积核内的全系数,这卷积核中的9个参数将被整个图像共享。简而言之,在不改变卷积核内权系数的状态下,用一个卷积核处理整个图像,就是权值共享结构特点。
3.3  降采样
降采样又称为池化,是卷积神经网络中的一个重要概念。最常见的方式有最大值(Max)池化、最小值(Min)池化、平均值(Average)池化。池化,有利于降低图像的分辨率,防止网络过拟合,最大值池化如图2所示。
在最大池化的过程中,输入图像大小为4×4,在每2×2的区域中计算最大值。步长为2,所以,每2×2的区域互不叠加。最后,输出的池化特征大小为2×2。分辨率在池化过程中,变为原来的一半。
4  卷积神经网络的缺陷与发展方向
目前,卷积神经网络研究热度持续上涨并不断攀升高热度新时期,但是该范畴仍存在一些缺陷以及发展方向。
一是卷积神经网络的理论发展比较落后,特别是在实证研究领域中。如果卷积神经网络想得到进一步发展,那么需要具备完备的数学解释和理论指导,这有利于推动卷积神经网络的进一步发展。
二是卷积神经网络的结构研究有待进一步深入。当前,由相关研究可知,相关技术人员如果只是一味地提高网络的复杂性,将会遭遇一些问题,如过拟合、网络退化等问题。因此,相关技术人员如果想要提高卷积神经网络性能,那么需要设计科学合
2021年第01期
161
理的网络结构。
三是卷积神经网络的参数的量化问题有待进一步的分析、研究。当前,卷积神经网络中的大量参数,在设置过程中,均是立足于以往的经验、实践,没有进行深入的研究。
四是卷积神经网络中的以往的数据集不符合当前发展要求。因此,相关技术人员需要不断改善卷积神经网络的模型结构,同时还需要更新数据集。这是因为数据集有利于卷积神经网络结构、迁移学习的研究。当前,数据集呈现的发展趋势为数量和类别更多、数据形式更复杂。
五是相关技术人员需要加强迁移学习理论的应用,这有利于推动卷积神经网络应用领域的不断发展。另外,基于任务来设计端到端的卷积神经网络,如Faster R -CNN,FCN 等,是当前该领域的一个发展方向,也能够提高网络的时效性[4]。
六是卷积神经网络在研究和证明其完备性方面,仍具有薄弱性。因此,相关技术人员需要加强研究卷积神经网络的完备性,能够帮助更多研究人员掌握卷积神经网络与人类视觉系统之间存在的差异性,
由此弥补当前网络结果中存在的不足之处。
温室气体排放5  结语
近年来,CNN 因局部连接、权值共享、池化操作及多层结构等优良特性,受到了许多研究者的关注。当前,CNN 被广泛应用于各种领域中,但其优势并不意味着目前存在的网络没有瑕疵。因此,文章通
过提出卷积神经网络相关研究的一些缺陷及发展方向,以此辅助更多相关领域人员的研究。总之,卷积神经网络作为一个热门研究课题,具有广阔的研究前景。
参考文献
[1]周飞燕,金林鹏,董军.卷积神经网络研究综述[J].计算机
学报,2017(6):1229-1251.[2]卢宏涛,张秦川.深度卷积神经网络在计算机视觉中的应用
研究综述[J].数据采集与处理,2016(1):1-17.[3]李彦冬,郝宗波,雷航.卷积神经网络研究综述[J].计算机应用,
2016,36(9):2508-2515.[4]李冠东,张春菊,王铭恺,等.卷积神经网络迁移的高分影像
场景分类学习[J].测绘科学,2019,44(4):116-123,174.
上进行详细研究与问题优化,更好地提高系统的智能化与安全性。
参考文献
[1]潘俊成,邓素平.期刊同行评议中参与者基于区块链技术的
科技关系重构[J].出版广角,2020(6):50-52,70. [2]林浩瀚. 基于区块链技术的网络谣言治理研究[D].呼和浩特:
内蒙古大学,2019. 
[3]周桐.基于区块链技术的可信数据通证化方法的研究与应用
[D].合肥:中国科学技术大学,2019. [4]王秀利,江晓舟,李洋.应用区块链的数据访问控制与共享模
型[J].软件学报,2019,30(6):1661-1669. 
[5]马立川.智协同网络中的信任管理机制研究[D].西安:西
安电子科技大学,2018. [6]张青禾.区块链中的身份识别和访问控制技术研究[D].北京:
北京交通大学,2018. 
[7]祝烈煌,高峰,沈蒙,等.区块链隐私保护研究综述[J].计算
机研究与发展,2017,54(10):2170-2186. 
(上接第158页)

本文发布于:2024-09-21 22:31:14,感谢您对本站的认可!

本文链接:https://www.17tex.com/xueshu/475018.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:卷积   神经网络   研究   连接   参数   结构   网络
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议