卷积神经网络（CNN）基本概念

卷积神经⽹络（CNN）基本概念

⼀、卷积神经⽹络基本概念内外网数据交换

卷积神经⽹络包含了⼀个由卷积层和⼦采样层构成的特征抽取器。在卷积神经⽹络的卷积层中，⼀个神经元只与部分邻层神经元相连接。在CNN的⼀个卷积层中，通常包含若⼲个特征平⾯，每个特征平⾯都由⼀些矩形排列的神经元组成，同⼀特征平⾯的神经元共享权重参数，这⾥共享的权重参数就是卷积核。

卷积核⼀般由随机⼩数矩阵的形式初始化，随着神经⽹络的不断训练，卷积核将会学习到更合理的权值。共享权值（卷积核）可以减少⽹络各层之间的连接，同时降低过拟合的风险。

⼦采样也叫做池化（pooling），通常有均值⼦采样（mean pooling）和最⼤值⼦采样（max pooling）两种形式。⼦采样可以看作⼀个特殊的卷积过程。卷积和⼦采样可以简化模型的复杂度，减少模型的参数。

在遥远的时空中⼆、卷积神经⽹络原理

2.1神经⽹络

神经⽹络的每个单元如下：

低乳糖

其对应的公式为：

该单元也可以被称作Logistic回归模型。当多个单元组合起来并具有分层结构时，就形成了神经⽹络模型。下图是⼀个具有隐含层的神经⽹络：

其对应的公式为：

同时，我们可以拓展到有2，3，4，5，…个隐含层。

神经⽹络的训练⽅法也与Logistic类似，可以利⽤梯度下降+链式求导法则，⼜称反向传播算法。

2.2卷积神经⽹络

卷积神经⽹络由三部分组成：输⼊层、由n个卷积层和池化层的组合组成、全连结的多层感知机分类器。郑州大学

2.2.1局部感受野

卷积神经⽹络通过局部感受野来降低参数数⽬。在图像中，距离较远的像素相关性较弱，因此每个神经元没必要对全局图像进⾏感知，只需要对局部进⾏感知，然后在更⾼层将局部信息综合起来，得到全局信息。

假设每个神经元只与1010的像素值相连，那么权值数据就为1000000100个参数，减少为原来的万分之⼀。1010的像素值对应的1010个参数就相当于卷积操作。

2.2.2权值共享

使⽤了局部感受野后参数仍然过多，那么就要使⽤权值共享。在上⾯的局部连接中，每个神经元都对应100个参数，如果所有神经元对应的参数都是相等的，那么参数数⽬就是100。

我们将这100个参数看作特征提取的⽅式，这个⽅式与位置⽆关。因此，图像的⼀部分统计特性和其他部分是⼀样的，所以我们在这⼀部分上学习的特征，也可以应⽤在其他部分。

⽐如，我们在⼀个⼤尺⼨图像中，随机选择⼀⼩块，⽐如44作为样本，我们从⼩样本中学习到了⼀些特征，我们就可以把这些特征作为探测器，应⽤到全部的图像中。特别的，我们可以把这个样本中学习到的特征与原本的⼤尺⼨图像作卷积，从⽽对这个⼤尺⼨图像上的任意位置获得⼀个不同特征的激活值。

2.2.3多卷积核

在上⾯的叙述中，我们知道，如果有100个参数，则表⽰有⼀个1010的卷积核，这样做的特征提取是不充分的，我们可以添加多个卷积核，⽐如32个卷积核，那就可以学习32个特征。如果我们对四个通

道进⾏卷积操作，有两个卷积核，会⽣成两个通道。需要注意的是，四个通道上每个通道都对应⼀个卷积核，如果将w2忽略，只看w1，那么在w1的某位置（i,j）处的值，是由四个通道上（i.j）处的卷积结果相加，再取激活函数的值得到的。

在上图的4个通道卷积得到2个通道的过程中，参数数⽬为4222个，其中4是4个通道，第⼀个2表⽰⽣成2个通道，最后的22是卷积核的⼤⼩。

2.2.4Down-pooling

在卷积得到了特征后，我们可以⽤这些特征去做分类。如果我们⽤所有提取到的特征去训练分类器，如softmax分类器，就会⾯临很⼤的计算量。⽐如，对于⼀个9696像素的图像，假设我们已经学习得到了400个定义在88输⼊上的特征，每⼀个特征和图像卷积都会得到⼀个（96-8+1）（96-8+1）=7921维的卷积特征，由因为有400个特征，所以每个样例都会有7921400=3168400维的卷积特征向量。所以学习⼀个拥有三百万特征的输⼊分类器⾮常不容易，容易出现过拟合。礼乐制度

因此，为了描述⽐较⼤的图像，我们可以对不同位置的特征进⾏聚合统计，⽐如，我们可以计算图像⼀个区域上的某个特定特征的平均值（或最⼤值）。这些概要统计特征不仅具有低得多的维度（不需使⽤所有提取到的特征），同时还会改善结果。这种聚合操作就叫做池化，按照池化的⽅法可以分为平均池化和最⼤池化。

如上图：

1.最⼤值⼦采样卷积核中，只有⼀个权重值为1，其余为0；值为1的位置对应的inputX被卷积核覆盖部分值最⼤的位置。图⽰的卷积核滑动步长为

2.最⼤⼦采样效果是把原图缩减⾄原来的1/4，并保留每个2*2区域的最⼤输⼊。medline

2.均值⼦采样的卷积核中，每个权重都是相同的。上图的均值⼦采样是把原图模糊缩减⾄原来的1/4。

2.2.5多卷积层

实际应⽤中，⼀般使⽤多层卷积，然后⽤全连接层训练，⼀层卷积学到的特征⼀般是局部的，层数越⾼，学到的特征越全局化。

本文发布于:2024-09-22 15:45:37，感谢您对本站的认可！

本文链接：https://www.17tex.com/xueshu/475003.html

上一篇：卷积层、池化层计算公式

下一篇：卷积输出尺寸计算公式