卷积神经⽹络-进化史
主要讨论CNN的发展，并且引⽤刘昕博⼠的思路，对CNN的发展作⼀个更加详细的介绍，将按下图的CNN发展史进⾏描述：
上图所⽰是刘昕博⼠总结的CNN结构演化的历史，起点是神经认知机模型，此时已经出现了卷积结构，经典的LeNet诞⽣于1998年。然⽽之后CNN的锋芒开始被SVM等⼿⼯设计的特征盖过。随着ReLU和dropout的提出，以及GPU和⼤数据带来的历史机遇，CNN在2012年迎来了历史突破–AlexNet.
CNN的演化路径可以总结为以下⼏个⽅向：
进化之路⼀：⽹络结构加深
进化之路⼆：加强卷积功能
进化之路三：从分类到检测
进化之路四：新增功能模块
本系列博客将对CNN发展的四条路径中最具代表性的CNN模型结构进⾏讲解。
⼀切的开始( )
下图是⼴为流传LeNet的⽹络结构，⿇雀虽⼩，但五脏俱全，卷积层、pooling层、全连接层，这些都是现代CNN⽹络的基本组件。
输⼊尺⼨：32*32
卷积层：3个
山魈魔怪
降采样层：2个
全连接层：1个
因为LeNet可以说是CNN的开端，所以这⾥简单介绍⼀下各个组件的⽤途与意义。
Input (32*32)
输⼊图像Size为32*32。这要⽐mnist数据库中最⼤的字母(28*28)还⼤。这样做的⽬的是希望潜在的明显特征，如笔画断续、⾓点能够出现在最⾼层特征监测⼦感受野的中⼼。
C1, C3, C5 (卷积层)
卷积核在⼆维平⾯上平移，并且卷积核的每个元素与被卷积图像对应位置相乘，再求和。通过卷积核的不断移动，我们就有了⼀个新的图像，这个图像完全由卷积核在各个位置时的乘积求和的结果组成。
⼆维卷积在图像中的效果就是:
对图像的每个像素的邻域（邻域⼤⼩就是核的⼤⼩）加权求和得到该像素点的输出值。具体做法如下：
卷积运算⼀个重要的特点就是: 通过卷积运算，可以使原信号特征增强，并且降低噪⾳。
不同的卷积核能够提取到图像中的不同特征，这⾥有 ，下⾯是不同卷积核得到的不同的feature map，
以C1层进⾏说明：C1层是⼀个卷积层，有6个卷积核（提取6种局部特征），核⼤⼩为5*5，能够输出6个特征图Feature Map，⼤⼩为28*28。C1有156个可训练参数（每个滤波器5*5=25个unit参数和⼀个bias参数，⼀共6个滤波器，共(5*5+1)6=156个参数），共156 (28*28)=122,304个连接。 S2, S4 (pooling层)
信用风险S2, S4是下采样层，是为了降低⽹络训练参数及模型的过拟合程度。池化/采样的⽅式通常有以下两种：
1. Max-Pooling: 选择Pooling窗⼝中的最⼤值作为采样值；
2. Mean-Pooling: 将Pooling窗⼝中的所有值相加取平均，以平均值作为采样值；
S2层是6个14*14的feature map，map中的每⼀个单元于上⼀层的 2*2 领域相连接，所以，S2层是C1层的1/4。
F6 (全连接层)
F6是全连接层，类似MLP中的⼀个layer，共有84个神经元（为什么选这个数字？跟输出层有关），这84个神经元与C5层进⾏全连接，所以需要训练的参数是：(120+1)*84=10164.
如同经典神经⽹络，F6层计算输⼊向量和权重向量之间的点积，再加上⼀个偏置。然后将其传递给sigmoid函数产⽣单元i的⼀个状态。
Output (输出层)
输出层由欧式径向基函数（Euclidean Radial Basis Function）单元组成，每类⼀个单元，每个有84个输⼊。
换句话说，每个输出RBF单元计算输⼊向量和参数向量之间的欧式距离。输⼊离参数向量越远，RBF输出的越⼤。⽤概率术语来说，RBF输出可以被理解为F6层配置空间的⾼斯分布的负log-likelihood。给定⼀个输式，损失函数应能使得F6的配置与RBF参数向量（即模式的期望分类）⾜够接近。
王者回归()
AlexNet 可以说是具有历史意义的⼀个⽹络结构，可以说在AlexNet之前，深度学习已经沉寂了很久。历史的转折在2012年到
来，AlexNet 在当年的ImageNet图像分类竞赛中，top-5错误率⽐上⼀年的冠军下降了⼗个百分点，⽽且远远超过当年的第⼆名。AlexNet 之所以能够成功，深度学习之所以能够重回历史舞台，原因在于：
1. ⾮线性激活函数：ReLU
2. 防⽌过拟合的⽅法：Dropout，Data augmentation
3. ⼤数据训练：百万级ImageNet图像数据
4. 其他：GPU实现，LRN归⼀化层的使⽤
下⾯简单介绍⼀下AlexNet的⼀些细节：
Data augmentation
有⼀种观点认为神经⽹络是靠数据喂出来的，若增加训练数据，则能够提升算法的准确率，因为这样
可以避免过拟合，⽽避免了过拟合你就可以增⼤你的⽹络结构了。当训练数据有限的时候，可以通过⼀些变换来从已有的训练数据集中⽣成⼀些新的数据，来扩⼤训练数据的size。
其中，最简单、通⽤的图像数据变形的⽅式:
1. 从原始图像（256,256）中，随机的crop出⼀些图像（224,224）。【平移变换，crop】
2. ⽔平翻转图像。【反射变换，flip】
3. 给图像增加⼀些随机的光照。【光照、彩⾊变换，color jittering】mad
AlexNet 训练的时候，在data augmentation上处理的很好：
随机crop。训练时候，对于256＊256的图⽚进⾏随机crop到224＊224，然后允许⽔平翻转，那么相当与将样本倍增到((256-224)^2)*2=2048。DIGITAL GAP
测试时候，对左上、右上、左下、右下、中间做了5次crop，然后翻转，共10个crop，之后对结果求平均。作者说，不做随机crop，⼤⽹络基本都过拟合(under substantial overfitting)。
对RGB空间做PCA，然后对主成分做⼀个(0, 0.1)的⾼斯扰动。结果让错误率⼜下降了1%。
ReLU 激活函数
Sigmoid 是常⽤的⾮线性的激活函数，它能够把输⼊的连续实值“压缩”到0和1之间。特别的，如果是⾮常⼤的负数，那么输出就是0；如果是⾮常⼤的正数，输出就是1.
但是它有⼀些致命的 缺点：
Sigmoids saturate and kill gradients. sigmoid 有⼀个⾮常致命的缺点，当输⼊⾮常⼤或者⾮常⼩的时候，会有饱和现象，这些神经元的梯度是接近于0的。如果你的初始值很⼤的话，梯度在反向传播的时候因为需要乘上⼀个sigmoid 的导数，所以会使得梯度越来越⼩，这会导致⽹络变的很难学习。
Sigmoid 的 output 不是0均值. 这是不可取的，因为这会导致后⼀层的神经元将得到上⼀层输出的⾮0均值的信号作为输⼊。
产⽣的⼀个结果就是：如果数据进⼊神经元的时候是正的(e.g. 计算出的梯度也会始终都是正的。
当然了，如果你是按batch去训练，那么那个batch可能得到不同的信号，所以这个问题还是可以缓解⼀下的。因此，⾮0均值这个问题虽然会产⽣⼀些不好的影响，不过跟上⾯提到的 kill gradients 问题相⽐还是要好很多的。
ReLU 的数学表达式如下：
很显然，从图左可以看出，输⼊信号 是⼆维的情况下，使⽤ReLU之后的效果如下：
Alex⽤ReLU代替了Sigmoid，发现使⽤ ReLU 得到的SGD的收敛速度会⽐ sigmoid/tanh 快很多。
主要是因为它是linear，⽽且 non-saturating（因为ReLU的导数始终是1），相⽐于 sigmoid/tanh，ReLU 只需要⼀个阈值就可以得到激活值，⽽不⽤去算⼀⼤堆复杂的运算。
关于激活函数更多内容，请移步我的另⼀篇⽂章：
Dropout
结合预先训练好的许多不同模型，来进⾏预测是⼀种⾮常成功的减少测试误差的⽅式（Ensemble）。但因为每个模型的训练都需要花了好⼏天时间，因此这种做法对于⼤型神经⽹络来说太过昂贵。
然⽽，AlexNet 提出了⼀个⾮常有效的模型组合版本，它在训练中只需要花费两倍于单模型的时间。这种技术叫做Dropout，它做的就是以0.5的概率，将每个隐层神经元的输出设置为零。以这种⽅式“dropped out”的神经元既不参与前向传播，也不参与反向传播。
所以每次输⼊⼀个样本，就相当于该神经⽹络就尝试了⼀个新的结构，但是所有这些结构之间共享权重。因为神经元不能依赖于其他特定神经元⽽存在，所以这种技术降低了神经元复杂的互适应关系。
正因如此，⽹络需要被迫学习更为鲁棒的特征，这些特征在结合其他神经元的⼀些不同随机⼦集时有⽤。在测试时，我们将所有神经元的输出都仅仅只乘以0.5，对于获取指数级dropout⽹络产⽣的预测分布的⼏何平均值，这是⼀个合理的近似⽅法。
多GPU训练
单个GTX 580 GPU只有3GB内存，这限制了在其上训练的⽹络的最⼤规模。因此他们将⽹络分布在两个GPU上。
⽬前的GPU特别适合跨GPU并⾏化，因为它们能够直接从另⼀个GPU的内存中读出和写⼊，不需要通过主机内存。
他们采⽤的并⾏⽅案是：在每个GPU中放置⼀半核（或神经元），还有⼀个额外的技巧：GPU间的通讯只在某些层进⾏。
例如，第3层的核需要从第2层中所有核映射输⼊。然⽽，第4层的核只需要从第3层中位于同⼀GPU的那些核映射输⼊。
Local Responce Normalization
⼀句话概括：本质上，这个层也是为了防⽌激活函数的饱和的。
方俊明
个⼈理解原理是通过正则化让激活函数的输⼊靠近“碗”的中间(避免饱和)，从⽽获得⽐较⼤的导数值。
所以从功能上说，跟ReLU是重复的。
不过作者说，从试验结果看，LRN操作可以提⾼⽹络的泛化能⼒，将错误率降低了⼤约1个百分点。fds
AlexNet 优势在于：⽹络增⼤（5个卷积层+3个全连接层+1个softmax层），同时解决过拟合（dropout，data
augmentation，LRN），并且利⽤多GPU加速计算
<link rel="stylesheet" href="csdnimg/release/phoenix/template/css/markdown_views-ea0013b516.css">
</div>
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议