河北御捷马
CNN基础知识不牢固，总是会有⼀些理解不透彻的问题与地⽅。在此集中对kernel的参数、卷积过程以及channel进⾏回顾性总结理解。1、卷积过程基本概念
本部分我在有针对卷积过程的基本叙述，但是事实上长期不回顾就会有遗忘与不理解，重点还是要时时温故⽽知新，并且需要对基础知识进⾏打牢。
1.1、feature map
在cnn的每个卷积层，数据都是以三维形式存在的。你可以把它看成许多个⼆维图⽚叠在⼀起（像⾖腐⽪⼀样），其中每⼀个称为⼀个feature map。
输⼊层：在输⼊层，如果是灰度图⽚，那就只有⼀个feature map；如果是彩⾊图⽚，⼀般就是3个feature map（红绿蓝）。
中间层或者输出层：层与层之间会有若⼲个卷积核（kernel）。上⼀层中全部的feature map和⼀个卷积核做卷积，都会产⽣下⼀层的⼀个feature map；若设置有N个卷积核，下层就会产⽣N个feather map。
注意⼀般卷积核为3*3⼤⼩，但是要注意卷积核是有channel的，channel数⽬与上层所对应的feature map个数完全相同。
1.2、卷积核
卷积核在有的⽂档⾥也称为过滤器（filter）：
1. 每个卷积核具有长宽深三个维度；
2. 在某个卷积层中，可以有多个卷积核：下⼀层需要多少个feather map，本层就需要多少个卷积核。
再来看看卷积核的计算过程：举例vgg⽹络来说，输⼊224x224x3（rgb三通道），输出是32位深度，卷积核尺⼨为5x5。 那么我们需要32个卷积核，每⼀个卷积核的尺⼨为5x5x3（最后的3就是原图的rgb位深3），每⼀个卷积核的每⼀层是5x5（共3层）分别与原图的每层224x224卷积，然后将得到的三张新图叠加（算术求和），变成⼀张新的feature map。 该过程重复32遍则可以得到该层的输出。
不管输⼊图像的深度为多少，经过⼀个卷积核（filter），最后都通过下⾯的公式变成⼀个深度为1的特征图。不同的filter可以卷积得到不同的特征，也就是得到不同的feature map。
1.3、卷积核计算过程的理解：
因为卷积核实际上就是如3x3，5x5这样⼦的权值（weights）矩阵。我们的⽹络要学习的其实就是这些权值（weights）的数值。⽹络不断前后向的计算学习，⼀直在更新出合适的weights，也就是⼀直在更新卷积核。卷积核在更新了，学习到的特征也就被更新了
卷积神经⽹络的⼀整套流程就是：更新卷积核参数（weights），就相当于是⼀直在更新所提取到的图像特征，以得到满⾜深度学习任务要求的特征。
2、深度学习⽹络的计算量与参数量
陶慕宁这部分我们在具体的深度学习任务中使⽤的⾮常多，涉及到模型的评价与改进；在此对模型的计算量与参数量分别进⾏总结。
2.1、参数量：
决定模型的⼤⼩，尤其在移动端存储空间⼨⼟⼨⾦的现状下，减⼩模型的参数量⾮常有必要。
2.2、计算量：
李谷一五十年演唱会
与模型的计算速度有直接的关系，计算量越⼤则程序的运⾏速度越慢。
3、常⽤的卷积参数量、计算量计算⽅式
3.1、计算的标量单位：
MACs 和MAdds：⾸先，MACs和MAdds说的是⼀个东西。两者值是⼀样的
FLOPs：根据github issue 的回答：
Most of modern hardware architectures uses FMA instructions for
operations with tensors. FMA computes a*x+b as one operation. Roughly
GMACs = 0.5 * GFLOPs
简单地说就是：
变动费用3.2、计算⼯具：
⾸先很常⽤的⼯具：
TensorFlow：⾃带tf.RunMetadata()， 使⽤例⼦可以参考(TensorFlow: Is there a way to measure FLOPS for a model?l) 4、卷积⽹络的发展趋势
这⼀部分拾⼈⽛慧，感觉分析的还是很有道理。
1.⼩ --模型有效且参数少
农业经济与管理2.快 --运⾏速度快
3.准 --与⼤模型有相当的准确率skyline
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议