深度学习笔记(6)——CNN中的卷积block

深度学习笔记(6)——CNN中的卷积block
因为最近写各种论⽂所以⼀直没有更新,准备先开个坑之后再填。这篇博客将是CNN⽹络的终结篇,之后将会开始介绍RNN⽹络。刚构
CNN⽹络最初诞⽣的时候结构⽐较简单,都是⼏个卷积层堆叠⼀下。但是微软的Resnet和⾕歌的Inception系列⽹络把CNN带到⼀个设计各种block反复调⽤的时代。⽐起传统的CNN⽹络,新的block设计能够在简化运算的同时保持甚⾄提⾼⽹络的泛化能⼒。那么本篇博客就来介绍⼀下现在各种主流block的结构和原理,主要包括Resnet系列(ResNet, ResNeXt, DenseNet, SeNet, ShuffleNet)和GoogleNet系列(Inception-v1, Inception-v2, Inception-v3, Inception-v4, Xception)。
GoogleNet系列
GoogleNet是⽐较经典的⼀个系列,主要包括Inception和Xception两个⼦系列,GoogleNet系列的⽹络特点在于融合不同尺度的feature map和使⽤group convolution的思想。
Inception-v1
Inception-v1是第⼀代GoogleNet,其block没有太多特⾊的地⽅,但是相⽐于VggNet、AlexNet这种⽅⽅正正的上古⽹络,Inception-v1融合不同尺⼨的feature map和感受野。实现⽅式是⽤三个不同size的卷积
核()去得到不同尺度的feature map,最早的v0版本的inception就是直接⽤三个卷积核进⾏卷积,v1做了⼀个微⼩的改进就是引⼊了的卷积层来控制feature map的channel,减少参数量。Inception-v1还有⼀个pooling层分⽀,如果不做pooling这个pooling是不需要的,并且卷积核的stride也为1;如果要做pooling的话那么max pooling和卷积核的stride需要⼀致,基本⼤部分情况都会设置成2。最后通过concatenate不同感受野的feature map就得到了block 的输出,这个设计的好处可以得到不同感受野尺⼨的特征。
Inception-v2
长沙县黄兴中学Inception-v2是Inception-v1的改进版,改动浮动不⼤,主要的思想是认为两个的卷积核串联在感受野上等效于⼀个的卷积核,但是卷积核参数量从25减少到了18。
最后Inception-v2的⽹络结构长成这样,就是把v1的卷积核拆成了两个的卷积核:
相对介电常数
Inception-v3
Inception-v3是Inception-v2的改进版,改进同样也不⼤,就是进⼀步做了卷积核的拆解。⼀个很直⽩的思想就是⼀个的卷积核可以拆解为和的串联,⽽保证感受野不变,但是参数量从9变成6。Inception⽹络中有⼤量的的卷积核,所以这个操作最终能够减少蛮多参数量和计算量。最终Inception-v3的结构为:
当然除了这种思想是通⽤的,除了的卷积核以外,v3还把等卷积核也进⼀步分解为两个了,此外把图像的输⼊⼤⼩从改为了,来进⼀步精⼼的控制了feature map的尺⼨。
天下第一蛋
Inception-v4
mlssaInception-v4主要是引⼊了Resnet的shortcut思想,得到了⼀个Inception-Resnet v2⽹络,这个在之后的Resnet⾥⾯介绍⼀下shortcut 就⾏。另外⼀个就是进⼀步改造了⼀下Inception⽹络,我感觉这些改造并不漂亮,所以不介绍了,感兴趣的可以⾃⼰看原论⽂。
综上其实⽤的⽐较多的Inception-v2系列,v2应该是性能和简洁度上⽐较折中的⼀个⽹络,后⾯的Inception⽹络写起来确实⽐较繁琐。央视网评星巴克事件
Xception

本文发布于:2024-09-21 22:25:21,感谢您对本站的认可!

本文链接:https://www.17tex.com/xueshu/475128.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:卷积   感受   设计   数量
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议