我的电脑我做主
image
SPPnet是⽬标检测领域不可忽略的⼀篇论⽂，中国⼈何恺明⼤神的作品，阅读起来感觉亲（简）切（单）多了。在我看来，SPPnet主要有两处亮点：1.它解决了深度卷积神经⽹络（CNNs）的输⼊必须要求固定图像尺⼨（例如224*224）的限制。2.在⽬标检测领域它提⾼了提取特征的效率，速度相⽐R-CNN提升24-102倍。 ⼀.SPPnet让⽹络的输⼊图⽚可以是任意尺⼨
image
深度卷积神经⽹络的基础结构分为：卷积层（conv layers）->池化层（pooling layers）->全连接层（f c layers）。我们在设计⽹络的时候，全连接层的输⼊维数必须提前固定。从全连接层往前推的话，就必须保持第⼀层卷积的输⼊尺⼨是固定的，例如224 * 224（ImageNet）、32 * 32（LenNet）等。这也就要求我们在检测图⽚时，需要将图⽚经过crop（裁剪）、warp（拉伸）等操作把图⽚变换成固定尺⼨，才能输⼊神经⽹络。这些操作在⼀定程度上会导致图⽚信息的丢失或者变形。对此SPPnet提出的解决⽅案是在最后⼀层卷积层后⽤空间⾦字塔池化层（Spatial Pyramid Pooling）代替普通池化层。
⼆.空间⾦字塔池化（Spatial Pyramid Pooling）实现原理
空间⾦字塔池化并⾮作者原创，它是⼀种词袋（Bag of Words,BoW）模型的拓展，该模型在计算机视觉领域已经是⾮常成功的⽅法了，它将图像切分成粗糙到精细各种级别，然后整合其中的局部特征。
image
论⽂中举例：把卷积操作之后的特征图（feature maps），以不同⼤⼩的块（池化框）来提取特征，分别是4 * 4，2 * 2，1 * 1，将这三张⽹格放到下⾯这张特征图上，就可以得到16+4+1=21种不同的块(Spatial Bins)，我们从这21个块中，每个块提取出⼀个特征（提取⽅式有平均池化、最⼤池化等），这样就得到了固定的21维特征向量。以不同的⼤⼩格⼦的组合⽅式来池化的过程就是空间⾦字塔池化。这么⼀来，我们只要设计m个n * n⼤⼩的⽹格就可以⽣成任意维数的特征向量，⽽不需要在意经过多层卷积操作后的特征图的⼤⼩是多少，这也意味着我们不需要在意⽹络输⼊的图⽚尺⼨。
非政府间国际组织三.R-CNN进⾏特征计算时的低效
image
利⽤R-CNN进⾏⽬标检测，虽然在VOC和ImageNet上都表现了出⾊的检测精度，但是R-CNN提取特征的计算⾮常耗时，主要因为在对每张图⽚中的多达2000个的候选区域的像素反复调⽤CNN进⾏提取特征。其中的候选区域存在⼤量重叠的部分，这种设计明显造成了⼤量的计算浪费。
四.SPPnet如何提⾼特征计算的速度
复旦论坛SPPnet的做法是⾸先通过选择性搜索，对待检测的图⽚进⾏搜索出2000个候选窗⼝。这⼀步和R-CNN⼀样。然后把整张待检测的图⽚，输⼊CNN中，进⾏⼀次性特征提取，得到feature maps，然后在feature maps中通过映射关系到各个候选框的区域，再对各个候选框采⽤⾦字塔空间池化，提取出固定长度的特征向量。⽽R-CNN输⼊的是每个候选框，然后再进⼊CNN，因为SPP-Net只需要⼀次对整张图⽚进⾏特征提取，速度会⼤⼤提升。
⽽问题的关键在于特征图（feature maps）的⼤⼩是根据图⽚的⼤⼩与卷积层的卷积核⼤⼩（kernel size）与步长（stride）决定的，如何在特征图上到原图上对应的候选区域，即两者之间的映射关系是怎么样的。
论⽂中给出⼀个公式：
卡西族
学生教育
假设(x’,y’)表⽰特征图上的坐标点，坐标点(x,y)表⽰原输⼊图⽚上的点，那么它们之间有如下转换关系，这种映射关⼼与⽹络结构有关：(x,y)=(S x’,S y’)
什么是附着力反过来，我们希望通过(x,y)坐标求解(x’,y’)，那么计算公式如下：
image
S就是CNN中所有的strides的乘积，包含了池化、卷积的stride
五.⼩结
SPPnet解决了R-CNN的两个缺点，是值得学习阅读的⼀个⽹络，但是个⼈感觉论⽂写的很臃肿，⼤量篇幅⽤来叙述SPPnet的功效与各种测试对⽐结果，⽹络很多结构却都是照搬R-CNN，作者并没有进⾏更深⼊的优化。这或许也是为什么rbg后来写出了fast r-cnn的原因吧。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议