基于mobilenetv3的结构性剪枝优化

论文

基于MobileNetV3的结构性剪枝优化

宋非洋1吴黎明2郑耿哲2何欣颖2

（1.广东工业大学信息工程学院 2.广东工业大学机电工程学院）摘要：针对深度神经网络参数过多以及计算量巨大，使其较难部署在移动设备和APP上的问题，提出采用高效轻量化的MobileNetV3模型与结构性剪枝相融合的方法，对深度神经网络进行重构和压缩。最终生成的精简模型体积比原始模型缩小5.8倍，大幅度减少计算量和内存的消耗。经过微调后的精简网络模型相比于稀疏化训练的网络，准确度更高、泛化性能更好，能够直接运行在成熟框架（Pytorch，MXnet或TensorFlow等）或硬件平台上（GPU，FPGA等），无需特殊算法库的支持。

关键词：深度神经网络压缩；MobileNet；结构性剪枝

0引言

近年来，深度神经网络在计算机视觉、语音识别等方面取得较大成就[1-3]。深度神经网络的发展一方面

得益于基础理论的完善，另一方面也得益于近几年GPU计算能力的爆发性增长。随着深度神经网络的不断发展，为完成更复杂的任务，深度神经网络变得越来越深，计算量也越来越大。Hinton和Alex Krizhevsky 等人[4]在2012年的国际计算机视觉挑战赛（ImageNet Large Scale Visual Recognition Competition，ILSVRC）上提出AlexNet，以16.4%的Top5错误率夺得冠军，其包含6亿3000万个链接，6000万个参数和65万个神经元。一张图片从输入到输出需要经过15亿次的浮点数计算。后来提出的高性能网络结构，如VGGNet[5]，DenseNet[6]和ResNet[7]等，则需要更多的储存空间和更高的计算能力。

由于嵌入式设备和移动设备的硬件条件受限，无法支撑这种计算密集型和存储密集型的深度神经网络。但与此同时，手机、汽车等移动场景对深度学习的需求越来越多。因此，对深度神经网络进行压缩、加速，使其能够部署在移动设备上变得至关重要[8]。针对上述问题，主流的解决方法有模型压缩和轻量化模型设计2种。

本文采用高效轻量化的MobileNetV3模型与结构性剪枝相融合的方法，进一步压缩轻量化的深度神经网络，并测试了压缩后的模型性能以及深度神经压缩[9]中结构性剪枝的压缩方式对网络模型的影响。

1MobileNetV3

2019年，Google公布了MobileNet系列的最新成果MobileNetV3。MobileNetV3作为新一代轻量级深度

卷积神经网络，既继承于原有的MobileNetV1和MobileNetV2，又拥有许多新特性。

打铃器

在最初的MobileNetV1[10]中，引入了深度可分离卷积（depthwise separable convolution，DSC）来代替传统卷积。DSC分为depthwise convolution（DWC）和pointwise convolution（PWC）2部分。与传统卷积核对所有输入通道进行滤波不同的是，深度可分离卷积首先利用DWC对每一个输入通道使用不同的卷积核，然后采用PWC将上面的输出结合。这样整体效果和一个标准卷积相差无几，且能大幅减少计算量和参数量。若设第i层的传统卷积i L为i i i

h w d

⨯⨯，卷积核j

双人雨披

主轴编码器>汽车智能防盗系统K⨯⨯⨯

∈，则输出j L为j

i d

pet铝膜w

h⨯

⨯，那么传统卷积的计算消耗为i i i j

h w d d k k

⨯⨯⨯⨯⨯，深度可分离卷积计算消耗为()

四氧化锰

i i i j

h w d k d

⨯⨯+；若取卷积核大小为3

3⨯，深度可分离卷积相对于传统卷积能减少约8倍的计算量。

在MobileNetV2中，引入了线性瓶颈层（Linear Bottlenecks）和反转残差层（Inverted Residuals）[11]。线性瓶颈层的研究表明，在低维度的张量上进行ReLU等非线性变换时会造成较大的信息损耗。因此，

本文发布于:2024-09-23 03:24:29，感谢您对本站的认可！

本文链接：https://www.17tex.com/tex/4/314275.html

上一篇：深度学习训练提高模型准确性的关键技巧

下一篇：【嵌入式AI】CNN模型压缩(剪枝,量化)详解与tensorflow实验

标签：深度卷积神经网络

留言与评论（共有 0 条评论）