基于Mask R-CNN和多特征融合的实例分割

u型池

收稿日期:2019-10-17 修回日期:2020-02-25

基金项目：国家自然科学基金(61601261)

作者简介：姜世浩(1994-)，男，硕士研究生，研究方向为计算机视觉；齐苏敏，博士，副教授，研究方向为计算机视觉；王来花，博士，副教授，研

究方向为信息处理㊂基于Mask R -CNN 和多特征融合的实例分割

姜世浩，齐苏敏，王来花，贾　惠

(曲阜师范大学软件学院，山东曲阜273165)

摘　要：为了能够充分地利用图像特征信息，提升实例分割的效果，提出了一种基于Mask R-CNN 网络结构和多特征融合的实例分割模型㊂首先，在Mask R-CNN 模型的基础上引入两条分支：一条基于整体嵌套边缘检测(HED)模型的边缘检测分支生成偏重于边缘信息的边缘特征图，一条基于全卷积网络(FCN)的语义分割分支生成偏重于空间位置信息的语义特征图㊂然后，在进行感兴趣区域对齐(ROIAlign)时，为了充分利用特征金字塔的各层信息，将感兴趣区域(ROI)同时映射到相应的金字塔层及其相邻层㊂最后，融合以上得到的多个特征图，生成信息更加丰富的新特征用于后续的检测和分割任务㊂实验结果表明，该方法有效提高了检测和分割的准确性㊂在使用Resnet50-FPN 作为骨干网络且没有附加条件的情

况下，与Mask R-CNN 相比，该模型的检测和分割平均精度(mAP)分别提升了1.2%和1.0%㊂

关键词：实例分割；深度学习;Mask R-CNN；全卷积网络；特征融合

中图分类号:TP391 　文献标识码:A 文章编号:1673-629X (2020)09-0065-06

doi:10.3969/j.issn.1673-629X.2020.09.012

Instance Segmentation Modal Based on Mask R -CNN and Multi -feature Fusion

JIANG Shi -hao ,QI Su -min ,WANG Lai -hua ,JIA Hui

(School of Software Engineering ,Qufu Normal University ,Qufu 273165,China )

Abstract :To fully utilize image features to improve the effect of instance segmentation ,an instance segmentation model based on Mask R -CNN network structure and multi -feature fusion scheme is proposed.Firstly ,two branches are introduced on the basis of Mask R -CNN.One is an edge detection branch based on holistically -nested edge detection (HED )model to generate edge feature graph with emphasis on edge information ,the other is a semantic segmentation branch based on fully convolution network (FCN )to generate semantic feature graph with emphasis on rich spatial loc

ation information.Secondly ,when performing ROIAlign ,regions of interest (ROI )are mapped to the corresponding pyramid layer and its adjacent layers to make full use of the information of each layer of the feature pyramid.Finally ,the above multiple feature graphs are fused ,and the new features with richer information can be generated for subsequent detection and segmentation tasks.Experiment shows that the proposed method effectively improves the accuracy of detection and segmentation.With Resnet 50-FPN as the backbone network and no bells and whistles ,the box AP is increased by 1.2%and the mask AP is increased by 1.0%compared to Mask R -CNN.

Key words :instance segmentation ;deep learning ;Mask R -CNN ;fully convolution networks ;feature fusion 0　引　言

实例分割[1-2]是指给定一个图像，在正确检测出图像中所有目标的同时对每一个目标进行分类以及像素级别的分割，是一项具有挑战性的计算机视觉任务，与计算机视觉中的两个经典任务目标检测[3-5]与语义分割[6-9]密切相关㊂实例分割的结果中包含非常丰富的信息，在自动驾驶㊁智能监控㊁生物医疗㊁人机交互等领域有着极大的利用价值㊂电子签章技术

2014年Hariharan 等人提出了SDS [10]模型，该模型使用多尺度可结合组(MCG )提取建议区域，对于每

电杆钢模个区域，使用卷积神经网络(CNN )来提取前景特征,

油底壳垫

再对每个区域使用支持向量机(SVM )在CNN 顶层特

征上进行分类㊂2015年Pinheiro 等人提出了基于单个

卷积网络的DeepMask [11]模型㊂给定一个图像块作为

夫妻保健器具输入，输出一个与类别无关的掩模和该图像块完全包

含一个物体的概率㊂同年,Dai 等人提出了多任务网第30卷　第9期2020年9月计算机技术与发展COMPUTER TECHNOLOGY AND DEVELOPMENT

Vol.30　No.9Sep.　2020硬件加速器

本文发布于:2024-09-23 12:33:24，感谢您对本站的认可！

本文链接：https://www.17tex.com/tex/3/307650.html

上一篇：遥感影像融合评价定量指标选取问题

下一篇：图像融合(ImageFusion)

标签：分割特征检测信息模型实例区域视觉

留言与评论（共有 0 条评论）