基于超像素特征表示的图像前景背景分割算法

第37卷 第5期2017年09月
西安科技大学学报
JOURNALOFXI’ANUNIVERSITYOFSCIENCEANDTECHNOLOGY
Vol.37 No 5
Sep 2017
    DOI:10.13800/j.cnki.xakjdxxb.2017.0520文章编号:1672-9315(2017)05-0731-05
 基于超像素特征表示的图像前景背景分割算法
薛 萍
(西安科技大学计算机科学与技术学院,陕西西安710054)
摘 要:图像前景背景分割是图像处理中的关键技术,文中提出了基于超像素分类的二值分割算法。对于输入图像,首先采用超像素分割算法,将图像分割成多个保留边缘的封闭区域,即超像素;对每一块
超像素,考虑颜和纹理,构造一种对光照和颜较为鲁棒的特征,来消除同种物体在光照和颜差异下的影响;用所得特征训练分类器,判断每块超像素属于前景或背景;最后将超像素分类结果作为初值用图分割的方法进行修正,得到最终的二值分割结果。实验结果显示算法能较好的完成前景背景分割的任务。此外,本算法易于和现有的分类算法相结合,具有较强的可移植性。
关键词:图像分割算法;超像素提取;线性分类器;特征表示
中图分类号:TN911.73   文献标志码:A
Foregroundandbackgroundsegmentationbasedon
superpiexel levelfeaturerepresentation
XUEPing
(CollegeofComputerScienceandEngineering,Xi’anUniversityofScienceandTechnology,Xi’an710054,China)Abstract:Theforegroundandbackgroundsegmentationisanimportanttechniqueinimageprocessing.Inthispaper,abinarysegmentationmethodis
proposedbasedontheclassificationofsuperpixel.Thein putimageisfirstlydividedintoseveralsuperpixeltoprotecttheedgeofobjects.Foreachsuperpixel,thecolorandtextureareconsideredtoextractthefeaturewithrobustforilluminationandcolor,whichcane liminatetheinfluenceoflightandcolor.Thefeaturevectorsarefurtherusedtotrainaclassificationtoclassifythesuperpixelintoforegroundorbackground.Finally,thegraphcutmethodisusedtomodifytheclasslabelofeachpixelwiththeinitializationofsuperpixel.Theexperimentresultshowsthatthemethodcansuccessfullyextracttheobjectsfromthebackground.Moreover,thismethodiseasytobeimplemen tedsinceitcanbecombinedwiththeclassificationtechniquedirectly.
Keywords:imagesegmentation;superpixelextraction;linearclassifier;featurerepresentation
0 引 言
图像前景背景分割是一种特殊的图像分割算法,其目的是根据内容,把图像中特定物体出作为前景,其他区域作为背景的技术,这种技术又称为亚像素级图像分割技术。作为图像语义分析的关键步骤,图像前景背景分割在计算机视觉中有广泛的应用。朱远清等[1]提取图像的前景作为主
收稿日期:2016-12-26   责任编辑:高 佳
作者简介:薛 萍(1963-),女,山东青岛人,高级工程师,E mail:xuep@xust.edu.cn博看网 . All Rights Reserved.
体,然后用颜和纹理特征进行相似度匹配,从而进行图像区域的检索;牛杰等[2]用深度(RGB-D)图像进行前背景分割,并根据前景比配的方法进行目标实时监测;戴雪峰等[3]则对监控场景进行前景分割,开发了一个数字图像监控系统;刘铭等[4]通过SURF算法和小波变换,将图像分割成前景和背景,融合出全背景图像,用于视频修复技术;而Liu等[5]则利用前背景分割技术,对高分辨率图像中的飞行器进行识别。
近年来,国内外学者对前景背景分割算法进行了研究,提出并改善这项技术。楚瀛等[6]检测封闭的图像前景、背景边缘,用以得到抗噪声的图像前景和背景区域;张巧荣等[7]利用视觉显著性,
对图像进行阈值分割从而分离出前景和背景;翟玲等[8]通过提取超像素的颜和纹理特征,代入条件随机场分割方法得到前景和背景。陈鹏翔等[9]根据背景去除模型的思想,结合区域拟合方法,提出一种新的图像分割模型;Cordes等[10]利用目标的结构进行恢复,在有遮挡的情况下提取物体的前景和背景。
相对于上述研究,文中提出一种基于超像素分类算法,实现图像的前景背景分割。图像的二值分割可以看作对每个像素点分类的标定过程。为保留物体的完整边界,算法首先对图像进行超像素分割,对每块超像素,提取颜和纹理特征。与文献[7]不同,文中用分类器,对特征进行分类,判断每块超像素属于前景或背景。以超像素判断结果作为初值,再通过图分割进行修正,得到最终的分割结果。由于二分类是机器学习领域中很成熟的技术,因此文中的算法简单且高效,并且易于结合不同分类算法改善性能。
1 基于超像素分类的图像前景背景分割算法
  图像的二值分割可以看作是对图像中每个像素值点进行二值分类,前景为一类,背景为一类。按照该思路,文中设计简单的分类模型来完成对物体的前景-背景分割。对于一幅输入图像,首先依照物体边缘和纹理等特征,将图像分成若干超像素。对每个超像素块,根据颜和纹理构造出对应的特征,用分类器对超像素的特征粗分类出前背景。最后用图分割的方法对图像进行修正,提高分割精度。
1.1 超像素提取
一幅数字图像是由二维像素阵列组成的,根据像素的取值,可以将图像细分为多个具有共同特征的的子区域,即超像素。文中采用SimpleLin
earIterativeClustering(SLIC)算法提取超像素[11]。设图像像素坐标为(x,y),像素的取值是三维LAB颜空间(l,a,b)。与常用的RGB空间类似,LAB是定义在亮度和颜空间上的另一种表示方式。因此每个像素点可以由一个五维向量[x,y,l,a,b]表示。SLIC算法预先设定图像中有K个超像素,然后用聚类算法将像素分成K类,则每类都是一个超像素。聚类算法主要分为2步,像素点分配和超像素中心更新。算法迭代更新以上2个步骤,计算出对图像的最优分块。
1)像素点分配:在超像素中心确定时,更新每个超像素点包含的像素点。对于包含N个像素的图像,每个像素块大约包括N/K个像素点,若把超像素近似成正方形,则其边长约为S=槡N/K.设第k个超像素的中心为C
=[x
,y
,l
,a
,b
],则
可在中心点(X
,Y
)的2S×2S邻域内搜索像素点是否属于该超像素。搜索时计算超像素中心和每
个像素点的距离D
,再根据所选像素更新中心点
.计算距离时采用欧几里得距离,在颜空间内小距离有重要意义,即颜距离很小而空间距离较大,也可认为属于同一块超像素。因此算法分开计算颜和空间的距离,用加权作为距离最终的度量。
lab
=(l
-l
)2+(a
-a
)2+(b
-b
槡2,
xy
=(x
-x
2+(y
-y
槡2,(1)
=d
lab
xy
其中 d
lab
和d
xy
分别为颜和空间距离;m为用来控制超像素紧密程度的变量,通常取值在[1,20]间。对每个超像素,通过计算2S×2S邻域内像素点到超像素中心的距离,来判断每个像素点属于哪个超像素,实现的像素点分配;
2)超像素中心点更新:在像素点分配完成之后,取每个超像素块中所有像素值的均值作为新的中心点。为避免中心刚好在图像中物体的边界上,计算整幅图像的梯度,然后将中心坐标移动到该超像素块中梯度最小的地方而颜值保持不变。
算法给定超像素的个数K,计算出边长S,并
初始化K个超像素的中心C
.然后交替执行1)和2),最终算出图像的超像素。
7         西安科技大学学报           2017年 博看网 . All Rights Reserved.
第5期薛 萍:基于超像素特征表示的图像前景背景分割算法
1.2 特征提取
文中提出了一种基于超像素的特征表示方法。对于图像,通常根据颜和纹理来区分不同的物体。因此以超像素为单位,分别提取每块超像素的颜和纹理特征,作为判断前景和背景的依据。下面分别介绍文中使用的2种特征。1.2.1 HSV量化特征
与RGB空间类似,HSV作为经典的颜模型,参数分别是:调(H),饱和度(S),亮度(V)。其中,调H用角度度量,取值范围为0°~360°,从红开始按逆时针方向计算,红为0°,绿为120°,蓝为240°.饱和度S表示颜接近光谱的程度,其中光谱所占的比例愈大,颜的饱和度也就愈高。通常取值范围为[0,1],值越大,颜越饱和。亮度表示颜明亮的程度,对于光源,明度值与发光体的光亮度有关;对于物体,此值和物体的透射比或反射比有关。通常取值范围为0(黑)到1(白)。
由于HSV是一种比较直观的颜模型,相比于常用的RGB模型,它对光照的影响更加鲁棒,因此在实验中,对HSV模型进行量化,并在每个超像素上统计量化后的直方图,作为超像素的颜特征。量化过程如下
1)将图像转换成HSV形式,将H,S,V分量分别等分成16,4,4份,像素量化后的灰度值计算公式为L=16H+4S+V;
2)对每个超像素中的像素统计L值,得到统计直方图。L的取值范围是0~255的整数,因此直
方图是256维的向量;
3)对256维向量进行归一化,使其模值为1.
这样可得到每个超像素的颜特征。1.2.2 纹理特征
虽然颜特征是物体最主要的特征,但如果仅用颜特征会有不鲁棒的缺点,尤其是物体本身颜也并不统一。因此,除颜特征外还加入了纹理特征,增加特征的稳定性。
局部二值模式(LBP)是一种用来描述图像局部纹理特征的算子它的作用是进行特征提取,提取图像的局部纹理特征[12]。
原始的LBP算子定义在3×3的窗口内,以窗口中心像素为阈值,将相邻的8个像素的灰度值与其进行比较,若周围像素值大于中心像素值,则该像素点的位置被标记为1,否则为0.3×3领域内的8个点可产生8bit的无符号数,即得到该窗口的LBP值,并用这个值来反映该区域的纹理信息。如式(2)所示,P=8,计算公式为
LBP
P,R
(x
,y
)= P-1
p=0
s(g
-g
)2p.(2)
其中 g
为中心像素点;g
为邻域像素点;s(i)为
符号函数;i为(x
,y
)点处的像素值,当i≥0时s(i)=1,其他情况s(i)=0.LBP纹理特征向量,一般以图像的分块LBP直方图表示,具体计算步骤如下
1)将图像划分为N×N的图像子块,计算每个子块中每个像素的LBP值;
2)对每个子块进行直方图统计,得N×N图像子块的直方图,并归一化;
3)利用N×N个子块的直方图,描述该图像的纹理特征。
因为LBP是8位二进制码,每个像素的LBP值也是0~255之间的整数,所以得到的特征同样是256维的。将颜和纹理特征结合成512维的向量作为超像素最终的特征,然后利用分类器即可对超像素进行分类,判断其属于前景还是背景。1.3 基于线性分类器的图像前景背景分割
从超像素中提取特征之后,训练合适的分类器对每个特征进行预测,判断是前景还是背景。分类器是在已有数据的基础上训练一个分类函数或模型。设训练图像中每个超像素的特征为x,对应标签为c,其中c=1为超像素属于前景;c=-1为超像素属于背景。可定义分类器
   f:argmin
‖c-f(x)‖2.(3)对于给定的数据库,首先对已知前背景的图像分割超像素并提取特征,然后用特征及标签训练分类器。对于测试图片,用训练好的分类器进行预测,判断每块超像素的标签。实验中同时考虑分类的准确率和时间复杂度,算法采用常用的线性支持向量机(SVM)[13]作为分类器。
超像素通常包含很多像素点,因此标定一个超像素中所有像素点为前景或背景,尤其在超像素边界和图像前背景边界不一致时会产生较大误差。算法用超像素标定好的结果作为初值,再通过图分割(graphcut)的方法,对每个像素进行微调,减小像素级的标定误差。算法采用最大流最小割(maxflowmincut)[14]算法对超像素分割结果做进一步调整,得到最终的分割结果。
博看网 . All Rights Reserved.
2 结果与分析
实验中,数据集包括鸟、汽车、飞机等10类图
像,其中训练图像200幅,给定RGB图像和每个像素点的标签。测试图像100幅(每类10幅),已知RGB图像而前背景未知。数据集如图1所示。
图1 训练集实例Fig 1 Thetrainingsetexamples
(a)不同类别物体的RGB图像 (b)对应前背景标签图像
  像素级精度是分割任务的主要客观评价指标之一,对于前背景二值分割问题,分割精度的定义
如下
   acc=TF+TB
F+
B.
其中 TF和TB分别为分割正确的前景和背景的像素点个数;F和B为真实结果中的前景和背景的像素点个数;F+B为图像的总像素点数。
由于不同类别的图像特征差距较大,因此实验中对不同类图像分别进行分类器训练,测试时,对图像统一进行超像素分割、像素块特征提取。之后对每一类图像,用对应的分类器进行分类,得到的结果再通过图分割进行调整。各类物体的分割精度见表1.
对训练集,文中在RGB图和前背景标签图上采用同样的超像素分割,考虑到精确程度和时间
要求,取K=200,即每幅图像分成200个超像素块。每块超像素提取512维特征训练分类器。最后用图分割的方法进行调整。图2展示了部分主观分割结果。
表1 各类别的图像测试结果Tab.1 Testresultsofvariousimages
类别最高精度/%
平均精度/%
精度在85%数目
动物房屋飞机牛人脸汽车羊鸟狗猫
10092.0893.3493.2088.7593.3196.3797.4596.6396.68
89.2384.2985.9583.7779.9777.1692.8580.5687.6678.86
7577519774
图2 测试结果Fig.2 Testresults
(a)测试RGB图像 (b)分割结果
437         西安科技大学学报           2017年
博看网 . All Rights Reserved.
第5期薛 萍:基于超像素特征表示的图像前景背景分割算法
  其中精度是预测准确的像素占图像全部像素的百分比。由结果可以看出,对于动物类如牛、羊等分割精度较高。由于人脸、汽车等形状较为复杂,颜和纹理区别较大,因此识别率稍低,如何根据不同种类物体设计合理的特征是未来需要进一步开展的研究工作。
3 结 论
提出了一种对给定RGB图像分割前背景的算法。对于给定图像,先用高效的超像素分割方法(SLIC)进行预处理,然后采用HSV颜和LBP纹理2种特征表示每块超像素,用训练好的线性支持向量机作分类器,对每块超像素内的所有像素点作预测。最后基于图分割算法对结果进行修正。实验结果中,主观结果表明算法可以大致区分出物体的轮廓和形状,客观结果显示分类精度约为84%.上述结果表明文中的算法能较好的分辨出图像中的前景物体,这为进一步的视觉问题研究,如物体识别、标识检测等提供了理论依据。
参考文献  References
[1] 朱远清,李才伟.一种基于前景与背景划分的区域图像检索方法及实现[J].中国图像图形学报,2007,12
(2):234-238.
ZHUYuan qing,LICai wei.Amethodandimplementa
tionforregion basedimageretrievalusingpartitionof
foregroundandbackground[J].JournalofImageand
Graphics,2007,12(2):234-238.
[2] 牛 杰,卜雄洙,钱  .基于前景分割的目标实时监测方法[J].计算机应用,2014,34(5):1463-
1466.
NIUJie,BUXiong zhu,QIANKun.Real timeobjectde
tectionmethodbasedonforegroundsegmentation[J].
JournalofComputerApplication,2014,34(5):1463-
1466.
[3] 戴雪峰,金连文,熊 波.基于图像前景分割的嵌入式智能监控系统[J].计算机工程,2007,33(20):233
-235.
DAIXue feng,JINLian wen,XIONGBo.Embeddedin
telligentsurveillancesystemsbasedonforegroundseg
mentationtechnology[J].ComputerEngineering,2007,
33(20):233-235.
[4] 刘 铭,刘雅楠,李靖宇.基于分割和全背景图像的视频修复算法[J].中国新通信,2015(7):117-118.
LIUMing,LIUYa nan,LIJing yu.Videocompletion
basedcutandbackgroundimage[J].ChinaNewTele
communications,2015(7):117-118.
[5] LiuG,SunX,FuK,etal.Aircraftrecognitioninhigh resolutionsatelliteimagesusingcoarse to fineshapepri
or[J].IEEEGeoscienceandRemoteSensingLetters,
2013,10(3):573-577.
[6] 楚 瀛,田 淞,张桂林,等.基于图像边缘特征的前景背景分割方法[J].华中科技大学学报,2008,36
(5):20-23.
CHUYing,TIANSong,ZHANGGui lin,etal.Video
foregroundandbackgroundsegmentationsbasededge
features[J].JournalofHuazhongUniversityofScience
andTechnology,2008,36(5):20-23.
[7] 张巧荣,景 丽,肖会敏,等.利用视觉显著性的图像分割方法[J].中国图象图形学报,2011,16(5):767
-772.
ZHANGQiao rong,JINGLi,XIAOHui min,etal.Im
agesegmentationbasedonvisualsaliency[J].Journalof
ImageandGraphic,2011,16(5):767-772.
[8] 翟 玲,朱 敏,戴李君.基于超像素与特征改进的Grabcut前景分割[J].微型电脑应用,2015,31(11):
48-50.
ZHAILing,ZHUMin,DAILi jun.Foregroundcutbased
onsuperpixelandfeature improvedgrabcut[J].Micro
computerApplications,2015,31(11):48-50.
[9] 陈鹏翔,杨晟院.区域拟合的背景去除图像分割模型[J].中国图像图形学报,2016,21(6):683-690.
CHENPeng xiang,YANGSheng yuan.Fastimageseg
mentationbasedonregion scalablefittingbackground
removalmodel[J].JournalofImageandGraphics,
2016,21(6):683-690.
[10]CordesK,ScheuermannB,RosenhahnB,etal.Fore groundsegmentationfromocclusionsusingstructureand
motionrecovery[C]//ComputerVision,Imagingand
ComputerGraphics.TheoryandApplication.Springer
BerlinHeidelberg,2013:340-353.
[11]AchantaR,ShajiA,SmithK,etal.SLICSuperpixels[R].EPFL:TechnicalReport,2010.
[12]OjalaT,PietikinenT,HarwoodD.Acomparativestudyoftexturemeasureswithclassificationbasedonfeature
distributions[J].PatternRecognition,1996(29):51-
59.
[13]CortesC,VapnikV.Support vectornetworks[J].Ma chineLearning,1995,20(3):273.
[14]BoykovY,KolmogorovV.Anexperimentalcomparisonofmin cut/max flowalgorithmsforenergyminimization
invision[J].IEEETransactionsonPatternAnalysisand
MachineIntelligence,2004,26(9):1124-1137.
博看网 . All Rights Reserved.

本文发布于:2024-09-20 13:33:31,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/4/89652.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:图像   像素   分割   背景   特征   前景   颜色
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议