何刚;霍宏;方涛
【摘 要】针对单一特征在场景分类中精度不高的问题,借鉴信息融合的思想,提出了一种兼顾特征级融合和决策级融合的分类方法.首先,提取图像的尺度不变特征变换词包(SIFT-BoW)、Gist、局部二值模式(LBP)、Laws纹理以及颜直方图五种特征.然后,将每种特征单独对场景进行分类得到的结果以Dezert-Smarandache理论(DSmT)推理的方式在决策级进行融合,获得决策级融合下的分类结果;同时,将五种特征串行连接实现特征级融合并进行分类,得到特征级融合下的分类结果.最后,将特征级和决策级的分类结果进行自适应的再次融合完成场景分类.在决策级融合中,为解决DSmT推理过程中基本信度赋值(BBA)构造困难的问题,提出一种利用训练样本构造后验概率矩阵来完成基本信度赋值的方法.在21类遥感数据集上进行分类实验,当训练样本和测试样本各为50幅时,分类精度达到88.61％,较单一特征中的最高精度提升了12.27个百分点,同时也高于单独进行串行连接的特征级融合或DSmT推理的决策级融合的分类精度.dst指数
【期刊名称】《计算机应用》
【年(卷),期】2016(036)005
【总页数】5页(P1262-1266)
【关键词】场景分类;特征级融合;决策级融合;Dezert-Smarandache理论推理;基本信度赋值;遥感影像
【作 者】何刚;霍宏;方涛
【作者单位】上海交通大学自动化系,上海200240;系统控制与信息处理教育部重点实验室,上海200240;上海交通大学自动化系,上海200240;系统控制与信息处理教育部重点实验室,上海200240;上海交通大学自动化系,上海200240;系统控制与信息处理教育部重点实验室,上海200240
【正文语种】中 文
【中图分类】TP391.4
场景分类的主要目的是研究如何使计算机把图像分类到特定的语义类别,往往需要建立从图
像低层特征到高层语义之间的映射,是图像理解、视觉领域的一个近年来的研究热点[1-5]。目前用于场景分类的特征可分为两大类：一类是颜、形状、纹理等低层特征[3-5],通过直接将这些低层特征映射到高层场景语义来进行分类；另一类是Gist、词包模型(Bag of Words,BoW)等中层语义特征[6-8],通过借助中层语义特征缩短低层特征到高层场景之间的语义鸿沟来进行分类。Olivia等[6]采用并改进了Gist特征,Gist特征将整幅场景作为对象进行描述,忽略场景中的物体等局部信息,易于计算,在室外场景分类中有较好的表现。Sivic等[7]提出视觉词包的概念,将文本分析中的BoW模型应用到场景的分类中,通过统计图像局部特征的分布信息来表达图像内容。但由于场景本身具有复杂性和多样性且还受到拍摄角度、光线等多种因素的影响[2],所以仅仅依靠上述单一特征对场景分类并不能达到实际应用中对分类精度的要求。
当人们发现难以通过单一特征信息来处理场景分类这一复杂问题时,一些学者开始采用信息融合的方法来进行场景分类研究[9-12]。信息融合按照其进行的层次可被分为数据级融合、特征级融合和决策级融合。在特征级融合方面,大多采用基于串行连接的融合方法,基于串行连接的特征级融合是指将各特征首尾相连融合成新特征。肖保良[11]将Gist特征和分层梯度方向直方图(Pyramid Histogram of Oriented Gradients, PHOG)特征相融合用于场景分类,
分类精度相对于单一特征提升了2.5%。在决策级融合方面,基于多分类器组合的方法得到了广泛研究,刘帅等[12]将多个不同特征训练的支持向量机(Support Vector Machine, SVM)分类器结果进行融合并用于遥感图像分类,分类精度相比单分类器也有较大提升。但这些融合方法大多只在信息融合的某一个层次进行,不能充分利用不同层次融合之间的互补信息,并没有充分发掘信息融合的优势。
因此本文借鉴信息融合思想,针对单一特征信息在场景分类中精度不高的问题进行了新的探索,提出了一种兼顾特征级融合和决策级融合的场景分类方法,该方法在充分利用不同特征之间的互补信息的同时还能够对不同融合层次之间的互补信息加以利用。首先提取待分类图像的尺度不变特征变换词包(Scale Invariant Feature Transform-Bag of Words, SIFT-BoW)特征[7]、Gist特征、局部二值模式(Local Binary Patterns, LBP)纹理特征[13-15]、Laws纹理特征[16]和颜直方图特征[17] ,以提供多个角度的场景信息描述；然后将上述特征信息单独使用的分类结果以Dezert-Smarandache理论(Dezert-Smarandache Thoery, DSmT)推理的方式在决策级进行融合,得到决策级融合下的分类结果；同时将上述特征信息串行连接在特征级进行融合并分类,得到特征级融合下的分类结果；最后,将特征级和决策级的分类结果进行自适应的再融合完成场景分类。为解决DSmT推理中基本信度赋值(Basic Belief Assi
gnment, BBA)构造困难的问题,本文首先利用训练样本构造后验概率矩阵,然后通过后验概率矩阵来完成基本信度赋值。
1.1 场景特征提取
场景特征的提取对于后续的分类工作至关重要,本文主要提取SIFT-BoW特征、Gist特征、LBP纹理特征、Laws纹理特征和颜直方图五种特征来提供对场景的多个角度的描述信息。SIFT-BoW特征选取具有尺度、旋转和光照不变性的SIFT描述子作为局部特征并统计整幅场景的局部特征分布信息来表达场景内容,从场景的局部构成角度对场景进行描述。Gist特征是一种生物启发特征,通过多尺度多方向的Gabor滤波器组对场景滤波来得到场景的整体轮廓信息,从全局角度对场景进行描述。LBP和Laws纹理分别采用统计和信号处理的方式,从纹理角度对场景进行描述。颜直方图是一种被广泛使用的全局描述算子,计算简单且具有较高的鲁棒性,能够从彩空间角度对场景进行描述。上述五种特征信息能够从局部、全局、纹理和彩空间等多个角度来描述场景,在场景分类应用中得到了广泛的使用,但由于单一特征信息表达的场景具有片面性,仅使用其中任意一种特征来进行场景分类并不能取得令人满意的结果,所以需要通过信息融合的方式来综合这些不同角度的描述信息以完成场景分类工作。这些特征提取方法的具体内容详见参考文献,本文不再赘述。
1.2 信息融合
信息融合一般可划分为三个层次的融合：数据级融合、特征级融合和决策级融合。数据级融合将同一目标的不同信息来源的原始数据进行融合,常见于多谱段数据分析、多源图像复合等应用。特征级融合将来自同一对象的不同特征数据进行融合,常见的方法主要有串行连接(Serial Concatenate)、并行连接(Parallel Concatenate)、加权叠加和基于神经网络的方式[18],其中,研究最成熟的是基于串行连接的方式。决策级融合是对各分类器输出结果进行融合,常见方法有投票法、加权平均法和Dempster-Shafer理论(Dempster-Shafer Theory, DST)推理及其扩展等方法。本文为了利用不同融合层次之间的互补信息,在特征级和决策级分别选取了基于串行连接和基于DSmT[19-22]推理的融合方法,下面主要介绍DSmT融合理论。
1.2.1 DSmT融合理论
DSmT是对传统DST的扩展,主要用于处理不确定、高冲突和不精确的信息源融合问题。在模式识别领域,DSmT理论多用于对多个分类器输出进行决策级融合。DSmT理论跟DST理论最大的不同就是在辨识框架中加入了冲突信息。设Θ={θ1,θ2}为一个辨识框架,DST理论
在幂集2Θ={θ1,θ2,θ1∪θ2}上进行基本信度赋值,DSmT则在超幂集DΘ={θ1,θ2,θ1∪θ2,θ1∩θ2}上进行基本信度赋值。由于在超幂集中有交运算的存在,这就使得辨识框架中保留了矛盾焦元。文献[20]中提出了多种比例冲突分配规则,用来解决融合过程中产生的矛盾焦元。本文选择其中的第5种比例冲突分配规则(Proportional Conflict Redistribution rules No.5,PCR5)来处理产生的矛盾焦元。
1.2.2 基本信度赋值
设有辨识框架Θ={θ1,θ2,…,θn}, DSmT模型的超幂集DΘ为由Θ中的所有元素及通过∪和∩运算产生的所有子集组成的集合[20],则基本信度赋值定义为从DΘ到[0,1]的一个映射,记作m(·):DΘ→[0,1],具体定义为：
然而,在实际应用中基本信度赋值的构造往往是一大难点,通过距离函数或指数函数等方法能够进行信度赋值,但需要付出比较大的计算代价。
本文提出的基于信息融合的场景分类框架如图1所示,首先通过特征提取模块对一幅待分类的场景图像提取SIFT-BoW特征、Gist特征、LBP纹理特征、Laws纹理特征和颜直方图特
征；然后在信息融合模块将提取的特征分别用于特征级融合子模块和决策级融合子模块,并将特征级融合子模块和决策级融合子模块的结果通过再融合子模块进行自适应的再融合；最后根据再融合子模块的结果来输出分类结果。现对其中一些具体内容和流程进行阐述。
2.1 DSmT融合模型
本文将DSmT融合方法用于决策级融合子模块和再融合子模块,仅对超幂集空间中的单子焦元进行信度赋值,即对于超幂集空间DΘ={θ1,θ2,θ1∪θ2,θ1∩θ2},只对θ1和θ2进行信度赋值,而θ1∪θ2和θ1∩θ2信度赋值为零。具体到本文的N个场景类别,有={θ1,θ2,…,θN},其中θ1,θ2,…,θN分别表示N个不同的场景类别。采用DSmT经典组合规则进行组合,并利用PCR5分配规则对融合过程中产生的矛盾焦元质量进行分配。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议