邻域信息嵌入的半监督判别字典对学习的图像分类方法

1.本发明涉及图像处理技术领域，尤其涉及邻域信息嵌入的半监督判别字典对学习的图像分类方法。

背景技术：

2.随着遥感成像技术的发展，高分辨率遥感图像的数量和质量不断提高。近年来，自动准确地识别这些图像受到了相当多的关注。作为一个热门话题，遥感图像场景分类是根据图像内容将场景图像的土地覆盖类型进行分类。遥感图像分类具有重要的应用要求，广泛应用于自然灾害检测、土地资源利用和覆盖管理、地理空间对象检测、地理图像检索、植被制图、环境监测和城市规划等。
3.在许多实际应用中，收集足够数量的标记样本既耗时又昂贵；同时，更容易获得许多未标记的样本。
4.半监督分类方法在机器学习领域得到了广泛的应用，旨在通过考虑有限的标记样本和未标记样本来提取可靠的分类效果。在众多半监督学习方法中，基于图嵌入方法在许多领域得到了较好应用，其主要优点是它们能够识别任意分布的类。基于图嵌入方法将标记和未标记的样本视为图的顶点，并通过边传播标签信息，通过图嵌入方法可以满足分类边界附近样本之间的平滑性要求和不同标记样本之间的区分性要求；但如何解决训练数据不足和注释成本高的半监督遥感图像分类的问题是当前急需解决的。

技术实现要素：

5.针对现有算法的不足，本发明提供sddpl-nie方法在字典对学习模型的基础上，利用标记和未标记的样本联合训练合成字典和分析字典对；通过最小化基于稀疏l
2,1
范数的重构误差项，并使用l
2,1
范数对结构化分析字典进行约束，以得到稳健的字典对；同时，基于稀疏编码的邻域结构信息建立局部边界项，以保证近邻稀疏编码间类内紧凑和类间分离。
6.本发明所采用的技术方案是：邻域信息嵌入的半监督判别字典对学习的图像分类方法包括以下步骤：
7.步骤一、构建标记和未标记的样本，生成初始合成字典和分析字典对，并根据合成字典和分析字典对求解稀疏编码；
8.进一步的，具体包括：结构化分析字典p＝[p1；p2；...,pc]∈rk×d，将z＝[z
l
,zu]通过a＝pz投影到其对应的稀疏编码a，并通过结构化合成字典d＝[d1；d2；...,dc]∈rd×k合成输入样本，z为训练样本集，z≈da，c是类的数量，形成第k类相关联的子字典对。
[0009]
步骤二、构建类间图、类内图和构建权重矩阵，并对权重矩阵进行计算；得到sddpl-nie模型的目标函数；
[0010]
进一步的，对权重矩阵进行计算的公式为：
[0011]
根据类间图gb和类内图gw，定义两个权重矩阵和分别属于gw和gb：
[0012][0013][0014]
其中，nk表示n
l
中第k类样本的个数，
[0015]
进一步的，sddpl-nie模型的目标函数为：
[0016][0017]
其中，α、β是权重系数，[z
l
,zu]为标记样本集和未标记样本集，d为合成字典，p为分析字典，pk为分析字典p的第k类相关联的子字典，dk为合成字典d的第k类相关联的子字典，zk为第k类的训练样本，λk为对角矩阵，的对角元素是其中是矩阵的第i行。
[0018]
步骤三、更新合成字典、分析字典和稀疏编码；进行迭代优化，当sddpl-nie模型的目标函数收敛或达到最大迭代次数，迭代优化结束；
[0019]
进一步的，更新分析字典包括：固定合成字典d和稀疏编码a求解分析字典p，对pk一阶求导，可得：
[0020][0021][0022][0023]
其中，是矩阵a中关于pk的子矩阵，uk是对角矩阵，uk的对角元素是u
k,ii
＝1/(||(a
k-pkzk)i||2),(a
k-pkzk)i是矩阵(a
k-pkzk)的第i行向量。
[0024]
进一步的，更新合成字典包括：固定分析字典p和稀疏编码a求解合成字典d，对dk一阶求导，可得dk的表示式：
[0025][0026]
其中，τ为正数，i是单位矩阵。
[0027]
进一步的，更新稀疏编码包括：固定分析字典p和合成字典d求解稀疏编码a，对au一阶求导，可得：
[0028][0029]
对ak进行求解，可得：
[0030][0031]
对ak一阶求导，
[0032][0033]
本发明的有益效果：
[0034]
1、在rsscn7和uc merced数据集上的实验结果表明，本发明方法获得的字典对具有良好的判别性，能有效运用于半监督遥感图像分类问题；
[0035]
2、利用标记和未标记数据进行分析合成字典训练，并通过最小化基于稀疏l
2,1
范数的重构误差项和基于稀疏编码的局部边界项来获得具有判别性的字典对。
附图说明
[0036]
图1是本发明的邻域信息嵌入的半监督判别字典对学习的图像分类方法流程图；
[0037]
图2是本发明的遥感图像数据集示例,(a)rsscn7,(b)ucmercedland；
[0038]
图3是本发明的不同原子数对应的平均分类精度；
[0039]
图4是本发明的不同α值对应的平均分类精度；
[0040]
图5是本发明的不同β值对应的平均分类精度。
具体实施方式
[0041]
下面结合附图和实施例对本发明作进一步说明，此图为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
[0042]
如图1所示，邻域信息嵌入的半监督判别字典对学习的图像分类方法包括以下步骤：
[0043]
字典对学习
[0044]
对于训练样本集z，字典对学习(dictionarypairlearning，dpl)模型联合学习合成字典和分析字典对；结构化分析字典p＝[p1；p2；...,pc]∈rk×d，将z通过a＝pz投影到其对应的稀疏编码a，并通过结构化合成字典d＝[d1；d2；...,dc]∈rd×k合成输入样本，即z≈da；c是类的数量，形成第k类相关联的子字典对；
[0045]
dpl模型的目标函数为：
[0046][0047]
其中，zk表示第k类的训练样本，是zk在训练集z中的互补数据，di表示d的第i列，λ≥0是预设的权重值；
[0048]
最小化使得得到的稀疏编码pz呈现对角块形式，约束项可以避免pk＝0，保证得到稳定的字典对。
[0049]
对于任意测试样本z
new
，dpl模型通过以下问题求解其类别标签y(z
new
)，
[0050]
y(z
new
)＝argmink||z
new-dkpkz
new
||2(2)
[0051]
从式(2)看出，dpl模型通过最小化z
new
和每个类别的合成字典dk和分析字典pk与z
new
组成的重构测试数据dkpkz
new
之间的误差值来判断测试样本的类别。
[0052]
dpl模型的分类问题不涉及稀疏编码的求解，从而能够提高分类任务的执行效率；但是，dpl模型只利用了标记的训练数据，在标记信息不充分的情况下，该模型的分类效果不能保证最优。
[0053]
邻域信息嵌入的半监督判别字典对学习方法
[0054]
目标函数
[0055]
令z＝[z1,z2,...,zn]∈rd×n表示训练样本集，其中每一列是一个数据样本，共有n
个样本，d表示数据样本的维度；不失一般性，假设和分别为标记样本集和未标记样本集(z＝[z
l
,zu])；然而，式(1)中的目标函数只利用了标记的训练数据，而忽略了隐含在未标记样本中的判别信息；但作为一种监督字典学习方法，其性能往往受到可用标记训练数据量的限制；为了使dpl模型适应少标记训练数据的半监督学习，提出了以下改进，
[0056][0057]
其中，α是权重系数，与类别有关的子字典对学习在标记样本z
l
上进行。
[0058]
邻域信息嵌入的半监督判别字典对学习方法(semi-supervised discrimination dictionary pair learning based on neighborhood information embedding,sddpl-nie)中结构化分析子词典pk能够将非k类的稀疏编码投影到几乎为零的空间，还通过最小化基于稀疏l
2,1
范数的重构误差项来得到稳健的字典对；使用鲁棒且易于优化的稀疏l
2,1
范数对结构化分析字典进行约束，可以强制矩阵是行稀疏的；与常规的l0范数和l1范数相比，项可以提升模型的训练效率；根据l
2,1
范数的定义，其中，λk是对角矩阵，其对角元素是：
[0059][0060]
其中，是pk的第i行向量。
[0061]
因此，式(3)可以重写为：
[0062][0063]
使用标记数据交替学习分析字典和合成字典，最终得到具有判别能力的字典对。
[0064]
为了得到判别稀疏编码，根据类间边距的思想，本发明基于稀疏编码的邻域结构信息建立局部边界项；对于每个稀疏编码pzi，考虑pzi与不同类别样本的稀疏编码之间的距离，建立类间图gb，从图中的每个样本pzi到与pzi采用不同标签的样本建立有向边；同时，考虑pzi与同类别样本的稀疏编码之间的距离，建立类内图gw，图中的每个样本pzi到与pzi共享相同标签的样本建立无向边；根据类间图gb和类内图gw，定义两个权重矩阵和分别属于gw和gb，
[0065][0066][0067]
其中，nk表示n
l
中第k类样本的个数，值得注意的是，sw和sb中的每一行之和为1，并且矩阵sw是对称的。
[0068]
经分析字典的投影，稀疏编码pkz
k,i
的边界可以表示为：
[0069][0070]
定义gb是对角矩阵，其对角线元素是sb的列的和，即
[0071]
所有标记样本zk的稀疏编码平均边界表示为：
[0072][0073]
其中，
[0074]
通过考虑稀疏编码间的局部邻域信息，使得同类近邻稀疏编码间的距离小，不同类邻稀疏编码间的距离大，以保证近邻稀疏编码间类内紧凑和类间分离，达到有效提高稀疏编码的判别性的目的。
[0075]
结合式(5)和式(8)，可得sddpl-nie模型的目标函数：
[0076][0077]
其中，β是权重系数。
[0078]
优化求解
[0079]
sddpl-nie方法的参数涉及字典对d和p，本发明使用迭代优化求解的方法，当一个变量求解时另一个变量保持不变，为了简化求解的过程，引入变量稀疏编码a，使得式(10)改写为：
[0080][0081]
1)固定d和a求解p，可得：
[0082][0083]
根据l
2,1
范数的定义，uk是对角矩阵，其对角元素是u
k,ii
＝1/(||(a
k-pkzk)i||2),其中，(a
k-pkzk)i是矩阵(a
k-pkzk)的第i行向量；因此，式(11)可以改写为：
[0084][0085]
对pk一阶求导，可得：
[0086][0087]
[0088][0089]
其中是矩阵a中关于pk的子矩阵；
[0090]
2)固定p和a求解d，可得：
[0091][0092]
关于子字典dk的目标函数表示为：
[0093][0094]
其中，aj是z在子字典dj上的稀疏编码；根据l
2,1
范数的定义，是对角矩阵，其对角元素是其中，是矩阵的第i行。
[0095][0096]
对dk一阶求导，可得dk的表示式：
[0097][0098]
其中，τ为正数，i是单位矩阵；
[0099]
3)固定p和d求解a，可得：
[0100][0101]
令zu对应的稀疏编码为au，对au进行求解，可得，
[0102][0103]
对au一阶求导，可得：
[0104][0105]
对ak进行求解，可得，
[0106][0107]
对ak一阶求导，
[0108][0109]
在得到参数d、p和a的最优解后，对于测试样本z
new
，可依照dpl模型使用式(2)进行分类，下面给出sddpl-nie方法的训练过程：
[0110][0111][0112]
实验
[0113]
实验设置
[0114]
rsscn7数据集包含2800幅遥感场景图像，这些图像来自7个场景类别，即草地、森林、农田、停车场、居住区、工业区、河流和湖泊。每个场景类型中有400个图像，每个图像的大小为400
×
400像素；uc merced数据集包括21个场景类别，每个类别包含100个256
×
256像素的图像；图2显示了rsscn7和uc merced数据集示例图；实验采用vgg-vd-16和caffenet深度卷积神经网络模型提取遥感图像特征，vgg-vd-16网络由16层神经网络构成；caffenet则由13层神经网络组成，两种深度方法提取到的特征都是2048维。
[0115]
为了进行性能比较，实验对比了以下半监督分类方法：lapsvm、ss-tca、kfme、sffe和jefw；lapsvm是拉普拉斯支持向量机分类器，使用流形正则化技术从标记和未标记示例中学习样本的几何结构；ss-tca方法是基于伪标签的半监督学习方法，并通过伪标签动态地改进分类器训练；fsel是基于图的半监督嵌入算法；kfme则是核化的基于图的半监督嵌入算法；jefw是基于图的联合嵌入和特征加权方法，用于在流形上获得样本的非线性数据表示；sffe是基于自适应损失回归的半监督嵌入方法；实验中所有核方法使用高斯核，核参数的选择范围是{10-3
,10-2
,...,103}；lapsvm方法的正则化参数的选择范围是{10-3
,10-2
,...,103}；ss-tca方法的μ∈{10-3
,10-2
,...,103}；fsel方法使用最近邻分类器进行分类，嵌入空间的维数由训练样本的数目决定；sffe方法的γ∈{10-2
,0.1,0.5,1,1000},λ∈{1,10,50,100,1000},σ∈{10-2
,0.1,1,5,10}；本文发明的sddpl-nie模型有2个需调节参数α和β，选择范围是{10-3
,10-2
,...,103}；半监督遥感场景分类实验中，参照文献(a benchmark dataset for performance evaluation of aerial scene classification)的设置，实验从每个子类数据集随机选择10％,15％,20％和25％的图像作为带标签训练样本，数据集剩余的图像作为不带标签的训练样本；实验采用十倍交叉验证的方法来确定参数值，为了避免实验结果的随机性，运行20次实验取分类精度的平均值作为评价依据。
[0116]
分类性能对比
[0117]
本发明的sddpl-nie模型在相同条件下获得比其他方法更高的分类精度，特别是训练集中类别标签较少时，sddpl-nie模型表现得更佳；一方面，在遥感场景分类问题中，训练集中的带标签的样本数直接影响最终的分类结果；在标签数据有限的情况下，使用半监督方法是必要的；无论是基于图嵌入、标签传播还是流形结构嵌入方法，都能提高分类效果。另一方面，以字典对学习为原型的sddpl-nie模型取得了最佳结果，说明构建模型是适
用于半监督分类场景。sddpl-nie模型在标签数据上执行结构分析字典和合成字典对的学习，通过最小化基于稀疏l
2,1
范数的重构误差项和稀疏l
2,1
范数的分析字典约束项来得到判别能力强的字典对。同时，根据类间边距概念，构建基于稀疏编码的邻域结构信息建立局部边界项，从而可以很好地利用了标记图像的类别信息进行模型训练。另外，有效的参迭代学习策略保证了所有参数能得到最优解。
[0118]
实验中采用了遥感场景图像的vgg-vd-16和caffenet特征；从表1-2结果可以看出，两种特征下均取得了相当的分类结果。说明深度特征是适用于遥感场景分类的。因为传统的手工特征从颜、纹理、空间和光谱信息只能提取浅层的图像特征，而遥感场景图像内容复杂呈现类间差异小的特性，不适用于遥感场景图像分类。
[0119]
表1比较了各方法在rsscn7数据集上的分类结果
[0120]
[0121][0122]
参数敏感性分析
[0123]
字典学习模型中子字典的原子个数直接觉得模型的性能。实验中，sddpl-nie模型的子字典的原子数选择范围是{20,30,40}；图3显示了带标签的训练样本占20％时使用不
同原子数对应的平均分类精度；表2实验结果表明sddpl-nie模型仅需要小规模的子字典就可以取得令人满意的分类精度，不同原子数时分类精度有变化但起伏不大，因为sddpl-nie模型在字典对学习过程中充分考虑字典原子间的相关性信息，稀疏编码的局部边界项可以保证获得具有判别性的字典。
[0124]
sddpl-nie模型包括2个需要寻优的参数α和β，其选择范围是{10-3
,10-2
,...,103}；图4显示了带标签的训练样本20％时使用不同α值对应的平均分类精度。图4实验结果表明，α《1时模型的性能较稳定，当α》10时模型的平均分类精度急剧下降；因为α参数调节全体数据集的字典对学习项，当α值过大时，全体数据集的字典对学习项在目标函数中占决定性比重，不能有效利用标记数据的判别性信息。图5显示了带标签的训练样本20％时使用不同β值对应的平均分类精度；β值调节稀疏编码的局部边界项，在模型中起到重要作用；图5实验结果表明，sddpl-nie模型对β值敏感性不高，不同β值对应模型的性能是稳定的，平均分类精度的最大值和最小值相差较小；因此，在实际应用中可以固定参数β的值。
[0125]
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

技术特征：

p
k
z
k
)
i
||2),(a
k-p
k
z
k
)
i
是矩阵(a
k-p
k
z
k
)的第i行向量。6.根据权利要求1所述的邻域信息嵌入的半监督判别字典对学习的图像分类方法，其特征在于，更新合成字典包括：固定分析字典p和稀疏编码a求解合成字典d，对d
k
一阶求导，可得d
k
的表示式：其中，τ为正数，i为单位矩阵。7.根据权利要求1所述的邻域信息嵌入的半监督判别字典对学习的图像分类方法，其特征在于，更新稀疏编码包括：固定分析字典p和合成字典d求解稀疏编码a，令z
u
对应的稀疏编码为a
u
，对a
u
进行求解，可得，对a
u
一阶求导，可得，对a
k
进行求解，可得：对a
k
一阶求导，可得：

技术总结

本发明涉及图像处理技术领域，尤其涉及邻域信息嵌入的半监督判别字典对学习的图像分类方法，包括生成初始合成字典和分析字典对，并根据合成字典和分析字典对求解稀疏编码；构建类间图、类内图和构建权重矩阵，并对权重矩阵进行计算；得到SDDPL-NIE模型的目标函数；更新合成字典、分析字典和稀疏编码，当目标函数收敛或达到最大迭代次数。本发明在字典对学习模型的基础上，利用标记和未标记的样本联合训练合成字典和分析字典对；通过最小化基于稀疏范数的重构误差项，并使用范数对结构化分析字典进行约束，以得到稳健的字典对；同时，基于稀疏编码的邻域结构信息建立局部边界项，以保证近邻稀疏编码间类内紧凑和类间分离。近邻稀疏编码间类内紧凑和类间分离。近邻稀疏编码间类内紧凑和类间分离。