㊀㊀第５０卷㊀第１０期测㊀绘㊀学㊀报V o l．５０,N o．１０㊀２０２１年１０月A c t aG e o d a e t i c ae tC a r t o g r a p h i c aS i n i c a O c t o b e r,２０２１引文格式：左溪冰，刘冰，余旭初，等．高光谱影像小样本分类的图卷积网络方法[J]．测绘学报,２０２１,５０(１０):１３５８Ｇ１３６９．D O I:１０．１１９４７/j． A G C S．２０２１．２０２００１５５．
Z U O X i b i n g,L I U B i n g,Y U X u c h u,e t a l．G r a p hc o n v o l u t i o n a l n e t w o r km e t h o d f o r s m a l l s a m p l e c l a s s i f i c a t i o no f h y p e r s p e c t r a l
i m a g e s[J]．A c t aG e o d a e t i c a e tC a r t o g r a p h i c aS i n i c a,２０２１,５０(１０):１３５８Ｇ１３６９．D O I:１０．１１９４７/j．A G C S．２０２１．２０２００１５５．
高光谱影像小样本分类的图卷积网络方法
左溪冰１，刘㊀冰１，余旭初１，张鹏强１，高奎亮１，朱恩泽２
１．信息工程大学，河南郑州４５０００１;２．武警安徽省总队机动支队，安徽合肥２３００４１
G r a p h c o n v o l u t i o n a l n e t w o r k m e t h o d f o r s m a l l s a m p l e c l a s s i f i c a t i o n o f h y p e r s p e c t r a l i m a g e s
Z U OX i b i n g１,L I UB i n g１,Y UX u c h u１,Z H A N GP e n g q i a n g１,G A OK u i l i a n g１,Z H UE n z e２
１．I n f o r m a t i o nE n g i n e e r i n g U n i v e r s i t y,Z h e n g z h o u４５０００１,C h i n a;２．A n h u iP r o v i n c i a lA r m e dP o l i c eC o r p s M o b i l e D e t a c h m e n t,H e f e i２３００４１,C h i n a
A b s t r a c t:E x i s t i n g b a s e do nc o n v o l u t i o n a l n e u r a l n e t w o r kc l a s s i f i c a t i o nm e t h o do f h y p e r s p e c t r a l i m a g e s u s u a l l y r u l e so f t h es q u a r ea r e ao f i m a g ec o n v o l u t i o n,n o tw i d e l y a d a p t t od i f f e r e n t t e r r a i n l o c a la r e a d i s t r i b u t i o na n d g e o m e t r y a p p e a r a n c e o ft h ei m a g e,t h e r e f o r e,u n d e rt h e c o n d i t i o n o fs m a l ls a m p l e c l a s s i f i c a t i o n p e r f o r m a n c e i s p o o r e r,a n d f i g u r ec o n v o l u t i o nc a nn e t w o r k t o p o l o g y i n f o r m a t i o no n t h em a p r e p r e s e n t i r r e g u l a r i m a g ea r e ao f t h ec o n v o l u t i o n．T h e r e f o r e,ah y p e r s p e c t r a l i m a g ec l a s s i f i c a t i o nm e t h o d b a s e do n g r a p hc o n v o l u t i o nn e t w o r k i s p r o p o s e d．I nt h i sm e t h o d,t h es p a t i a l s p e c t r a l i n f o r m a t i o no f t h e i m a g e i s c o n s i d e r e d i n t h e p r o c e s so f c o n s t r u c t i n g t h e g r a p h,a n d t h e f e a t u r e i n f o r m a t i o no f t h en e i g h b o r n o d e i sa g g r e g a t e db y t h e g r a p hc o n v o l u t i o nn e t w o r k．E x p e r i m e n t a l
r e s u l t so nt h r e ed a t as e t s,P a v i a u n i v e r s i t y,I n d i a n P i n e s a n d S a l i n a s,s h o w t h a t t h i sm e t h o d c a n a c h i e v e a h i g h c l a s s i f i c a t i o n a c c u r a c y w i t h as m a l l n u m b e r o f t r a i n i n g s a m p l e s．
K e y w o r d s:h y p e r s p e c t r a li m a g e c l a s s i f i c a t i o n;l o c a lb i n a r y p a t t e r n s;g r a p h c o n v o l u t i o n a ln e t w o r k; s m a l l s a m p l e
F o u n d a t i o n s u p p o r t:T h eN a t i o n a l N a t u r a l S c i e n c e F o u n d a t i o n o f C h i n a(N o．４１８０１３８８)
摘㊀要：现有的基于卷积神经网络的高光谱影像分类方法通常对影像的规则正方形区域进行卷积，无法普遍适应具有不同地物分布和几何外观的影像局部区域，因此在小样本情况下的分类性能较差，而图卷积网络能对图拓扑信息所代表的不规则影像区域进行卷积.为此，本文提出基于图卷积网络的高光谱影像分类方法.该方法在构建拓扑图的过程中考虑了影像的空间光谱信息，并利用图卷积网络聚合邻居节点的特征信息.在P a v i a大学㊁I n d i a nP i n e s和S a l i n a s３个数据集上的试验结果表明，该方法能在训练样本较少的情况下取得较高的分类精度.
关键词：高光谱影像分类；局部二值模式；图卷积网络；小样本
中图分类号:P２３７㊀㊀㊀㊀文献标识码:A㊀㊀㊀㊀文章编号:１００１Ｇ１５９５(２０２１)１０Ｇ１３５８Ｇ１２
基金项目：国家自然科学基金(４１８０１３８８)
㊀㊀高光谱遥感能够同时获取地物空间维和光谱维信息，具有图谱合一的特点[１].高光谱影像分类是高光谱影像应用的重要环节，其主要任务是为图像中的每一个像元点赋予唯一的类别标识.高光谱影像的分类任务通常需要大量的标记样本，而标记样本的获取是一项费时费力的工作.同时，高光谱影像分类中高维和小样本的特性也容易产生维数灾难问题[２].
早期的高光谱影像分类方法侧重于探索影像的光谱特征在分类中的作用，在这些方法中,K 近邻[３](K N N)分类器和支持向量机[４](S VM)因其良好的分类性能而得到了广泛的应用.此外,
第１０期左溪冰，等：高光谱影像小样本分类的图卷积网络方法
基于图的方法[５]㊁极限学习机[６]㊁基于稀疏表达的方法[７]也被进一步应用于高光谱影像分类.然而，这些像素级分类器没有考虑影像的空间上下文信息，得到的分类结果不尽人意.后续研究表明，综合利用高光谱影像的空间和光谱信息能有效提高分类精度，因此，拓展形态学剖面[８] (E M P)㊁马尔可夫随机场[９](M R F)㊁局部二值模式[１０](L B P)㊁G a b o r滤波器[１１]等方法被应用于高光谱影
像的空间特征提取，进一步提高了影像的分类精度.虽然早期的分类方法在影像分类中扮演了重要的角，但是它们在很大程度上依赖于人为设计的特征，具有很强的经验性.
在深度学习时代，基于卷积神经网络的方法能够通过一系列的层次结构从原始影像数据中自动提取抽象的特征，避免了复杂的人为特征设计，因此取得了广泛应用.目前大多数基于卷积神经网络的高光谱影像分类方法大致可以分为光谱特征提取网络㊁空间特征提取网络和空谱特征提取网络[１２].光谱特征提取网络旨在通过堆叠的层次结构提取影像的深层光谱特征.经典的光谱特征提取网络有堆栈式自编码器[１３](S A E)㊁深度置信网络[１４](D B N)㊁一维卷积神经网络[１５](１DＧC N N)㊁一维生成对抗网络[１６]和循环神经网络[１７] (R N N).此外，文献[１８]利用卷积神经网络探索了高光谱影像像素对的光谱特征.文献[１９]利用字典学习来训练卷积神经网络，取得了更好的分类效果.与光谱特征网络不同，空间特征提取网络利用深度网络提取影像的空间信息，并将学习到的空间特征与其他特征提取技术提取的光谱特征进行融合，以获得更高的分类精度.文献[２０]将主成分分析(P C A)和二维卷积神经网络(２DＧC N N)相结合，提取了影像的空间和光谱信息.文献[２１]提出了一种多尺度的空间特征提取网络，并使用权重机制融合了不同尺度的空间结构信息和光谱信息，取得了更佳的分类效果.空谱特征提取网络能够同时提取影像的空谱联合信息.其中，三维卷积神经网络[２２](３DＧC N N)利用三维卷积层对高光谱影像立方体进行端到端的空谱特征提取，取得了较好的分类结果.文献[２３]利用残差学习模块构建了深层三维卷积网络(R e sＧ３DＧC N N)，有效地解决了三维卷积网络的深层退化问
题.上述基于卷积神经网络的方法虽然取得了一定进展，但是它们只对影像的规则格网区域进行卷积，在特征提取过程中无法很好地
表达影像的不规则局部区域，导致在训练样本较少的情况下出现误分类.
近年来，图神经网络(G N N)引起了越来越多的关注.文献[２４]在不动点理论的基础上首次提出了G N N模型，它可以聚合图的节点特征，并将整个图嵌入到新的特征空间中.文献[２５]在频谱图理论的基础上提出了卷积神经网络的表述.在频谱图理论的基础上，文献[２６]提出了G C N模型，该模型基于非欧几里得数据进行运算，通过隐含层的学习，可以聚合图中每个图节点的邻居特征信息，进而对节点特征和局部图结构进行编码.若将高光谱影像中的每个像素视作一个图节点，则可以将高光谱影像转换为图结构数据，进而利用G C N对影像中的不规则局部区域进行表达，以提高影像在小样本情况下的分类精度.
乌氏粘度计原理本文设计了一种基于图卷积网络的高光谱影像分类方法(r o t a t i o nＧi n v a r i a n t u n i f o r m l o c a l b i n a r y p a t t e r n a n d g r a p h c o n v o l u t i o n a ln e u r a l n e t w o r k,R U L B P＋G C N)，该方法在纹理特征提取的基础上，通过K近邻方法将影像构建为拓扑图结构，并输入图卷积网络模型进行影像分类，以提高影像在小样本情况下的分类精度.
１㊀本文方法
本文方法的总体流程如图１所示，该方法主要由３部分组成:L B P纹理特征提取,K近邻构图和图卷积网络分类.对于原始高光谱影像，首先，通过主成分分析(P C A)将影像降维至３个波段；然后，提取３个波段的L B P纹理特征，并利用K近邻方法对影像进行构图；最后，使用图卷积网络提取图节点的特征，并利用s o f t m a x函数生成每个节点的预测标签，进而得到影像的分类结果图.
文献[１０]指出，结合高光谱影像的L B P纹理特征和光谱特征能够显著提升影像在小样本情况下的分类精度.本文方法利用局部二值模式(L B P)提取影像的局部空间特征，并将提取得到的空间特征与影像的光谱特征相结合，综合利用影像的空间信息和光谱信息.另外，在特征提取的基础上，使用K近邻方法将影像构图，充分建立影像不同样本点之间的全局关联.随后，基于样本点之间的关联关系，利用图卷积网络聚合不同样本点的特征，以充分利用影像的样本信息，提高影像在小样本条件下的分类精度.下文将分别
９５３１
O c t o b e r ２０２１V o l ．５０N o ．１０A G C S
h t t p :ʊx b ．s i n o m a p
s ．c o m 介绍图卷积网络㊁K 近邻构图和局部二值模式
.
图１㊀基于图卷积网络的高光谱影像分类方法流程
F i g ．１㊀F l o wc h a r t o f h y p e r s p e c t r a l i m a g e c l a s s i f i c a t i o nm e t h o db a s e do n g r a p
hc o n v o l u t i o nn e t w o r k １．１㊀图卷积网络
图卷积网络是一种可以直接对图结构数据进行操作的特征提取器，它可以通过图卷积操作，充分利用节点之间的依赖关系和每个邻居节点的特征信息.因此，与基于卷积神经网络的深度学习模型不同,G C N 可以直接应用于不规则数据.
图是一种非欧几里得数据结构，可以定义为
G ＝(V ,E )
，其中V 和E 分别是高光谱影像构图后对应的节点集和边集.图G 对应的邻接矩阵记为A ɪR N ˑN ，记录影像各像素点之间的邻接关系.度矩阵记为D i i ＝ðj
A i j ,
记录影像各像素点的邻居点数量.则图卷积可以定义为傅里叶域中
图像信号x ɪR N 与滤波器g θ＝d
i a g (θ)的乘积，计算公式为
g θ x ＝U g θ
U T x (１)式中,U 是归一化图拉普拉斯矩阵的特征向量组成的矩阵;U T x 是x 的图傅里叶变换.图拉普拉斯矩阵的计算公式为
L ＝I N －D －１
２A D －１
２＝U ΛU T (２)式中,L 为图拉普拉斯矩阵;Λ是L 的特征值组成的对角矩阵.考虑到高光谱影像构图时像素节
点较多，为便于在大图中计算L 的特征值分解，使用切比雪夫多项式T k (x )直到第K 阶的截断展开来近似式(２
)，得到的计算公式为g θ x ʈ
ðK
k ＝０
θk
T
k
微型吸尘器
(L ~
)x
(３
)式中, L ＝２λm a x
L －I N ;λm a x 是L 的最大特征值;
θɪR k 是切比雪夫系数向量.理论上，图卷积模型是由式(３)所示的卷积层堆叠而成，为进一步避免过度拟合，减少计算量，文献[２６]
限制K ＝１，将λm a x 近似为２，同时约束参数数量，计算公式为g θ x ʈ
θ(I N ＋D －１
２
A D －１
２)x
(４
)随后引入 再归一化 ，即
I N ＋D －１
２A D －１
２ң D －１
２ A D
－１
２
式中, A ＝A ＋I N , D i i ＝ðj A i j .随后将上述定义推广到高维信号X ɪR N ˑC
的情况，在G C N 模
型的第l ＋１层有
H (l ＋１)＝σ( D －１
２ A D －１
２H (l )W (l ))(５
)式中,H (０)＝X 为原始高光谱影像构图后的数
据;H (l )是第l ＋１层的输入;W (l )是第l ＋１层的权值矩阵;σ代表激活函数.G C N 的损失函数为
L ＝－ðl ɪy L ðF
f ＝１
Y l f l n Z l f
(６
)式中,y L 是标记像素点的索引集合;F 是输出层的特征图个数，在本文中对应高光谱影像的地物类别数量;Y l f 和Z l f 分别是真实标签的索引矩阵和预测标签的索引矩阵.在训练过程中，通过反向传播算法对G C N 模型的所有参数进行优化，使得损失函数L 最小.
１．２㊀K 近邻构图
由于图卷积网络只能直接作用于图结构数据，因此需要将高光谱影像构建为拓扑图结构.这里将影像的
每一个像素视作图的节点，通过K 近邻方法构建拓扑图.高光谱影像视为特征矩阵
空调热交换器
X ɪR N ˑC ，其中N 为像素个数,C 为特征向量的维数.两个样本x i 与j 之间的欧氏距离d i j 的计算公式为
d i j ＝ðC
c ＝１
x i c －x j
c ２
()
１
２
(７
)所有样本对的距离度量可以构成对称距离矩
阵D ＝d i j []ɪR N ˑN
.例如，矩阵D 中的d i j 表
０
６３１
第１０期
左溪冰，等：高光谱影像小样本分类的图卷积网络方法
示第i 个像素到第j 个像素的欧氏距离.为了方便构图，这里选择距离像素x i 最近的K 个像素作为像素x i 的邻居节点，并将它们用边连接起来，最终将高光谱影像构造成一个无向图.１．３㊀局部二值模式
为进一步提高影像的分类精度，通过L B P 的方法提取影像的纹理特征，并结合光谱特征进行分类.L B P 是一种用来描述图像局部纹理特征的算子，具有原理简单㊁计算复杂度低㊁旋转不变
性和灰度不变性等优势[
２７
quartz插件
].对于一个给定的中心像素(x ,y )
，其L B P 码的计算公式为L B P P ,R (x ,y )＝ð
P －１
p ＝０s (g p －g c )２p s (z )＝１z ȡ０
０z ＜０{
üþ
ýïï
ïï
(８)式中,R 表示中心像素的邻域半径;P 表示邻域
内采样的像素点个数;L B P 特征提取的(P ,R )一般取值为(８,１);g c 表示中心像素(x ,y )
的灰度值;g ０,g １, ,g P －１表示邻域内像素的灰度值.
由式(８)可知，中心像素的L B P 码共有２
P
种，这将会增加特征提取过程中的空间复杂度和时间复杂度，因此考虑采用基于旋转不变性的等价L B P
(r o t a t i o n Ｇi n v a r i a n t u n i f o r ml o c a l b i n a r yp
a t t e r n ,R U L B P )，该方法计算出的R U L B P 码取决于二进制中０和１的跳变次数，中心像素R U L B P 码的具体计算公式为
L B P P ,R (x ,y )＝ðP －１
p ＝０s (g p －g c )U ɤ２P ＋１o t h e r w i s e ìî
íïïïï
(９)式中,U 表示二进制编码中从０到１或从１到０
的跳变次数.图２给出了(P ,R )取(８,１)时中心像素R U L B P 码的两种计算示例，在图２(a )中，二进
制数０００１１０００对应的U 值为１,
因此中心像素的R U L B P 码为２，在图２(b )中，二进制００１１００１１对应的U 值为４，因此中心像素的R U L B P 码为９.由式(９
)可知，当以中心像素的８邻域为窗口计算其R U L B P 码时，中心像素的L B P 码由原来
的２５６种减少为１０种，因此采用R U L B P 能够有效地减少L B P 码的种类，提高了L B P 特征提取的稳定性
.
图２㊀８邻域窗口内中心像素的L B P 码计算示例
F i g ．２㊀E x a m p l e o fL B Pc o d e c a l c u l a t i o no f c e n t e r p i x e l i ne i g h t Ｇn e i g
h b o r h o o dw i n d o w ㊀㊀对于高光谱影像数据,
可以将影响的每个波段视为灰度图像，直接应用R U L B P 模型获取各波段中每个像素的R U L B P 码，并采用中心像素图像块的统计直方图作为该像素的R U L B P 特征.值得注意的是，统计直方图的横轴代表
R U L B P 码的种类，其范围为[０,９]，纵轴代表图像块内各R U L B P 码出现的频率.图３以P a v i a 大学数据集为例，给出了高光谱影像R U L B P 特征提取的具体流程，由于高光谱影像具有高维特性，且相邻波段具有高度相关性，因此首先使用主成分分析将高光谱影像降维至３个波段，然后分别对３个主成分进行R U L B P 特征提取，最终结合３个主成分特征与３个R U L B P 特征，为影像的每一个像素生成３３维的特征向量.最终提取的特征包含了主要的光谱特征及R U L B P 提取的局部纹理特征，同时利用了高光谱影像的空间信息和光谱信息.
２㊀试验结果及分析
试验的硬件环境为１６G B 内存,I n t e l C o r e i ７Ｇ
９７５０H 处理器,R T X２０７０显卡.本文设计的图
卷积网络基于p y t h o n 语言和深度学习库T e n s o r f l o w ＧG P U 开发实现.在网络的训练过程中，设置网络的迭代次数为２０００次，每隔１０次记录测试样本集上模型的分类准确率，并以１０次为周期对学习率实施动态衰减，在训练过程中，使用A d a m 函数对模型的训练损失进行优化.
１
６３１
O c t o b e r ２０２１V o l ．５０N o ．１０A G C S
h t t p :ʊx b ．s i n o m a p堆栈式
s ．c o
m 图３㊀高光谱影像R U L B P 特征提取流程(以P a v i a 大学数据集为例)
F i g ．３㊀F l o wc h a r to fR U L B Pf e a t u r ee x t r a c t i o nf r o m h y p e r s p e c t r a l i m a g e s (t a k i n g t h e U n i v e r s i t y o
f P a v i ad a t a s e t a s a ne x a m p
l e )２．１㊀试验数据
为验证图卷积网络在高光谱影像分类方面的优势，选取３个常用的高光谱数据集进行分类试验，分别为P a v i a 大学数据集㊁I n d i a nP i n e s 数据集和S a l i n a s 数据集.
(１)P a v i a 大学数据集.P a v i a 大学数据集是由德国的机载反射光学光谱成像仪(r e f l e c t i v e o p t i c ss p e c t r o g r a p h i ci m a g i n g s y s t e m ,R O S I S Ｇ０３)在２００３年对意大利的帕维亚城成像的一部分高光谱数据，光谱覆盖范围为４３０~８６０n m ，影像大小为６１０ˑ３４０像素，其中包含地物的像素有４２７７６个，空间分辨率为１．３m ，去除受噪声影响的波段后，剩余１０３个波段可用于分类.该数据
集对９种地物进行了标注.地物类别㊁选取的训练样本数量㊁测试样本数量见表１.
表１㊀P a v i a 大学数据集划分情况
水管堵头
T a b ．１㊀D a t a s e t d i v i s i o no fP a v i a u n i v e r s i t y d
a t a s e t 序号地物类别训练集测试集１a s p
h a l t ５/１０/１５/２０/２５
６６３１
２m e a d o w s ５/１０/１５/２０/２５１８６４９３g r a v e l ５/１０/１５/２０/２５２０９９４t r e e s ５/１０/１５/２０/２５３０６４５p
a i n t e dm e t a l s h e e t s ５/１０/１５/２０/２５１３４５６
b a r e s o i l ５/１０/１５/２０/２５５０２９７b i t u m e n
５/１０/１５/２０/２５１３３０８s e l f Ｇb l o c k i n g b r i c k s ５/１０/１５/２０/２５
３６８２９
s h a d o w s
５/１０/１５/２０/２５９４７总计４５/９０/１３５/１８０/２２５４２７７６(２)I n d i a nP i n e s 数据集.I n d i a nP i n e s 数据集是由机载可视红外光谱仪(a i r b o r n ev i s i b l e i n f r a r e d i m a g i n g s p
e c t r o m e t e r ,A V I R I S )传感器于１９９２年对美国印第安纳州一块印度松树区域
进行成像获得，光谱覆盖范围为４００~２５００n m ,
影像大小为１４５ˑ１４５像素，其中包含地物的像素有１０２４９个，空间分辨率为２０m ，去除受噪声影响的波段后，剩余２００个波段可用于分类.该数据集对１６种地物进行了标注.地物类别㊁选取的训练样本数量㊁测试样本数量见表２.值得注意的是，第９类地物仅包含２０个像素，因此在每类地物选取的训练样本数目超过２０时，第９类地物仍选取２０个样本.
表２㊀I n d i a nP i n e s 数据集划分情况
T a b ．２㊀D a t a s e t d i v i s i o no f I n d i a nP i n e s d a t a s e t
序号类别训练集测试集１a l f a l f a
５/１０/１５/２０/２５
４６
２c o r n Ｇn o t i l l ５/１０/１５/２０/２５１４２８３c o r n Ｇm i n t i l l ５/１０/１５/２０/２５８３０４c o r n ５/１０/１５/２０/２５２３７５g r a s s Ｇp a s t u r e ５/１０/１５/２０/２５４８３６g
r a s s Ｇt r e e s ５/１０/１５/２０/２５７３０７g r a s s Ｇp a s t u r e Ｇm o w e d ５/１０/１５/２０/２５２８８h a y Ｇw i n d r o w e d ５/１０/１５/２０/２０４７８９
o a t s ５/１０/１５/２０/２５２０１０s o y b e a n Ｇn o t i l l ５/１０/１５/２０/２５９７２１１s o y b e a n Ｇm i n t i l l ５/１０/１５/２０/２５２４５５
１２s o y
b e a n Ｇ
c l e a n ５/１０/１５/２０/２５５９３１３w h e a t ５/１０/１５/２０/２５２０５１４w o o
d s ５/１０/１５/２０/２５
１２６５
１５b u i l d i n g s Ｇg
r a s s Ｇt r e e s Ｇd r i v e s ５/１０/１５/２０/２５３８６１６s t o n e Ｇs t e e l Ｇt o w e r s ５/１０/１５/２０/２５
９３总计
８０/１６０/２４０/３２０/３９５１０２４９
(３)S a l i n a s 数据集.S a l i n a s 数据集是
A V I R I S 光谱仪获取的美国加利福尼亚州萨利纳斯山谷区域的高光谱影像，影像大小为５１２ˑ２１７
像素，其中包含地物的像素有５４１２９个，空间分辨率为３．７m ，原始影像共有２２４个波段,
去除受噪声影响的波段后，剩余２０４个波段可用于分类.
２
６３１
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议