(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201911051954.4
(22)申请日 2019.10.31
(71)申请人 电子科技大学
地址 611731 四川省成都市高新区（西区）
西源大道2006号
(72)发明人 解梅 彭清 付威福 王裕 贺凯
(74)专利代理机构 电子科技大学专利中心
51203
代理人 邹裕蓉
(51)Int.Cl.
G06K 9/62(2006.01)
(54)发明名称
成多分类语义图的方法
(57)摘要
本发明提供一种基于高分遥感影像二分类
据集送入二分类语义分割网络训练二分类模型
组，并且计算每个二分类模型的置信度；将待预
测的高分遥感影像输入到二分类模型组中，得到
测概率矩阵；将二分类模型的置信度和对应的初
始预测概率矩阵相乘到待预测的高分遥感影像
对于该二分类模型中的最终判别概率矩阵；在对
的像素点，将像素点在二分类模型组中最终判别
概率矩阵对应位置概率值最大的那个类别作为
当前像素点的分类的类别。本发明能有效提高最
终合成分类图的整体分类精度以及IoU和kappa
系数指标。权利要求书1页 说明书3页 附图6页CN 110807485 A 2020.02.18
C N 110807485
A
1.基于高分遥感影像二分类语义分割图融合成多分类语义图的方法，其特征在于，包括以下步骤：
1)对原始多通道遥感影像及其所对应的标签形成的图像数据集进行预处理；
2)图像数据集送入二分类语义分割网络进行训练，根据标签类别数得到对应数量的二分类模型形成二分类模型组，并且计算每个二分类模型的置信度；
3)将待预测的高分遥感影像输入到二分类模型组中，得到各个二分类模型输出的二分类结果以及初始预测概率矩阵；二分类结果中像素点值为0表示该像素点非当前类，像素点值为1表示该像素点属于当前类；
4)将二分类模型的置信度和对应的预测概率矩阵相乘得到待预测的高分遥感影像对于该二分类模型中的最终判别概率矩阵；
5)判断待预测的高分遥感影像中单个像素点的分类情况：
5.1)当前像素点是否在二分类模型组输出的全部二分类结果中对应的值都为0，如是，判断该像素点不属于所有的类别，否则，进入步骤5.2)；
5.2)当前像素点是否在二分类模型组输出的全部二分类结果中对应的值中仅有一个为1，如是，判断该像素点属于该分类的类别，否则，该点的类别在二分类中有冲突，进入步骤5.3)；
5.3)取当前像素点在二分类模型组中最终判别概率矩阵对应位置概率值最大的那个类别作为当前像素点的分类的类别；
6)待预测的高分遥感影像中全部像素点的分类完成后输出多分类结果图像。
2.如权利要求1所述方法，所述二分类语义分割网络为SegNet、DeepLab或U -net形式的分割网络。
3.如权利要求1所述方法，所述预处理包括镜像翻转、旋转和加入高斯白噪声。
权 利 要 求 书1/1页CN 110807485 A
基于高分遥感影像二分类语义分割图融合成多分类语义图的
方法
技术领域
[0001]本发明涉及计算机图像处理与高分二号卫星遥感图像地物分类技术，具体涉及将高分遥感图像采用深度学习语义分割产生的二分类语义分割预测图融合成多分类语义图的技术。
背景技术
[0002]高分遥感图像解译广泛运用于国土分类，土地勘测，区域侦查，地物变化检测等领域。最早主要依靠解译专业人员进行人工解译，需要花费大量的人力物力，目前常用到的主要有传统方法直接根据图像的纹理特征，多维度信息来直接提取地物信息。
[0003]例如通过归一化差值植被指数(normalized difference vegetation index, NDVI)来提取植被，利用归一化水体指数(normalized difference water index,NDWI)来提取高分遥感影像的水体。另外，也可以通过聚类的方法实现对高分遥感图像的分类。由于深度学习的发展，采用深度学习的方法来直接提取地物信息实现地物信息分割与分类也成为一个热门的方向。对高分遥感图像直接采用深度神经网络来提取高维度的光谱信息特征以及图像的边缘，纹理特征，来进行多分类是一个常见的方法，该方法可以对高分遥感图像做到像素级的分类。
发明内容
[0004]本发明所要解决的技术问题是，提供一种基于深度学习的方法得到多个二分类的预测图，并且对二分类分类结果的预测图进行融合得到一个完整的语义分割多分类的结果。
[0005]本发明为解决上述技术问题所采用的技术方案是，基于高分遥感影像二分类语义分割图融合成多分类语义图的方法，包括以下步骤：
[0006]1)对原始多通道遥感影像及其所对应的标签形成的图像数据集进行预处理；[0007]2)图像数据集送入二分类语义分割网络进行训练，根据标签类别数得到对应数量的二分类模型形成二分类模型组，并且计算每个二分类模型的置信度；
[0008]3)将待预测的高分遥感影像输入到二分类模型组中，得到各个二分类模型输出的二分类结果以及初始预测概率矩阵；二分类结果中像素点值为0表示该像素点非当前类，像素点值为1表示该像素点属于当前类；
[0009]4)将二分类模型的置信度和对应的初始预测概率矩阵相乘得到待预测的高分遥感影像对于该二分类模型中的最终判别概率矩阵；
[0010]5)判断待预测的高分遥感影像中单个像素点的分类情况：
[0011] 5.1)当前像素点是否在二分类模型组输出的全部二分类结果中对应的值都为0，如是，判断该像
素点不属于所有的类别，否则，进入步骤5.2)；
[0012] 5.2)当前像素点是否在二分类模型组输出的全部二分类结果中对应的值中仅有
一个为1，如是，判断该像素点属于该分类的类别，否则，该点的类别在二分类中有冲突，进入步骤5.3)；
[0013] 5.3)取当前像素点在二分类模型组中最终判别概率矩阵对应位置概率值最大的那个类别作为当前像素点的分类的类别；
[0014]6)待预测的高分遥感影像中全部像素点的分类完成后输出多分类结果图像。[0015]本发明的有益效果是，将二分类的结果和二分类的单类的置信度取作为影响单个像素最终评判结果的要素，相比单网络进行多分类的方案，本发明可以有效提高最终合成分类图像的整体分类精度以及IoU和kappa系数指标，实现高分遥感图像自动解译。
附图说明
[0016]图1为本发明流程图；
[0017]图2-1为大小7200×6800的高分遥感图像在二分类条件下对建筑的分类结果；[0018]图2-2为大小7
200×6800的高分遥感图像在二分类条件下对水体的分类结果；[0019]图2-3为大小7200×6800的高分遥感图像在二分类条件下对耕地的分割结果；[0020]图2-4为大小7200×6800的高分遥感图像在二分类条件下对道路的分割结果；[0021]图2-5为大小7200×6800的高分遥感图像在合成的4分类结果图的灰度图；[0022]图3-1为大小720×680的高分遥感图像在二分类条件下对建筑的分割结果；[0023]图3-2为大小720×680的高分遥感图像在二分类条件下对水体的分割结果；[0024]图3-3为大小720×680的高分遥感图像在二分类条件下对耕地的分割结果；[0025]图3-4为大小720×680的高分遥感图像在二分类条件下对道路的分割结果；[0026]图3-5为大小720×680的高分遥感图像在采用本方法合成的4分类结果图。
具体实施方式
[0027]本发明包括图像预处理、训练多个二分类模型、对一幅图多次二分类预测、计算最终分类的判别矩阵以及对单个像素点逐个分类这几个步骤。
[0028]步骤1、图像数据预处理(假设多分类类别为N类)
[0029]1-1首先将高分遥感图像和其对应的标签成对进行随机裁剪成大小为256*256的多幅成对小图像。
[0030]1-2然后将标签小图处理成N个二分类的标签图，每个标签图中0代表非第k类，1代表是第k类(其中k取值从0到N)。
[0031]1-3对于新的原始图像和对应的N组标签图，分别成对做镜像翻转，旋转，加入高斯白噪声等操作实现数据扩充。
[0032]步骤2、训练多个二分类网络模型
[0033]2-1将扩展好的数据集分别送入二分类网络中训练出N个稳定的二分类模型，计算单个模型的置信度P k。
[0034]步骤3、预测
[0035]3-1将单幅待预测的图像输入的训练好的N个二分类模型中，最终输出N个256* 256*2的概率矩阵M k和二分类掩膜mask图像img_k；其中M k矩阵中位置为(i，j，k)的值代表位置为(i，j)的点的类别为k类别的概率；二分类mask图像作为二分类结果，将矩阵M k大于0.5
的像素点作为二分类掩膜mask图像中取值为1的像素点，即作为属于此二分类的像素点；将矩阵M k小于等于0.5的像素点作为二分类掩膜mask图像中取值为0的像素点，作为非此分类的像素点。
[0036]3-2计算N个最终判别概率矩阵N k＝M k×P k。
[0037]3-2用N个二分类的mask叠加起来，对于分类不冲突的像素点，就按照原本二分类的分类情况取分
类：叠加后值为0的表示该像素点不属于所有的类别，叠加后值为1的，取值为1所在的二分类结果所对应的类别作为该像素点的类别；对于分类冲突的像素点，即二分类的mask叠加起来值大于等于2的，就是表明对于不同的二分类概率矩阵中有超过1个的概率大于0.5，取像素点在最终判别概率矩阵对应位置概率值最大的那个类别作为当前像素点的分类的类别。
[0038]步骤4、将最终分类结果输出，不同类别使用不同颜标注。
[0039]图2-1、图2-2、图2-3、图2-4分别为大小7200×6800的高分遥感图像对应建筑、水体、耕地、道路二分类结果，图2-5为合成的4分类结果图的灰度图。
[0040]图3-1、图3-2、图3-3、图3-4分别为大小720×680的高分遥感图像对应建筑、水体、耕地、道路二分类结果，图3-5为合成的4分类结果图的灰度图。
[0041]将单次完成4分类的分类结果与本发明二分类融合的分类结果进行对比：
[0042]
[0043]结果表明，本发明能有效提高最终合成掩膜图mask的整体分类精度以及IoU和kappa系数指标。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议