(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202010709169.X
(22)申请日 2020.07.22
(71)申请人 浙江大学
地址 310058 浙江省杭州市西湖区余杭塘
路866号
(72)发明人 尹建伟 苏鸽 尚永衡 沈正伟
(74)专利代理机构 北京高沃律师事务所 11569
代理人 崔玥
(51)Int.Cl.
G06K 9/00(2006.01)
G06K 9/34(2006.01)
G06K 9/62(2006.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
(54)发明名称基于高分辨率遥感图像的跨域数据的定向迁移方法及系统(57)摘要本发明公开了一种基于高分辨率遥感图像的跨域数据的定向迁移方法及系统，本发明的方法，首先，建立融合图像转换网络模型的转换图像损失和模型适应性损失的目标损失函数；克服了现有的数据转换的过程中脱离了特定任务， 忽略了数据转换给特定任务带来的负面影响的技术缺陷，并且基于样本数据对训练后的图像转换网络模型进行微调，保障了图像转换网络模型不断向目标模型的期望的方向转换，克服了跨域数据的定向迁移过程中的过分解读或者过度简化的技术缺陷，提高了基于高分辨率遥感图像的跨
域数据的定向迁移的准确性。权利要求书8页 说明书18页 附图2页CN 111723780 A 2020.09.29
C N 111723780
A
1.一种基于高分辨率遥感图像的跨域数据的定向迁移方法，其特征在于，所述定向迁移方法包括如下步骤：
获取带标签的源域图像和不带标签的目标域图像，建立训练数据样本集；所述训练数据样本包括源域图像、源域图像的真实标签、目标域图像，源域图像、源域图像的真实标签、目标域图像分别设置在源域图像集合、源域图像的标签集合、目标域图像集合； 建立用于对高分辨率遥感图像的跨域数据进行定向迁移的图像转换网络模型；
建立融合图像转换网络模型的转换图像损失和模型适应性损失的目标损失函数；
利用训练数据样本集，对所述图像转换网络模型进行训练，获得训练后的图像转换网络模型；
将带标签的源域图像输入训练后的图像转换网络模型，将带标签的源域图像转换成目标域的迁移图像，并利用带标签的源域图像的标签作为所述迁移图像的标签，建立微调数据样本集，将所述微调数据样本集划分为训练集和测试集；
利用所述训练集对所述训练后的图像转换网络模型的语义分割模型进行微调，使模型适应性损失小于模型适应性损失阈值，获得微调后的图像转换网络模型；
将所述测试集输入微调后的图像转换网络模型，计算微调后的图像转换网络模型的目标损失函数值；
判断所述目标损失函数值是否小于目标损失函数阈值，得到第一判断结果；
若所述第一判断结果表示否，则返回步骤“利用训练数据样本集，对所述图像转换网络模型进行训练，获得训练后的图像转换网络模型”，对微调后的图像转换网络模型进行再次训练和微调；
若所述第一判断结果表示是，则输出微调后的图像转换网络模型作为训练后的图像转换网络模型；
将待处理的源域的高分辨率遥感图像输入训练后的图像转换网络模型，得到目标域的转换图像，并对目标域的转换图像进行定向迁移。
2.根据权利要求1所述的基于高分辨率遥感图像的跨域数据的定向迁移方法，其特征在于，所述图像转换网络模型包括两个生成器、两个判别器和语义分割模型，两个所述生成器分别为正向生成器和反向生成器；两个所述判别器分别为目标域判别器和源域判别器；
所述生成器包括依次连接的一个反射填充层、三个卷积层、五个残差块和三个卷积层；
所述判别器包括依次连接的第一卷积层模块、第二卷积层模块和第三卷积层模块。
3.根据权利要求2所述的基于高分辨率遥感图像的跨域数据的定向迁移方法，其特征在于，所述建立融合图像转换网络模型的转换图像损失和模型适应性损失的目标损失函数，具体包括：
建立融合图像转换网络模型的正向映射的对抗损失函数L GAN(G,D Y,X,Y)和反向映射的对抗损失函数L GAN(F,D X,X,Y)：
其中：G表示正向映射，F表示反向映射，D Y表示目标域判别器，D X表示源域判别器，X表示源域，Y表示目标域；y～p data(y)表示满足目标域的概率分布p data(y)的目标域图像，
表示满足目标域的概率分布p data(y)的目标域图像的期望；x～p data(x)表示满足源域的概率分布p data(x)的源域图像，表示满足源域的概率分布p data(x)的源域图像的期望；D Y(y)表示对真实的目标域数据y是否属于目标域的判断，D X(x)表示对真实的源域数据x是否属于源域的判断，G(x)表示源域图像经过正向生成器进行正向映射生成的服从目标域的概率分布的源域图像的生成图像；D Y(G(x))表示对源域图像的生成图像G(x)是否属于目标域的判断；F(y)表示目标域图像经过反向生成器进行反向映射生成的服从源域的概率分布的目标域图像的生成图像，D X(F(y))表示对目标域图像的生成图像F(y)是否属于源域的判断；
建立融合图像转换网络模型的循环一致性损失函数L cyc(G,F)：
其中，F(G(x))表示源域图像x经过正向映射G和反向映射F后的源域图像的重构图像，G (F(y))表示目标域图像y经过反向映射F和正向映射G后的目标域图像的重构图像；
建立融合图像转换网络模型的模型适应性损失函数L M(S,M(g(Te)))：
其中，S表示源域图像的标签集合，s i表示源域图像集合中的第i个源域图像对应的真实标签，Te表示源域图像集合，x i表示源域图像集合中的第i个源域图像，K表示源域图像集合中的源域图像的个数；M(·)表示语义分割模型，IoU(·)表示交并比指标计算函数，M(G (x i))表示利用语义分割模型M(·)预测第i个源域图像的生成图像G(x i)的预测标签，M(g (Te))表示利用语义分割模型M(·)对源域图像集合中的所有的源域图像的生成图像进行预测得到的源域图像集合的预测标签集合，IoU(s i,M(G(x i)))表示是第i个源域图像对应的真实标签和预测标签的交并比指标；
建立融合图像转换网络模型的转换图像损失和模型适应性损失的目标损失函数L(G, F,D X,D Y,M)：
其中，λ表示第一超参数，表示第二超参数。
4.根据权利要求3所述的基于高分辨率遥感图像的跨域数据的定向迁移方法，其特征在于，所述利用训练数据样本集，对所述图像转换网络模型进行训练，获得训练后的图像转换网络模型，具体包括：
从训练数据样本集中获取预设个数的训练数据样本，组成训练数据样本子集；
将所述训练数据样本子集中的第i个训练数据样本输入所述图像转换网络模型，计算图像转换网络模型的目标损失函数的数值；
将目标损失函数数值反馈给图像转换网络模型的正向生成器和反向生成器，更新正向生成器和反向生成器的参数；
判断i的数值是否小于所述预设个数的值，得到第二判断结果；
若所述第二判断结果表示是，则令i的数值增加1，返回步骤“将所述训练数据样本子集
中的第i个训练数据样本输入所述图像转换网络模型，计算图像转换网络模型的目标损失函数的数值”；
若所述第二判断结构表示否，则令i的数值等于1；
将所述训练数据样本子集中的第i个训练数据样本的源域图像输入图像转换网络模型的正向生成器，进行正向映射，获得源域图像的生成图像，将源域图像的生成图像输入图像转换网络模型的反向生成器，进行反向映射，获得源域图像的重构图像；将将所述训练数据样本子集中的第i个训练数据样本的目标域图像输入图像转换网络模型的反向生成器，进行反向映射，获得目标域图像的生成图像，将目标域图像的生成图像输入图像转换网络模型的正向生成器，进行正向映射，获得目标域图像的重构图像；
根据利用源域判别器判断目标域图像的生成图像是否属于源域的判断损失和源域图像是否属于源域的判断损失，更新源域判别器的权重；
根据利用目标域判别器判断源域图像的生成图像是否属于目标域的判断损失和目标域图像是否属于目标域的判断损失，更新目标域判别器的权重；
判断i的数值是否小于所述预设个数的值，得到第三判断结果；
若所述第三判断结构表示是，则令i的数值增加1，返回步骤“将所述训练数据样本子集中的第i个训练数据样本的源域图像输入图像转换网络模型的正向生成器，进行正向映射，获得源域图像的生成图像，将源域图像的生成图像输入图像转换网络模型的反向生成器，进行反向映射，获得源域图像的重构图像；将所述训练数据样本子集中的第i个训练数据样本的的目标域图像输入图像转换网络模型的反向生成器，进行反向映射，获得目标域图像的生成图像，将目标域图像的生成图像输入图像转换网络模型的正向生成器，进行正向映射，获得目标域图像的重构图像”；
若所述第三判断结构表示否，则判断迭代次数是否达到迭代次数阈值，得到第四判断结果；
若所述第四判断结果表示否，则令迭代次数的数值增加1，返回步骤“从训练数据样本集中获取预设个数的训练数据样本，组成训练数据样本子集”；
若所述第四判断结果表示是，则输出更新后的图像转换网络模型作为训练后的图像转换网络模型。
5.根据权利要求4所述的基于高分辨率遥感图像的跨域数据的定向迁移方法，其特征在于，所述将所述训练数据样本子集中的第i个训练数据样本输入所述图像转换网络模型，计算图像转换网络模型的目标损失函数的数值，具体包括：
将所述训练数据样本子集中的第i个训练数据样本的源域图像输入图像转换网络模型的正向生成器，进行正向映射，获得源域图像的生成图像，将源域图像的生成图像输入图像转换网络模型的反向生成器，进行反向映射，获得源域图像的重构图像；将所述训练数据样本子集中的第i个训练数据样本的目标域图像输入图像转换网络模型的反向生成器，进行反向映射，获得目标域图像的生成图像，将目标域图像的生成图像输入图像转换网络模型的正向生成器，进行正向映射，获得目标域图像的重构图像；
根据源域判别器对源域图像是否属于源域的判断结果和对目标域的生成图像是否属于源域的判断结果，利用公式
计算反向映射的对抗损失函数的值；
根目标域判别器对目标域图像是否属于目标域的判断结果和对源域的生成图像是否属于目标域的判断结果，利用公式
计算正向映射的对抗损失函数的值；
根据源域图像与源域图像的重构图像的差值及目标域图像与目标域图像的重构图像
的差值，利用公式计算循环一致性损失函数的值；
利用公式计算图像转换网络模型的模
型适应性损失函数的数值；
根据反向映射的对抗损失函数的值、正向映射的对抗损失函数的值、循环一致性损失函数的值和模型适
应性损失函数的数值，利用公式
计算图像转换网
络模型的目标损失函数的数值。
6.一种基于高分辨率遥感图像的跨域数据的定向迁移系统，其特征在于，所述定向迁移系统包括：
训练数据样本集建立模块，用于获取带标签的源域图像和不带标签的目标域图像，建立训练数据样本集；所述训练数据样本包括源域图像、源域图像的真实标签、目标域图像、目标域图像的真实标签，源域图像、源域图像的真实标签、目标域图像和目标域图像的真实标签分别设置在源域图像集合、源域图像的标签集合、目标域图像集合和目标域图像的标签集合；
图像转换网络模型建立模块，用于建立用于对高分辨率遥感图像的跨域数据进行定向迁移的图像转换网络模型；
目标损失函数建立模块，用于建立融合图像转换网络模型的转换图像损失和模型适应性损失的目标损失
函数；
训练模块，用于利用训练数据样本集，对所述图像转换网络模型进行训练，获得训练后的图像转换网络模型；
数据样本集建立模块，用于将带标签的源域图像输入训练后的图像转换网络模型，将带标签的源域图像转换成目标域的迁移图像，并利用带标签的源域图像的标签作为所述迁移图像的标签，建立微调数据样本集，将所述微调数据样本集划分为训练集和测试集；
微调模块，用于利用所述训练集对所述训练后的图像转换网络模型的语义分割模型进行微调，使模型适应性损失小于模型适应性损失阈值，获得微调后的图像转换网络模型；
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议