一种可见光到红外图像转换方法

1.本发明属于图像处理技术领域，更具体地，涉及一种可见光到红外图像转换方法。

背景技术：

2.随着计算机视觉技术的发展，基于红外图像的目标检测技术在军用和民用领域的应用越来越广泛。在军事领域，红外图像制导系统能够大大提升制导的精准性和稳定性，同时基于红外图像的检测识别也是进行战场感知和重要军事设施勘探的重要手段之一；在民用领域，红外遥感、无人机导航、无人驾驶和红外安防等均将红外图像作为重要的信息源之一，基于红外图像的检测识别技术能够大幅度提升这些系统的稳定性和适用性。因此，发展红外图像的检测识别技术具有重要的研究意义，其中基于深度学习的目标检测方法是目前的主要研究方向。但是，基于深度学习的目标检测方法需要大量的训练数据，过少的数据将会影响网络的泛化性能，因此利用深度学习技术生成红外图像具有较大的研究价值。
3.得益于gan的发展，关于图像到图像转换的研究也取得了长足的进步。图像到图像转换类似于条件生成，给定一张源域图像，将其风格转换到目标域，同时保持图像的内容不变，例如selfie2anime、horse2zebraz等方法。pix2pix最先被提出来解决图像到图像转换的问题，该类方法的限制是需要像素级配对的数据集，然而获得配对的数据集需要大量的精力，同时一些配对的数据集是无法获取的，比如医学影像。为了解决这一问题，基于循环一致性和内容相似性约束的方法被提了出来，其中最具代表性的方法是cyclegan。此外还有一些用于多模态生成的方法，该方法将源域图像转换到多个目标域，例如stargan。尽管无监督的图像到图像转换方法应用更为广泛，但是大量的研究表明，有监督方法能够学到更为准确的映射在源域和目标域之间，无监督方法在训练过程中可能存在扰动，导致其学到不准确的映射，因此有监督的图像到图像转换方法仍然具有良好的应用价值，因为它可以直接计算像素级别的差异。然而，对于有监督方法而言，利用配对数据集训练的网络对于陌生场景的泛化性能较弱。
4.综上所述，现有的无监督图像转换方法难以实现源域到目标域的准确映射，有监督方法对于陌生场景的泛化性能较弱，同时部分转换方法是对整幅图像进行特征提取到图像生成，没有进一步显式地区分目标个体，造成目标间特征耦合，生成效果不佳，显式区分目标个体的方法将整个过程分为多个阶段且中间过程有人参与，处理过程繁琐。

技术实现要素：

5.针对现有技术的以上缺陷或改进需求，本发明提供了一种可见光到红外图像转换方法，其目的在于解决现有技术中难以平衡源域到目标域的准确映射和陌生场景的泛化性能的技术问题。
6.为实现上述目的，本发明提供了一种可见光到红外图像转换方法，包括：
7.s1.获取配对的可见光红外图像，作为训练集；
8.s2.构建红外图像转换网络；所述红外图像转换网络包括：多个自下而上层级连接
的特征提取模块、与特征提取模块层级对应的多个并列的材质特征分离模块、与特征提取模块层级对应的多个自上而下层级连接的特征耦合模块，以及热数据特征分离模块和热物理模拟模块；
9.其中，层级连接的特征提取模块，用于对可见光图像进行不同尺度的特征提取；并列的材质特征分离模块，用于分别对不同尺度的特征图进行材质类别划分，得到不同尺度特征图对应的材质特征；热数据特征分离模块，用于从最大尺度的特征图中获取全局热数据特征；级联的特征耦合模块，用于从不同尺度的特征图中选择表达最为充分的材质特征，将所选材质特征与对应的热数据特征进行融合，并与上一层级的特征进行叠加，渐进式地生成热量图；热物理模拟模块，用于将热量图转换为红外图像；
10.s3.采用训练集对红外图像转换网络进行有监督的迭代训练，得到训练好的红外转换模型；
11.s4.将待转换的可见光图像输入训练好的红外转换模型，得到对应的红外图像。
12.进一步地，红外图像转换网络训练过程中，采用如下旋转一致性损失对特征分离模块和热数据特征分离模块进行约束：
[0013][0014]
和分别代表图像变换前后的热数据特征，和分别代表图像变换前后第i层的材质特征，t(
·
)表示图像变换的逆变换。
[0015]
进一步地，材质特征分离模块包括依次连接的卷积层、池化层和像素级分类器。
[0016]
进一步地，热数据特征分离模块包括依次连接的卷积层、全局平均池化层和特征映射层。
[0017]
进一步地，特征耦合模块包括材质选择单元、特征映射单元、自适应实例归一化单元、卷积层和上采样层；
[0018]
其中，材质选择单元，通过以下运算选择特定通道的特征；
[0019][0020]
其中为通道加权系数，表示第i个尺度的材质特征，einsum表示爱因斯坦求和，基于的参数对的通道进行重加权，当参数越接近于1表示该通道的特征得到表达，反之则被抑制；
[0021]
特征映射单元，对输入的全局材质热数据特征进行进一步地特征映射得到所选材质特征对应的热数据特征；
[0022]
自适应实例归一化单元，先对当前层级材质选择单元的输出和当前层级特征映射单元的输出进行自适应特征融合；再将融合后的特征图与上一层级特征图进行叠加并做实例归一化处理。
[0023]
进一步地，特征映射层和特征映射单元采用equalizedlinear全连接层实现。
[0024]
进一步地，热物理模拟模块由三个残差块串联而成。
[0025]
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果。
[0026]
(1)本发明在通过配对数据集进行有监督训练基础上，提取图像中的材质特征和热数据特征，并将提取到的材质特征和热数据特征逐步嵌入到热量图中，渐进式地生成热量图，整个过程均是面向图像中的目标个体进行特征层面的操作，相较于传统的整张图像的生成方法，能够降低目标特征间的耦合关系，达到更好的生成效果，保证了陌生场景的同类型目标发现能力，达到了平衡源域到目标域的映射准确性和陌生场景的泛化能力的目的。
[0027]
(2)本发明采用无监督方法对材质特征分离模块和热数据特征分离模块进行一定程度的约束，降低了人工标注的成本，同时一定程度上缓解了热数据无法直接获得的问题，达到了平衡显式区分目标个体和图像处理复杂度的目的，更贴合实际的应用场景，实用价值较高。
附图说明
[0028]
图1为本发明实例提供的一种可见光到红外图像转换方法示意图；
[0029]
图2为本发明实例提供的一种可见光到红外图像转换方法中各个模块的详细结构图；
[0030]
图3为本发明实例提供的材质特征分离模块对输入红外图像在不同特征层的材质特征分离结果图；
[0031]
图4为本发明实例提供的可见光到红外图像转换算法与其他经典算法的转换结果对比图；其中(a)为在kaist数据集上的结果图，(b)为在m3fd数据集上的结果图；
[0032]
图5为本发明实例对陌生场景下的可见光图像转换的实验结果。
具体实施方式
[0033]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0034]
针对现有的无监督图像转换方法难以实现源域到目标域的准确映射，有监督方法对于陌生场景的泛化性能较弱，同时部分转换方法是对整幅图像进行特征提取到图像生成，没有进一步显式地区分目标个体，造成目标间特征耦合，生成效果不佳，显式区分目标个体的方法将整个过程分为多个阶段且中间过程有人参与，处理过程繁琐，本发明提供了一种基于特征分离-耦合的可见光到红外图像转换方法，其整体思路在于：通过特征提取模块提取输入可见光图像的多尺度特征使得场景中不同尺寸目标的特征均得到充分表达，之后通过材质特征分离模块提取不同尺度特征图中的材质特征同时通过热数据特征分离模块建模输入图像像素值与材质热数据间的关系并基于编码得到材质热数据特征随后将不同尺度下的材质特
征和热数据特征共同输入到多个级联的特征耦合模块，通过模块内置的材质选择模块和特征映射模块对材质特征进行选择性表达，进一步提高网络对特征的表达能力，之后通过内置的自适应实例归一化模块对材质特征和热数据特征进行融合并与上一层级的特征进行叠加，渐进式地生成热量图，最终通过热物理模拟模块完成红外图像的生成，同时在整个过程中，采用无监督的旋转一致性约束，增强材质特征分离模块和热数据特征分离模块的有效性。
[0035]
相较于一般的方法，该方法更加关注对象整体，在特征提取阶段对材质特征和热数据特征进行解耦并嵌入到潜在空间，在解码阶段通过渐进生成的方式耦合材质和热数据得到热量图，最终经过热物理模拟过程得到红外图像，通过该方式能够提高生成图像中对象的完整性，同时提高对场景变化的泛化性能。
[0036]
本发明提供的一种基于特征分离-耦合的可见光到红外图像转换方法可以适用于可见光图像到红外图像的转换，也可以适用于灰度图像到红外图像的转换，在本发明实施例中，以可见光图像到红外图像的转换为例，详述如下：
[0037]
为实现上述目的，本发明提供了一种可见光到红外图像转换方法，包括：
[0038]
s1.获取配对的可见光红外图像，作为训练集；
[0039]
s2.基于深度神经网络搭建图像转换网络结构；图像转换网络结构如图1所示，包括：
[0040]
材质特征分离模块，用于从不同尺度的特征图中分割出不同的材质特征，通过像素级分类器对特征点进行材质类别划分得到材质特征
[0041]
热数据特征分离模块，用于建模输入可见光图像像素值与全局材质热数据特征间的关系，该模块进一步挖掘输入特征图的特征，进行特征编码并经过特征映射层得到全局材质热数据特征
[0042]
特征耦合模块，通过级联的方式自上而下地渐进式生成热量图，在不同层级中融合不同尺度的材质特征和材质热数据特征通过材质选择模块选出在当前尺度下需要参与融合计算的材质，通过特征映射模块进一步对材质热数据特征进行映射得到与所选的材质对应的热数据，之后将两者共同输入到自适应实例归一化模块完成材质特征和材质对应热数据特征的融合，最后将融合后的特征与上一层级的特征进行叠加并通过上采样层渐进式地生成热量图；
[0043]
热物理模拟模块用于拟合热力图到红外图像的转换过程，由多个残差块叠加而成，最终生成对应的红外图像。
[0044]
参考图2，本实施例中，材质特征分离模块由一层卷积层、一层池化层和一个像素级分类器组成。其中，卷积层通过一个大小为3
×
3的卷积核进行步长为1的卷积操作实现，卷积层前后保持输入输出特征图的大小不变，输出通道数为预设材质的类别数；池化层采
用核大小为2
×
2的最大池化对输入特征图进行2倍的下采样操作；像素级分类器旨在于从多尺度特征图中分离出不同的材质，具体地，对于输入的不同尺度特征图多尺度特征图中分离出不同的材质，具体地，对于输入的不同尺度特征图首先通过卷积层对输入特征进行特征提取得到其中b为一次测试过程中输入到网络中的图像数量，c为特征的通道数，h和w为当前尺度下特征图的大小，d为的通道数同时也等于材质类别数，之后对h
×
w的特征图中的每一个特征点x
w,h
(w＝1
…
w,h＝1
…
h)进行分类，判别其属于哪一类材质d_i(i＝1
…
d)从而得到材质的特征分布布分类器采用多分类器归一化指数函数实现，其具体表达式为：
[0045][0046]
则材质特征分离模块的计算过程可以表述为：
[0047][0048][0049]
式中代表常规卷积核，n
×
n表示卷积核的大小，maxpool表示最大池化操作。
[0050]
为了进一步展示材质特征分离模块的效果，对基于材质特征分离模块提取到的可见光图像的特征进行了可视化如图3所示。在图3中，第一列表示输入的原始可见光图像，第二列表示第i个材质特征分离模块提取到的特征的可视化结果，第三列表示第j个材质特征分离模块提取到的特征的可视化结果，通过可视化结果可以直观地看出，不同层级的材质特征分离模块对原始图像中的材质进行了有效划分，同时不同的材质在适合其表达的特征层次得到了充分的表达。
[0051]
本实施例中，热数据特征分离模块由一层卷积层、一层全局平均池化层和一层特征映射层组成。其中，卷积层，对输入的特征图对输入的特征图进一步提取特征，得到中间层特征其中b为一次测试过程中输入到网络中的图像数量，c为特征的通道数，h和w为当前尺度下特征图的大小，d为的通道数，同时也为材质类别数；作为一个可选的实施例，通过一个大小为3
×
3的卷积核进行步长为1的卷积操作实现卷积层；全局平均池化层，对中间层特征逐通道进行全局平均池化，
得到降维后的特征f
brightness
∈{b,d}；特征映射层，对f
brightness
进行特征映射得到材质热数据特征完成可见光图像亮度值到全局材质热数据特征的映射。可选地，特征映射层采用常见的equalizedlinear全连接层实现。
[0052]
热数据特征分离模块的计算过程为：
[0053][0054][0055]
其中，式中kernel3×3表示核大小为n
×
n的常规卷积核，gap代表全局平均池化，equalizedlinear为全连接层。
[0056]
本实施例中，特征耦合模块由材质选择单元、特征映射单元、自适应实例归一化单元、一层卷积层和上采样层组成。
[0057]
其中，材质选择单元是为了对输入的特征进行选择性表达；不同材质代表的目标大小不同，因此在不同尺度特征图下的特征表达能力不同，通过材质选择单元参与训练，使得不同材质在特征表达最为充分的尺度下参与特征融合并最终叠加到主特征图中，实现更好地生成。
[0058]
不同于常规的卷积操作，材质选择单元本质上是选择特定通道的特征进行表达，本实施例中采取的方式是在不同的特征耦合模块都学习一个可学习的参数(i表示第i个尺度)，且参数中的元素都介于0到1之间，通过以下运算得到选择后的特征：
[0059][0060]
其中为通道加权系数，表示第i个尺度的材质特征，einsum表示爱因斯坦求和，基于的参数对的通道进行重加权，当参数越接近于1表示该通道的特征得到表达，反之则被抑制。
[0061]
特征映射单元，对输入的全局材质热数据特征进行进一步地特征映射得到所选材质特征对应的热数据特征可选地，特征映射单元采用一层equalizedlinear全连接层实现。
[0062]
自适应实例归一化模块对于输入的上一层级特征图当前层级材质选择模块的输出和当前层级特征映射模块的输出进行自适应特征融合。
[0063]
首先，对和进行特征融合，
[0064]
[0065][0066]
其中μ(
·
)表示逐样本、逐通道地求取特征的均值，σ(
·
)表示逐样本、逐通道地求取特征的方差。
[0067]
随后，将融合后的特征图与上一层级特征图进行叠加并做实例归一化处理，
[0068][0069]
卷积层通过一个大小为3
×
3的卷积核进行步长为1的卷积操作实现，卷积层前后保持输入输出特征图的大小和通道数不变；上采样层通过双线性插值法实现，对输入图像进行2倍的上采样，逐步提高特征图的尺寸直至输入图像大小。
[0070]
特征耦合模块的计算过程为：
[0071][0072][0073][0074][0075][0076]
其中，upsample表示上采样，instancenorm表示实例归一化操作，代表核大小为n
×
n的常规卷积核。
[0077]
本实施例中，热物理模拟模块由三个残差块串联而成，用于拟合热力图到红外图像的转换过程。残差网络通过跳层连接的方式有效避免了网络退化问题，通过多个残差块串联可以对热物理过程进行拟合，单个残差块的计算公式为：
[0078]
x
l+1
＝x
l
+f(x
l
,w
l
)
[0079]
其中，x
l
代表残差块的输入，x
l+1
代表残差块的输出，f(
·
)表示残差分支，w
l
表示残差分支的其权重参数。则热物理模拟模块的计算过程可以表述为：
[0080][0081]
其中，代表最后一层特征耦合模块的输出，resiblock表示残差块。
[0082]
s3.采用训练集对红外图像转换网络进行有监督的迭代训练，得到训练好的红外转换模型；
[0083]
本实施例中，采用无监督方法对材质特征分离模块和热数据特征分离模块进行一定程度的约束，具体而言是将单个训练过程拆分为两个阶段。第一个阶段，对于输入的一批可见光数据，执行一次特征提取到红外图像转换的完整过程，同时记录相应的热数据特征
和各个层级的材质特征第二个阶段，将第一批中的可见光图像随机旋转一定的角度，随后也执行一次特征提取到红外图像转换的完整过程，同时记录相应的热数据特征和各个层级的材质特征在旋转随机角度的过程中，目标的姿态发生了改变，而材质代表目标的具体细节，因此材质特征分布发生改变并且相比于原始的材质特征也呈现相同角度的改变；旋转随机角度不会造成目标的丢失，热数据特征与目标是否存在有关而与目标的姿态无关，因此相比于原始的热数据特征呈现出不变的特性，通过这种隐性的约束能够确保提取的材质特征和热数据特征的有效性。
[0084]
本实施例中，利用配对的可见光-红外数据集对整个图像转换模型进行训练，整个训练过程的损失函数为：
[0085]
l
total
＝l
gan
+l
pix
+l
consitence
[0086]
l
gan
＝e[dw(i
infrared
)]e[dw(g
θ
(i
visible
))]
[0087]
l
pix
＝e[||i
infrared-g
θ
(i
visible
)||1]
[0088][0089]
其中，l
gan
是对抗生成对抗损失，用来约束生成红外图像，i
infrared
和i
visible
分别代表红外和可见光图像，dw是判别器，g
θ
是生成器；l
p
是像素损失，用来实现内容一致性约束；l
consitence是
旋转一致性损失，用来确保材质特征分离和热数据特征分离的有效性，和分别代表图像变换前后的热数据特征，和分别代表图像变换前后第i层的材质特征，t(
·
)表示图像变换的逆变换。损失函数包含了生成对抗损失、内容一致性损失和旋转一致性损失。其中内容一致性损失根据生成红外图像和对应原始红外图像基于上述公式计算得到，旋转一致性损失根据单次训练中两个阶段的中间提取特征基于上述公式计算得到。各部分损失采用不同的权重，协同约束网络参数的优化。首先，网络完成两个阶段的转换任务，然后根据中间层特征和生成结果计算相应的损失并反向传播，对生成器的相关模型参数进行调整。之后，固定生成器的参数，根据生成结果和对应的原始红外图像计算相应的损失并反向传播，对判别器的相关模型参数进行调整。
[0090]
可选地，本实施例中，训练轮次为200个epoch，学习率初始化为0.0001，选择自适应学习率方法adam优化器，使用常规的数据增强方式对输入图像进行处理，包括随机裁剪、翻转、缩放、归一化等操作，最终得到统一的输入尺寸为(256,256)。
[0091]
s4.将待转换的可见光图像输入训练好的红外转换模型，得到对应的红外图像，端到端地实现可见光图像到红外图像的转换。
[0092]
为了对本发明的效果进行验证，在两个公开数据集上开展了与其他经典算法的对比试验，两个数据集主要是街景数据，包含斑马线、行人、车辆、路灯、房屋、树木等物体。第
一个数据集来源于kaist数据集，该数据集包含51种不同的场景共计2800对配对的可见光-红外图像，其中41种场景共计2686对图像作为训练样本，10种场景共计114对图像作为测试样本；第二个数据集来源于m3fd数据集，该数据集包含149种不同的场景共计4200对配对的可见光-红外图像，其中126种场景共计3860对图像作为训练样本，23种场景共计340对图像作为测试样本。本文使用结构相似性ssim和峰值信噪比psnr作为衡量性能的标准，其中ssim的计算方式为：
[0093][0094]
其中，x和y分别表示真实的红外图像和对应的生成的红外图像，μ
x
和
μ
y分别表示x和y的均值，σ
x
和σy分别表示x和y的标准差，σ
xy
表示x和y的协方差，c1和c2分别为常数，避免分母为0。
[0095]
psnr的计算方式为：
[0096][0097][0098]
其中，x和y分别表示真实的红外图像和对应的生成的红外图像，m和n表示图像的宽和高，x(i,j)和y(i,j)分别表示对应图像在(i,j)位置处的像素值。表1展示了本发明与其他经典方法的对比结果，表1
[0099]
[0100][0101]
从表1可以看出，本发明提出的方法在两个数据集上的生成图像与对应真实红外图像的ssim指标均要优于其他经典方法，同时在m3fd数据集上有较大的提升；对于psnr指标，通过观察可以发现，生成图像的ssim指标越高，相应的psnr指标也会有略微的提高，但本发明提出的方法能够在大幅提升ssim指标的基础上减少psnr指标的增加，也即提高了生成图像的质量。
[0102]
进一步地，为了直观的展示生成效果，随机选取不同方法对多张同一可见光图像进行转换，对比结果如图4中(a)-(b)所示。从实验结果中可以看出，本发明生成的红外图像在目标完整性和整体调上与真实红外图像最为接近，意味着本发明提出的算法有更好的生成效果。同时，本发明也进一步展示了方法在未知场景可见光图像中的生成效果，如图5所示，进一步验证了本发明对于不同场景下红外图像的生成能力。在图5中可见光数据来源于互联网中随机下载的场景图，通过实验结果可以直观地看出本发明提出的方法能够较好地生成相应的红外图像，验证了本发明方法的优越性。
[0103]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：

1.一种可见光到红外图像转换方法，其特征在于，包括：s1.获取配对的可见光红外图像，作为训练集；s2.构建红外图像转换网络；所述红外图像转换网络包括：多个自下而上层级连接的特征提取模块、与特征提取模块层级对应的多个并列的材质特征分离模块、与特征提取模块层级对应的多个自上而下层级连接的特征耦合模块，以及热数据特征分离模块和热物理模拟模块；其中，层级连接的特征提取模块，用于对可见光图像进行不同尺度的特征提取；并列的材质特征分离模块，用于分别对不同尺度的特征图进行材质类别划分，得到不同尺度特征图对应的材质特征；热数据特征分离模块，用于从最大尺度的特征图中获取全局热数据特征；级联的特征耦合模块，用于从不同尺度的特征图中选择表达最为充分的材质特征，将所选材质特征与对应的热数据特征进行融合，并与上一层级的特征进行叠加，渐进式地生成热量图；热物理模拟模块，用于将热量图转换为红外图像；s3.采用训练集对红外图像转换网络进行有监督的迭代训练，得到训练好的红外转换模型；s4.将待转换的可见光图像输入训练好的红外转换模型，得到对应的红外图像。2.根据权利要求1所述的一种可见光到红外图像转换方法，其特征在于，红外图像转换网络训练过程中，采用如下旋转一致性损失对特征分离模块和热数据特征分离模块进行约束：束：和分别代表图像变换前后的热数据特征，和分别代表图像变换前后第i层的材质特征，t(
·
)表示图像变换的逆变换。3.根据权利要求2所述的一种可见光到红外图像转换方法，其特征在于，材质特征分离模块包括依次连接的卷积层、池化层和像素级分类器。4.根据权利要求3所述的一种可见光到红外图像转换方法，其特征在于，热数据特征分离模块包括依次连接的卷积层、全局平均池化层和特征映射层。5.根据权利要求4所述的一种可见光到红外图像转换方法，其特征在于，特征耦合模块包括材质选择单元、特征映射单元、自适应实例归一化单元、卷积层和上采样层；其中，材质选择单元，通过以下运算选择特定通道的特征；其中为通道加权系数，表示第i个尺度的材质特征，einsum表示爱因斯坦求和，基于的参数对的通道进行重加权，当参数越接近于1表示该通道的特征得到表达，反之则被抑制；特征映射单元，对输入的全局材质热数据特征进行进一步地特征映射得到所选材质特征对应的热数据特征；自适应实例归一化单元，先对当前层级材质选择单元的输出和当前层级特征映射单元
的输出进行自适应特征融合；再将融合后的特征图与上一层级特征图进行叠加并做实例归一化处理。6.根据权利要求5所述的一种可见光到红外图像转换方法，其特征在于，特征映射层和特征映射单元采用equalizedlinear全连接层实现。7.根据权利要求1-6任一项所述的一种可见光到红外图像转换方法，其特征在于，热物理模拟模块由三个残差块串联而成。8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一项所述的可见光到红外图像转换方法。

技术总结

本发明公开了一种可见光到红外图像转换方法，属于图像处理领域。本发明在通过配对数据集进行有监督训练基础上，提取图像中的材质特征和热数据特征，并将提取到的材质特征和热数据特征逐步嵌入到热量图中，渐进式地生成热量图，整个过程均是面向图像中的目标个体进行特征层面的操作，相较于传统的整张图像的生成方法，能够降低目标特征间的耦合关系，达到更好的生成效果，保证了陌生场景的同类型目标发现能力，达到了平衡源域到目标域的映射准确性和陌生场景的泛化能力的目的。同时本发明采用无监督方法对材质特征分离模块和热数据特征分离模块进行一定程度的约束，降低了人工标注的成本，同时一定程度上缓解了热数据无法直接获得的问题。获得的问题。获得的问题。