一种模态合成与增强的弱监督医学图像融合方法

1.本发明属于图像融合技术领域，具体涉及一种模态合成与增强的弱监督医学图像融合方法。

背景技术：

2.随着医学成像的不断发展，医学图像成为了疾病诊断的有效工具。如今医学图像有多种模态，如磁共振(mr)图像、计算机断层扫描(ct)图像、正电子发射断层扫描(pet)图像等，且不同的模态均有其自身的优点和局限性。例如，ct图像能很好地显示骨骼信息，但是不能清晰地表征软组织等结构信息；mr图像能充分显示软组织信息，但其对骨骼信息的表征有很大缺陷；pet图像可为临床提供丰富的人体代谢信息，但分辨率较低。因此，将来自ct、mr、pet三模态的图像信息整合到一个图像中，完成多模态图像融合，可以实现优势互补。多模态融合图像既保留了原始图像的特征，又弥补了单模态医学图像的缺陷，展示了丰富的细节信息，为临床诊断提供了有效的依据。
3.近年来，深度学习以其强大的特征提取能力在模态合成、图像融合、图像分割等图像处理领域得到了广泛的应用，并取得了良好的结果。其中，卷积神经网络(cnn)作为深度学习的代表方法，在图像融合领域发挥着越来越重要的作用。生成对抗网络(gan)同样作为一种深度学习方法，通过生成模块与鉴别模块的相互博弈产生输出，这种相互博弈的过程提高了图像特征提取的准确性，使融合图像保留更多源图像信息。但以上方法均为有监督训练方式，在网络训练过程中需要大量配准好的成对数据集进行模型训练，然而在图像配准过程中需花费大量时间及人力成本。
4.另外，在实际医学诊断过程中，获取多模态融合图像需要患者进行多次医学成像拍摄。但医学成像拍摄中产生的高辐射，会对人体造成危害，且医学成像价格高，患者需要大量花费。所以从实际角度出发，引入一种既能降低医学成像对人体的危害，又能减少花费的多模态医学图像融合方法非常必要。模态合成作为一种图像处理技术，可以完成由单一模态图像合成为另一模态图像。ct、mr图像作为常见的模态，含有丰富的特征信息，将具有较多纹理细节信息的mr图像合成细节信息较少的ct图像比由ct图像合成为mr图像能保留更多图像信息。因此引入模态合成作为图像融合的基础，减少图像融合过程中输入图像的模态，可以减少病人的成像次数，降低医学图像对人体的危害，节省患者的医疗费用。
5.在现有基于深度学习的图像融合方法中，如li等人提出了基于cnn的densefuse融合方法与zhang等人提出的ifcnn融合方法均具有良好的特征融合能力，但以上两种方法特征提取过程准确性不高，缺乏对医学图像纹理细节信息的针对性。zhou等人提出了一种基于g络的hi-net混合融合网络，有效提高了图像的融合性能，但对精细结构的表征仍不够清晰。
6.随着近年来生成对抗网络的兴起，其在模态合成领域中也取得了显著成果。nie等人提出了基于g络的单一生成器与鉴别器的模态合成方法，通过对抗性学习生成逼真的合成图像，合成图像与目标预测图像相比虽具有良好的结构特征，但是图像细节模糊，未
能良好地表征图像纹理细节。wang等人为了使合成图像保留更多细节特征，提出了一种基于自动上下文的g络合成方法，利用自动上下文方式从源图像中提取更多图像特征，使关键信息在合成图像中得以加强，但合成图像对纹理细节信息和精细结构表征的清晰度仍有待提高。zhu等人提出了使用双生成器与双鉴别器基于无监督的循环一致性生成对抗网络(cyclegan)，使合成图像对细节信息表征的清晰度显著提高，但对精细结构的表征仍不够清晰。jiang等人提出了一种双生成器结构(全局-局部生成器)模态合成网络，两生成器分别用于学习与呈现全局信息即图像结构信息，以及用于细节即图像纹理和精细结构的增强，使合成图像在全局结构表征完整的同时还增强了图像细节，但其对纹理细节与精细结构的表征具有不稳定性。
7.因此，针对多模态图像融合需要患者多次成像造成的对人体伤害和花费大、图像融合需配准大量成对数据集，时间长、难度大以及融合图像纹理及精细结构不够清晰的问题，本发明提出了基于cyclegan与octopusnet的模态合成与增强的弱监督医学图像融合方法。

技术实现要素：

8.针对上述问题本发明提供了一种基于cyclegan与octopusnet的模态合成与增强的弱监督医学图像融合方法。
9.为了达到上述目的，本发明采用了下列技术方案：
10.一种模态合成与增强的弱监督医学图像融合方法，由模态合成、图像增强和图像融合三部分组成，包括以下步骤：
11.步骤1，在模态合成部分，mr图像通过多生成器模态合成网络训练得到的生成器，生成深层结构合成图s
ct_stru
与浅层细节合成图s
ct_det
；
12.步骤2，在图像增强部分，mr图像通过双生成器图像增强网络训练得到的生成器，生成深层结构增强图s
mr_stru
与浅层细节增强图s
mr_det
；
13.步骤3，在图像融合部分，以s
ct_stru
、s
ct_det
、s
mr_stru
、s
mr_det
和原始pet图像共同作为输入，通过多模态图像融合生成对抗网络，获得ct、mr、pet三模态融合图像。
14.进一步，所述模态合成部分包括两个阶段：模态合成训练和模态合成预测；在所述模态合成训练阶段，多生成器模态合成网络以cyclegan为基础，将生成器分为由mr合成ct图像的深层结构生成器g
ct_deep
和浅层细节生成器g
ct_shallow
以及由ct合成mr图像的深层结构生成器g
mr_deep
和浅层细节生成器g
mr_shallow
，通过4个生成器与模态合成鉴别器d
ct
、d
mr
的相互对抗循环训练网络，不断对图像深层结构与浅层细节特征提取并提高生成器图像合成性能；在所述模态合成预测阶段，mr图像作为输入，通过训练好的mr合成ct图像的深层结构生成器g
ct_deep
和浅层细节生成器g
ct_shallow
，生成深层结构合成图s
ct_stru
与浅层细节合成图s
ct_det
。
15.进一步，所述模态合成训练阶段采用弱监督方式训练网络，以少量成对数据集与大量非成对数据集为训练数据，通过少量成对ct、mr图像提高对图像结构及纹理细节、精细结构的针对性；大量非成对ct、mr图像减少配准难度与时间。模态合成作为图像融合的基础，解决了图像融合需要已配准的成对数据，而获得大量成对数据集时间长、难度大的问题。
16.具体训练过程如下：
17.mr图像作为训练数据，输入到g
ct_deep
和g
ct_shallow
，生成ct深层结构合成图s
ct_structure
与ct浅层细节合成图s
ct_details
，ct图像同样作为训练数据输入到g
mr_deep
和g
mr_shallow
，生成mr深层结构合成图s
mr_structure
与mr浅层细节合成图s
mr_details
；而后s
ct_structure
与s
ct_details
继续进入g
mr_deep
和g
mr_shallow
，s
mr_structure
与s
mr_details
继续输入g
ct_deep
和g
ct_shallow
循环训练网络，通过g
ct_deep
、g
ct_shallow
与d
ct
，g
mr_deep
、g
mr_shallow
与d
mr
的相互对抗，使生成器的模态合成性能得以提高。
18.进一步，所述mr合成ct图像的深层结构生成器g
ct_deep
和ct合成mr图像的深层结构生成器g
mr_deep
用于突出整体图像结构等高级信息，均由编码、转换和解码三部分组成；所述编码部分由2个卷积层conv6、conv7组成，其中卷积层conv6代表一个7
×
7、有k个滤波器且步长为1的convolution-instancenorm-relu层；卷积层conv7为一个3
×
3、有k个滤波器且步长为2的convolution-instancenorm-relu层；所述转换部分由9个residual block组成，所述解码部分由1个反卷积层deconv4和1个卷积层conv8组成，deconv4为一个3
×
3、有k个滤波器且步长为1/2的fractional-strided-convolution-instancenorm-relu层；conv8代表一个7
×
7、有k个滤波器且步长为1的convolution-instancenorm-relu层；
19.所述mr合成ct图像的浅层细节生成器g
ct_shallow
和ct合成mr图像的浅层细节生成器g
mr_shallow
用于图像细节增强，突出图像纹理和精细结构等低级信息，同样由编码、转换和解码三部分组成；所述编码部分由2个卷积层conv6，conv7组成，其中conv6代表一个7
×
7、有k个滤波器且步长为1的convolution-instancenorm-relu层，conv7为一个3
×
3、有k个滤波器且步长为2的convolution-instancenorm-relu层；通过转换部分完成由一模态到另一模态的合成，所述转换部分由9个residualblock组成；所述解码部分由1个反卷积层deconv4和1个卷积层conv8组成，其中反卷积层deconv4为一个3
×
3、有k个滤波器且步长为1/2的fractional-strided-convolution-instancenorm-relu层，卷积层conv8代表一个7
×
7、有k个滤波器且步长为1的convolution-instancenorm-relu层。
20.进一步，所述g
ct_deep
、g
ct_shallow
与d
ct
，g
mr_deep
、g
mr_shallow
与d
mr
的相互对抗具体为：
21.在模态合成训练过程中，d
ct
、d
mr
对合成图像与原始训练图像的真实性进行判别，以提高深层结构与浅层细节生成器的合成效果。在由mr合成ct图像过程中，通过d
ct
鉴别合成图像s
ct_structure
、s
ct_details
与原始ct训练图像之间的真实性；由ct合成mr图像过程中，d
mr
鉴别s
mr_structure
、s
mr_details
与原始mr训练图像之间的真实性。在训练过程中，(1)通过对抗性损失与循环一致性损失，学习增强深层结构信息的x
mr
与y
ct
域、浅层细节信息的x
′
mr
与y
′
ct
域；
22.(2)网络包括四个映射函数：g:x
mr
→yct
、f:y
ct
→
x
mr
、m:x
′
mr
→y′
ct
及n:y
′
ct
→
x
′
mr
；
23.(3)给定训练样本其中xi∈x
mr
,x
′
mr
、yj∈y
ct
,y
′
ct
，n为正整数；
24.(4)数据分布表示为x～p
data
(x)，y～p
data
(y)，将对抗性损失应用于四个映射函数；
25.(5)mr合成ct图像g:x
mr
→yct
、m:x
′
mr
→y′
ct
以及d
ct
的对抗性损失如公式(1)、(2)所示：
26.[0027][0028]
ct合成mr图像f:y
ct
→
x
mr
、n:y
′
ct
→
x
′
mr
以及d
mr
的对抗性损失如公式(3)、(4)所示：
[0029][0030][0031]
(6)针对g:x
mr
→yct
与f:y
ct
→
x
mr
映射以及m:x
′
mr
→y′
ct
与n:y
′
ct
→
x
′
mr
映射引入循环一致性损失，如公式(5)、(6)所示：
[0032][0033][0034]
(7)对深层结构信息突出的总目标函数如公式(7)所示：
[0035][0036]
对浅层细节信息突出的总目标函数如公式(8)所示。
[0037][0038]
其中λ1、λ2为控制目标的相对重要性；
[0039]
(8)总目标函数如公式(9)所示：
[0040][0041]
进一步，所述图像增强部分包括图像增强训练和图像增强预测两个阶段，在所述图像增强训练阶段，双生成器图像增强网络以gan为基础，其内部包含对特征增强的结构生成器g
structure
、细节生成器g
detail
和一个增强鉴别器d
en
，通过结构生成器g
structure
、细节生成器g
detail
与增强鉴别器d
en
的相互对抗以提高两生成器的特征增强性能；
[0042]
所述结构生成器g
structure
、细节生成器g
detail
均由编码、解码两部分组成，所述结构生成器g
structure
的内部结构为：编码部分由2个卷积层conv6、conv7组成，其中卷积层conv6代表一个7
×
7、有k个滤波器且步长为1的convolution-instancenorm-relu层；卷积层conv7为一个3
×
3、有k个滤波器且步长为2的convolution-instancenorm-relu层；解码部分由1个反卷积层deconv4和1个卷积层conv8组成，反卷积层deconv4为一个3
×
3、有k个滤波器且步长为1/2的fractional-strided-convolution-instancenorm-relu层；卷积层conv8代表一个7
×
7、有k个滤波器且步长为1的convolution-instancenorm-relu层；
[0043]
所述细节生成器g
detail
的内部结构为：编码部分由2个卷积层conv6、conv7组成，其中卷积层conv6代表一个7
×
7、有k个滤波器且步长为1的convolution-instancenorm-relu层，卷积层conv7为一个3
×
3、有k个滤波器且步长为2的convolution-instancenorm-relu层；解码部分由1个反卷积层deconv4和1个卷积层conv8组成，其中反卷积层deconv4为一个3
×
3、有k个滤波器且步长为1/2的fractional-strided-convolution-instancenorm-relu层，卷积层conv8代表一个7
×
7、有k个滤波器且步长为1的convolution-instancenorm-relu层；
[0044]
所述增强鉴别器d
en
内部结构鉴cyclegan鉴别器。
[0045]
进一步，所述多模态图像融合生成对抗网络以octopusnet为基础，由编码、特征融合、解码三部分组成；所述编码部分为每个输入图像设置单独的编码器，编码器由3个编码块eb1，eb2，eb3和1个解码块db两部分组成，每个编码块又由1个卷积层与1个dense block组成，用于深度特征提取，每个dense block为3个卷积层，每层的输出级联为下一层的输入，解码块db由5个卷积层组成，输入图像通过编码块及解码块，由浅至深逐层特征提取，输出对应的图像特征块out1、out2、out3与out4；
[0046]
所述特征融合部分将编码部分所获得的图像特征块进行同层特征融合，得到融合块fout1、fout2、fout3、fout4，将原始pet图像通过编码器提取的各层特征映射与融合块fout1、fout2、fout3、fout4串联在一起，获得输出块ffout1、ffout2、ffout3、ffout4；
[0047]
所述解码部分将输出块ffout1、ffout2、ffout3、ffout4输入最大池化层进行下采样，使每个输出块通道数为1，得到生成图像f1、f2、f3、f4，将图像f1、f2、f3、f4通过图像融合生成器gf输出最终融合图像，图像融合鉴别器df分别对生成图像f1、f2、f3、f4与图像融合生成器gf输出的最终融合图像进行一一鉴别；其中图像融合生成器gf是学习p域生成图像与q域最终融合图像之间的映射函数w:p
→
q，w:p
→
q以及图像融合鉴别器df的对抗性损失如公式(10)所示：
[0048][0049]
其中，为对抗性损失，l
densefuse
为图像融合生成器gf内部结构损失函数，l
densefuse
包含像素损失与ssim损失，α为0.1。
[0050]
与现有技术相比本发明具有以下优点：
[0051]
(1)提出了以模态合成、图像增强为基础的图像融合方法，该方法由模态合成、图像增强与图像融合三部分组成。在模态合成部分，提出基于循环一致性生成对抗网络(cyclegan)的多生成器模态合成网络，将生成器分为深层结构与浅层细节生成器，深层结构生成器用于突出整体图像结构等高级信息，浅层细节生成器突出图像纹理和精细结构等低级信息。在图像增强部分，mr图像作为输入通过基于生成对抗网络(gan)的双生成器图像增强网络训练好的结构与细节生成器，生成对结构及纹理细节信息更加突出增强mr图像。在图像融合部分，模态合成与图像增强生成的ct及mr图像与原始pet图像作为输入通过基于多模态医学图像的深度学习分割网络(octopusnet)的多模态图像融合生成对抗网络，在编码部分对图像由浅至深逐层特征提取，特征融合部分将所获得的各层特征映射进行融合并输入到解码部分。在解码部分，通过图像融合生成器与图像融合鉴别器的相互博弈以提高图像融合性能，得到多模态融合图像。
[0052]
(2)提出了以模态合成为基础的弱监督训练方式，模态合成训练数据由少量成对数据集与大量非成对数据集组成。通过少量成对数据集提高对图像结构及纹理细节、精细结构的针对性；大量非成对数据集减少了配准难度与时间。模态合成作为图像融合的基础，在保留更多源图像结构与细节信息的同时，解决了图像融合需要已配准的成对数据，而获得大量成对数据集时间长、难度大的问题。
[0053]
(3)该发明实现了ct、mr、pet三模态图像融合，融合图像保留了各模态丰富的细节信息，与10种当前先进的模态合成和图像融合方法在哈佛医学院公开脑部图像数据集上进
行实验对比，合成与融合图像在5种评价指标上均有提高，可以辅助医生对癌症、脑肿瘤等做出更加准确地诊断与。
[0054]
(4)通过实验验证可知，本发明可生成图像结构表征完整、纹理和精细结构等细节信息更加清晰的融合图像，在主观视觉观察和客观指标评价方面都有较好的表现，将本发明应用于多模态医学图像融合，可以辅助医生对病灶部位做出准确地诊断与。
附图说明
[0055]
图1为模态合成与增强的弱监督医学图像融合方法整体框架图；
[0056]
图2为多生成器模态合成网络整体框架图；
[0057]
图3为模态合成训练图；
[0058]
图4(a)为结构生成器内部结构图，图4(b)为细节生成器内部结构图；
[0059]
图5为模态合成预测图；
[0060]
图6为双生成器图像增强网络结构图；
[0061]
图7为多模态图像融合生成对抗网络结构图；
[0062]
图8为图像编码器内部结构图；
[0063]
图9为mse-fusion和6种图像融合对比方法在ct/mr/pet图像上的定性比较结果；
[0064]
图10为mse-fusion和4种模态合成对比方法在ct图像上的定性比较结果；
[0065]
图11为mse-fusion及6种图像融合对比方法的定量结果；
[0066]
图12为消融实验一定性比较结果；
[0067]
图13为消融实验二定性比较结果。
具体实施方式
[0068]
实施例1
[0069]
如图1所示，一种模态合成与增强的弱监督医学图像融合方法，由模态合成、图像增强和图像融合三部分组成，包括以下步骤：
[0070]
步骤1，在模态合成部分，mr图像通过多生成器模态合成网络训练得到的生成器，生成深层结构合成图s
ct_stru
与浅层细节合成图s
ct_det
，(如图5所示)；
[0071]
如图2所示，所述模态合成部分包括两个阶段：模态合成训练和模态合成预测；在所述模态合成训练阶段，多生成器模态合成网络以cyclegan为基础，将生成器分为由mr合成ct图像的深层结构生成器g
ct_deep
和浅层细节生成器g
ct_shallow
以及由ct合成mr图像的深层结构生成器g
mr_deep
和浅层细节生成器g
mr_shallow
，通过4个生成器与模态合成鉴别器d
ct
、d
mr
的相互对抗循环训练网络，不断对图像深层结构与浅层细节特征提取并提高生成器图像合成性能；在所述模态合成预测阶段，mr图像作为输入，通过训练好的mr合成ct图像的深层结构生成器g
ct_deep
和浅层细节生成器g
ct_shallow
，生成深层结构合成图s
ct_stru
与浅层细节合成图s
ct_det
。
[0072]
如图3所示，所述模态合成训练阶段采用弱监督方式训练网络，具体训练过程如下：
[0073]
mr图像作为训练数据，输入到g
ct_deep
和g
ct_shallow
，生成ct深层结构合成图s
ct_structure
与ct浅层细节合成图s
ct_details
，ct图像同样作为训练数据输入到g
mr_deep
和gmr_shallow
，生成mr深层结构合成图s
mr_structure
与mr浅层细节合成图s
mr_details
；而后s
ct_structure
与s
ct_details
继续进入g
mr_deep
和g
mr_shallow
，s
mr_structure
与s
mr_details
继续输入g
ct_deep
和g
ct_shallow
循环训练网络，通过g
ct_deep
、g
ct_shallow
与d
ct
，g
mr_deep
、g
mr_shallow
与d
mr
的相互对抗，使生成器的模态合成性能得以提高。
[0074]
如图4(a)所示，所述mr合成ct图像的深层结构生成器g
ct_deep
和ct合成mr图像的深层结构生成器g
mr_deep
均由编码、转换和解码三部分组成；所述编码部分由2个卷积层conv6、conv7组成，其中卷积层conv6代表一个7
×
7、有k个滤波器且步长为1的convolution-instancenorm-relu层；卷积层conv7为一个3
×
3、有k个滤波器且步长为2的convolution-instancenorm-relu层；所述转换部分由9个residualblock组成，所述解码部分由1个反卷积层deconv4和1个卷积层conv8组成，deconv4为一个3
×
3、有k个滤波器且步长为1/2的fractional-strided-convolution-instancenorm-relu层；conv8代表一个7
×
7、有k个滤波器且步长为1的convolution-instancenorm-relu层；
[0075]
如图4(b)所示，所述mr合成ct图像的浅层细节生成器g
ct_shallow
和ct合成mr图像的浅层细节生成器g
mr_shallow
由编码、转换和解码三部分组成；所述编码部分由2个卷积层conv6，conv7组成，其中conv6代表一个7
×
7、有k个滤波器且步长为1的convolution-instancenorm-relu层，conv7为一个3
×
3、有k个滤波器且步长为2的convolution-instancenorm-relu层；所述转换部分由9个residualblock组成；所述解码部分由1个反卷积层deconv4和1个卷积层conv8组成，其中反卷积层deconv4为一个3
×
3、有k个滤波器且步长为1/2的fractional-strided-convolution-instancenorm-relu层，卷积层conv8代表一个7
×
7、有k个滤波器且步长为1的convolution-instancenorm-relu层。
[0076]
所述g
ct_deep
、g
ct_shallow
与d
ct
，g
mr_deep
、g
mr_shallow
与d
mr
的相互对抗具体为：
[0077]
(1)通过对抗性损失与循环一致性损失，学习增强深层结构信息的x
mr
与y
ct
域、浅层细节信息的x
′
mr
与y
′
ct
域；
[0078]
(2)网络包括四个映射函数：g:x
mr
→yct
、f:y
ct
→
x
mr
、m:x
′
mr
→y′
ct
及n:y
′
ct
→
x
′
mr
；
[0079]
(3)给定训练样本其中xi∈x
mr
,x
′
mr
、yj∈y
ct
,y
′
ct
，n为正整数；
[0080]
(4)数据分布表示为x～p
data
(x)，y～p
data
(y)，将对抗性损失应用于四个映射函数；
[0081]
(5)mr合成ct图像g:x
mr
→yct
、m:x
′
mr
→y′
ct
以及d
ct
的对抗性损失如公式(1)、(2)所示：
[0082][0083][0084]
ct合成mr图像f:y
ct
→
x
mr
、n:y
′
ct
→
x
′
mr
以及d
mr
的对抗性损失如公式(3)、(4)所示：
[0085][0086][0087]
(6)针对g:x
mr
→yct
与f:y
ct
→
x
mr
映射以及m:x
′
mr
→y′
ct
与n:y
′
ct
→
x
′
mr
映射引入循环一致性损失，如公式(5)、(6)所示：
[0088]
[0089][0090]
(7)对深层结构信息突出的总目标函数如公式(7)所示：
[0091][0092]
对浅层细节信息突出的总目标函数如公式(8)所示。
[0093][0094]
其中λ1、λ2为控制目标的相对重要性；
[0095]
(8)总目标函数如公式(9)所示：
[0096][0097]
步骤2，在图像增强部分，mr图像通过双生成器图像增强网络训练得到的生成器，生成深层结构增强图s
mr_stru
与浅层细节增强图s
mr_det
；
[0098]
如图6所示，所述图像增强部分包括图像增强训练和图像增强预测两个阶段，在所述图像增强训练阶段，双生成器图像增强网络以gan为基础，其内部包含对特征增强的结构生成器g
structure
、细节生成器g
detail
和一个增强鉴别器d
en
，通过结构生成器g
structure
、细节生成器g
detail
与增强鉴别器d
en
的相互对抗以提高两生成器的特征增强性能；
[0099]
所述结构生成器g
structure
、细节生成器g
detail
均由编码、解码两部分组成，所述结构生成器g
structure
的内部结构为：编码部分由2个卷积层conv6、conv7组成，其中卷积层conv6代表一个7
×
7、有k个滤波器且步长为1的convolution-instancenorm-relu层；卷积层conv7为一个3
×
3、有k个滤波器且步长为2的convolution-instancenorm-relu层；解码部分由1个反卷积层deconv4和1个卷积层conv8组成，反卷积层deconv4为一个3
×
3、有k个滤波器且步长为1/2的fractional-strided-convolution-instancenorm-relu层；卷积层conv8代表一个7
×
7、有k个滤波器且步长为1的convolution-instancenorm-relu层；
[0100]
所述细节生成器g
detail
的内部结构为：编码部分由2个卷积层conv6、conv7组成，其中卷积层conv6代表一个7
×
7、有k个滤波器且步长为1的convolution-instancenorm-relu层，卷积层conv7为一个3
×
3、有k个滤波器且步长为2的convolution-instancenorm-relu层；解码部分由1个反卷积层deconv4和1个卷积层conv8组成，其中反卷积层deconv4为一个3
×
3、有k个滤波器且步长为1/2的fractional-strided-convolution-instancenorm-relu层，卷积层conv8代表一个7
×
7、有k个滤波器且步长为1的convolution-instancenorm-relu层；
[0101]
所述增强鉴别器d
en
内部结构鉴cyclegan鉴别器。
[0102]
步骤3，在图像融合部分，以s
ct_stru
、s
ct_det
、s
mr_stru
、s
mr_det
和原始pet图像共同作为输入，通过多模态图像融合生成对抗网络，在网络训练过程中通过图像融合生成器(gf)与图像融合鉴别器(df)的博弈以提高gf的图像融合性能，实现三模态图像融合，获得ct、mr、pet三模态融合图像。
[0103]
如图7所示，所述多模态图像融合生成对抗网络以octopusnet为基础，由编码、特征融合、解码三部分组成；所述编码部分为了更加全面地提取图像的深层结构及浅层细节
特征，使融合图像在结构完整的同时保留更多纹理细节及精细结构，为每个输入图像设置单独的编码器，编码器由3个编码块eb1，eb2，eb3和1个解码块db两部分组成，如图8所示，每个编码块又由1个卷积层与1个dense block组成，用于深度特征提取，每个dense block为3个卷积层，每层的输出级联为下一层的输入，解码块db由5个卷积层组成，输入图像通过编码块及解码块，由浅至深逐层特征提取，输出对应的图像特征块out1、out2、out3与out4，编码器网络结构设置如表1所示：
[0104]
表1编码器网络结构设置
[0105][0106]
所述特征融合部分为了更好地保留不同模态中包含的细节信息，将编码部分所获得的图像特征块进行同层特征融合，得到融合块fout1、fout2、fout3、fout4，将原始pet图像通过编码器提取的各层特征映射与融合块fout1、fout2、fout3、fout4串联在一起，获得输出块ffout1、ffout2、ffout3、ffout4；
[0107]
所述解码部分将输出块ffout1、ffout2、ffout3、ffout4输入最大池化层进行下采样，使每个输出块通道数为1，得到生成图像f1、f2、f3、f4，将图像f1、f2、f3、f4通过图像融合生成器gf输出最终融合图像，图像融合鉴别器df分别对生成图像f1、f2、f3、f4与图像融合生成器gf输出的最终融合图像进行一一鉴别；其中图像融合生成器gf是学习p域生成图像与q域最终融合图像之间的映射函数w:p
→
q，w:p
→
q以及图像融合鉴别器df的对抗性损失如公式(10)所示：
[0108][0109]
其中，为对抗性损失，l
densefuse
为图像融合生成器gf内部结构损失函数，l
densefuse
包含像素损失与ssim损失，α为0.1。
[0110]
本实施例的实验环境与训练细节：本实验硬件平台cpu为intelcorei7-11700搭载16g内存，gpu为geforce rtx3060ti搭载8g显存；软件平台使用windows1064位操作系统，搭
建pytorch深度学习框架。受显存大小限制，将实验分为模态合成、图像增强与图像融合三部分训练。在多生成器模态合成网络中，设置λ1＝λ2＝10，使用batch-size为1的adam优化器进行训练，由平均值为0、标准偏差为0.02的高斯分布初始化权重。训练期间模型从0开始训练，学习率保持在0.0002，共200个epoch，其中前100个epoch保持相同的学习速度，并在接下来的100个epoch中线性衰减到0。在多生成器图像增强网络中，同样使用batch-size为1的adam优化器进行训练，网络训练参数与多生成器模态合成网络相同。在多模态图像融合生成对抗网络中，设置α＝0.1，使用基于小批量随机梯度下降(sgd)优化算法，总迭代数设置为200，将初始学习率设置为0.001，batch-size设置为1。在训练过程中，鉴别器和生成器的参数在每个epoch中交替更新，随着训练次数的增加，损失值逐渐减小，当训练次数达到200时，损失值接近于0。而后完成训练，获得生成器的模型参数。
[0111]
实施例2
[0112]
数据集：实验从美国哈佛医学院、medpix公开医学数据库、山西省生物医学成像与影像大数据重点实验室所开源的正常脑和脑肿瘤疾病中选取出清晰度高、纹理丰富、细节复杂的高质量mr、ct和pet图像作为数据集。选定的数据集分为训练集及测试集两部分，其中训练集包含小部分已配准好的成对mr、ct图像40对，和大量非成对mr、ct、pet图像各2500张，测试集包含20组脑部mr、ct与pet测试图像。对数据集进行比例调整，统一调整至256
×
256。为了充分训练模型，避免过拟合，通过亮度增强、对比度增强、水平翻转、随机方向翻转四种数据增强方法对数据进行预处理，获得四倍的数据，即成对mr、ct图像160对，非成对mr、ct、pet图像各10000张进行训练。
[0113]
评价指标：为了客观地评价不同图像融合方法的性能，利用五种常用的指标分别是互信息(mi)、空间频率(sf)、峰值信噪比(psnr)、结构相似性(ssim)和边缘信息保留(q
ab/f
)来评估所提出的方法在多模态医学图像数据集上的定量性能。mi用来度量源图像和合成图像、融合图像在灰度分布上的相似程度，反映了其之间的相关性，提取的信息越多，mi值越高，从源图像中获得的信息越丰富；sf反映图像在空间域的整体活跃程度，sf指标越高，图像越清晰，图像分辨率越高；psnr是基于对应像素点间的误差，即基于误差敏感的图像质量评价，psnr值越大，图像质量越高；ssim从亮度、对比度、结构三方面度量图像相似性，ssmi值越大，模态合成与融合效果越好；q
ab/f
是一种基于梯度的度量，它将重要的视觉信息与存在于图像每个像素中的边缘信息联系起来以度量融合图像的边缘损失，q
ab/f
的值越大，则融合图像的边缘信息损失越小。
[0114]
对比方法：为了验证本发明方法的性能，选取10种方法作对比，分别是：1)基于随机森林的模态合成方法(based-rf)；2)基于卷积神经网络的模态合成方法(based-cnn)；3)基于生成对抗网络的模态合成方法(based-gan)；4)基于循环一致性生成对抗网络的模态合成方法(based-cyclegan)。以及基于卷积神经网络的图像融合方法：5)densefuse；6)dmc-fusion；7)emfusion，基于生成对抗网络的图像融合方法：8)ddcgan；9)ganfuse；10)dsagan；将本发明提出的方法记为mse-fusion。
[0115]
作用效果：本实验从定性比较和定量比较两个方面对模态合成和图像融合在相同数据集下的不同种方法进行比较。
[0116]
一、定性比较
[0117]
本实验从图像的整体视觉与细节等方面来评价模态合成和整体图像融合方法的
效果。
[0118]
将4种模态合成方法与本发明提出的mse-fusion对模态合成结果进行比较，如图9所示，based-rf方法得到的合成结果相对模糊，只突出了图像边界，但观察不到图像内部精细结构；based-cnn方法得到的合成结果图像纹理及边界不够清晰，不利于医生观察图像细节；based-gan方法得到的合成结果存在局部暗区，导致大量细节特征丢失；based-cyclegan方法得到的合成结果对纹理细节及精细结构表征不够清晰，且某些区域仍然存在丢失细节。mse-fusion得到的深层结构与浅层细节ct合成图合成结果亮度适中，图像结构、纹理细节突出。得到的ct、mr、pet融合结果脑部沟壑生动，图像边缘、纹理细节及精细结构表征清晰。
[0119]
二、定量比较
[0120]
本发明选用5种评价指标(mi、sf、psnr、ssim、q
ab/f
测试了20对脑部ct、mr、pet图像来客观评估所提方法与对比方法的性能，实验利用上述评价指标，对模态合成结果、图像融合结果在不同方法与所提出的mse-fusion上进行不同评价指标的对比。
[0121]
其中mse-fusion及4种对比模态合成方法在mi、sf、psnr、ssim的测试结果如表1所示，表中值均为实验平均结果。从表1可以看出，mse-fusion生成的深层结构合成图(structure)在评价指标ssim方面表现优异，保留了更多图像结构信息；浅层细节合成图(details)在评价指标mi方面较为突出，保留了十分丰富的图像纹理细节及精细结构。mse-fusion获得的深层结构与浅层细节合成图在对比的所有评价指标上都优于其他四种对比模态合成方法，表明了该方法的明显优势。
[0122]
表1模态合成结果客观评价指标平均值
[0123][0124]
mse-fusion及6种对比融合方法在mi、sf、psnr、ssim、q
ab/f
的测试结果折线图分别如图11所示，图11中(a)、(b)、(c)、(d)、(e)分别对应mi、sf、psnr、ssim、q
ab/f
，评价结果平均值如表2所示。其中，在评价指标mi方面表现优异，从源图像中获得信息的能力优于其他对比图像融合方法
[0125]
表2图像融合结果客观评价指标平均值
[0126][0127]
三、消融实验
[0128]
为了分析mse-fusion中模态合成与图像融合两部分的有效性，进行了两组消融实验，对提出的模态合成与图像融合之间的相关性进行分析。
[0129]
设置实验一，控制mse-fusion图像增强、图像融合方法不变，模态合成分别用：1)基于随机森林的模态合成方法(based-rf)；2)基于卷积神经网络的模态合成方法(based-cnn)；3)基于生成对抗网络的模态合成方法(based-gan)；4)基于循环一致性生成对抗网络的模态合成方法(based-cyclegan)替换，并将最终融合结果进行对比，其定性对比结果如图12所示。与基于4种不同模态合成的图像融合方法相比，mse-fusion得到的ct、mr、pet三模态融合图像结构与纹理细节及精细结构表征更加清晰。mse-fusion在mi、sf、psnr、ssim、q
ab/f
5种客观评价指标上的表现均优于其他4种基于不同模态合成的图像融合方法，其定量对比结果如表3所示。证明本发明提出的基于模态合成与增强的图像融合方法mse-fusion模态合成部分具有有效性，且模态合成效果良好。
[0130]
表3消融实验一客观评价指标平均值
[0131][0132]
设置实验二，控制mse-fusion模态合成、图像增强方法不变，图像融合分别用：1)densefuse；2)dmc-fusion；3)emfusion；8)ddcgan；9)ganfuse；10)dsagan替换，并将最终融合结果进行对比，其定量对比结果如图13所示，定性结果如表4所示。与基于模态合成的6种不同图像融合方法相比，mse-fusion得到的ct、mr、pet三模态融合图像可以保留更多图像纹理及精细结构信息，在mi、sf、psnr、ssim、q
ab/f
5种客观评价指标上的表现均优于其他基于模态合成与增强的6种不同图像融合方法，证明本发明提出的基于模态合成与增强的图像融合方法mse-fusion图像融合部分具有有效性，图像融合效果良好。
[0133]
表4消融实验二客观评价指标平均值
[0134]

技术特征：

strided-convolution-instancenorm-relu层，卷积层conv8代表一个7
×
7、有k个滤波器且步长为1的convolution-instancenorm-relu层。5.根据权利要求3所述的一种模态合成与增强的弱监督医学图像融合方法，其特征在于，所述g
ct_deep
、g
ct_shallow
与d
ct
，g
mr_deep
、g
mr_shallow
与d
mr
的相互对抗具体为：(1)通过对抗性损失与循环一致性损失，学习增强深层结构信息的x
mr
与y
ct
域、浅层细节信息的x
′
mr
与y
′
ct
域；(2)网络包括四个映射函数：g:x
mr
→
y
ct
、f:y
ct
→
x
mr
、m:x
′
mr
→
y
′
ct
及n:y
′
ct
→
x
′
mr
；(3)给定训练样本其中x
i
∈x
mr
,x
′
mr
、y
j
∈y
ct
,y
′
ct
，n为正整数；(4)数据分布表示为x～p
data
(x)，y～p
data
(y)，将对抗性损失应用于四个映射函数；(5)mr合成ct图像g:x
mr
→
y
ct
、m:x
′
mr
→
y
′
ct
以及d
ct
的对抗性损失如公式(1)、(2)所示：的对抗性损失如公式(1)、(2)所示：ct合成mr图像f:y
ct
→
x
mr
、n:y
′
ct
→
x
′
mr
以及d
mr
的对抗性损失如公式(3)、(4)所示：的对抗性损失如公式(3)、(4)所示：(6)针对g:x
mr
→
y
ct
与f:y
ct
→
x
mr
映射以及m:x
′
mr
→
y
′
ct
与n:y
′
ct
→
x
′
mr
映射引入循环一致性损失，如公式(5)、(6)所示：性损失，如公式(5)、(6)所示：(7)对深层结构信息突出的总目标函数如公式(7)所示：对浅层细节信息突出的总目标函数如公式(8)所示。其中λ1、λ2为控制目标的相对重要性；(8)总目标函数如公式(9)所示：6.根据权利要求1所述的一种模态合成与增强的弱监督医学图像融合方法，其特征在于，所述图像增强部分包括图像增强训练和图像增强预测两个阶段，在所述图像增强训练阶段，双生成器图像增强网络以gan为基础，其内部包含对特征增强的结构生成器g
structure
、细节生成器g
detail
和一个增强鉴别器d
en
，通过结构生成器g
structure
、细节生成器g
detail
与增强鉴别器d
en
的相互对抗以提高两生成器的特征增强性能；所述结构生成器g
structure
、细节生成器g
detail
均由编码、解码两部分组成，所述结构生成
器g
structure
的内部结构为：编码部分由2个卷积层conv6、conv7组成，其中卷积层conv6代表一个7
×
7、有k个滤波器且步长为1的convolution-instancenorm-relu层；卷积层conv7为一个3
×
3、有k个滤波器且步长为2的convolution-instancenorm-relu层；解码部分由1个反卷积层deconv4和1个卷积层conv8组成，反卷积层deconv4为一个3
×
3、有k个滤波器且步长为1/2的fractional-strided-convolution-instancenorm-relu层；卷积层conv8代表一个7
×
7、有k个滤波器且步长为1的convolution-instancenorm-relu层；所述细节生成器g
detail
的内部结构为：编码部分由2个卷积层conv6、conv7组成，其中卷积层conv6代表一个7
×
7、有k个滤波器且步长为1的convolution-instancenorm-relu层，卷积层conv7为一个3
×
3、有k个滤波器且步长为2的convolution-instancenorm-relu层；解码部分由1个反卷积层deconv4和1个卷积层conv8组成，其中反卷积层deconv4为一个3
×
3、有k个滤波器且步长为1/2的fractional-strided-convolution-instancenorm-relu层，卷积层conv8代表一个7
×
7、有k个滤波器且步长为1的convolution-instancenorm-relu层；所述增强鉴别器d
en
内部结构鉴cyclegan鉴别器。7.根据权利要求1所述的一种模态合成与增强的弱监督医学图像融合方法，其特征在于，所述多模态图像融合生成对抗网络以octopusnet为基础，由编码、特征融合、解码三部分组成；所述编码部分为每个输入图像设置单独的编码器，编码器由3个编码块eb1，eb2，eb3和1个解码块db两部分组成，每个编码块又由1个卷积层与1个dense block组成，用于深度特征提取，每个dense block为3个卷积层，每层的输出级联为下一层的输入，解码块db由5个卷积层组成，输入图像通过编码块及解码块，由浅至深逐层特征提取，输出对应的图像特征块out1、out2、out3与out4；所述特征融合部分将编码部分所获得的图像特征块进行同层特征融合，得到融合块fout1、fout2、fout3、fout4，将原始pet图像通过编码器提取的各层特征映射与融合块fout1、fout2、fout3、fout4串联在一起，获得输出块ffout1、ffout2、ffout3、ffout4；所述解码部分将输出块ffout1、ffout2、ffout3、ffout4输入最大池化层进行下采样，使每个输出块通道数为1，得到生成图像f1、f2、f3、f4，将图像f1、f2、f3、f4通过图像融合生成器g
f
输出最终融合图像，图像融合鉴别器d
f
分别对生成图像f1、f2、f3、f4与图像融合生成器g
f
输出的最终融合图像进行一一鉴别；其中图像融合生成器g
f
是学习p域生成图像与q域最终融合图像之间的映射函数w:p
→
q，w:p
→
q以及图像融合鉴别器d
f
的对抗性损失如公式(10)所示：其中，为对抗性损失，l
densefuse
为图像融合生成器g
f
内部结构损失函数，l
densefuse
包含像素损失与ssim损失，α为0.1。

技术总结

本发明属于图像融合技术领域，具体涉及一种模态合成与增强的弱监督医学图像融合方法。针对多模态图像融合需要患者多次成像造成的对人体伤害和花费大、图像融合需配准大量成对数据集，时间长、难度大以及融合图像纹理及精细结构不够清晰的问题，本发明提出了基于CycleGAN与OctopusNet的模态合成与增强的弱监督医学图像融合方法，该方法由模态合成、图像增强与图像融合三部分组成。像增强与图像融合三部分组成。像增强与图像融合三部分组成。