一种基于生成式对抗网络的脑肿瘤分割方法

本发明涉及肿瘤分割技术，具体涉及一种基于生成式对抗网络的脑肿瘤分割方法。

脑肿瘤分割是近年来学术界和工业界共同关注的一个重要课题，尤其是多模态三维磁共振成像（MRI）数据中不同肿瘤区域的分割，有效、快速的脑肿瘤分割有助于神经状态的监测、疾病进展评估和脑疾病诊断。

近年来，随着深度学习技术的发展，医学图像分割技术取得了长足的进步。然而，深度学习方法需要大量的人工标记数据。将带误差的标定掩码定为真实的分割掩码会导致学习出的分割模型产生偏差。

在脑肿瘤分割中大多数的误差校正方法是对标定掩码的误差概率进行建模，并学习误差转移矩阵。这些假设在有误差的标定掩码和真实分割掩码之间存在一对一映射的转移概率，这个概率独立于个别样本。但在实际情况中，每个样本的外观对其是否可以被误分类有很大影响，而且由于图像分割问题的高维性，误差转移矩阵不能很好地在分割问题中建模。最近一些专家开始使用深度卷积神经网络（deep convolutional neuralnetworks，DCNNs）直接学习带误差的标定掩码与真实的分割掩码之间的映射关系。然而，编码器输出特征只是一种降维的视觉线索，既不提供高层语义信息，也不提供精确的位置信息，仅利用编码器输出特征来指导标定掩码的校正不能取得理想的效果。

该发明需要解决的问题是，尽管校正后的标定掩码有所改进，但由于数据中隐藏的不确定因素使这些数据仍然包含少量误差，如果将其等价于真实的分割掩码，则学习的分割模型将被误导并且降低训练时的收敛速度。该发明的重点是如何在训练阶段对有误差的标定掩码进行校正以及度量校正结果的准确性，设计一种机制，将标定校正、样本权重调整和脑瘤分割结合成一个完整的框架。

对于第二个问题，不同域的独立分析和线性后融合使得分割模型容易陷入局部最优问题。空间域和通道域是相关的，通道中高激活值对应于特定类别的高置信度评分，当空间环境没有足够的辨别力来区分不同类别的区域时，通道信息有助于语义分割。所述方法的重点是如何结合来自不同域的信息，探索这些域之间的内在相互关系并用于改进脑肿瘤分割结果。

本发明的目的在于针对现有标定掩码校正技术的不足，提供一种基于生成式对抗网络的脑肿瘤分割方法，设计了一种校正标定掩码和调整样本权重的机制，提高脑肿瘤分割的有效性，同时解决手工标定样本质量差异而使得训练过程缓慢的问题。

本发明的目的是通过以下技术方案来实现的，所述方法包括以下步骤：

（1）构建脑肿瘤分割模型：所述肿瘤分割模型主要由对偶预测网络和调整损失函数中样本权重这两部分复合而成。

1-1）所述对偶预测网络的构建方法如下：

两个U-Nets分别学习从磁共振图像到分割掩码的非线性映射和从有噪声的标定掩码到无噪声的标定掩码的非线性映射。所述发明认为相邻尺度下的特征是相互关联的，不应该将编码器输出特征空间中的视觉特征和标定掩码特征进行单次融合。深层特征具有丰富的定位信息和较高的激活输出，因此在解码器部分可以将图像视觉特征和标定掩码特征融合起来。为深入学习相邻感知域之间的关系，所述发明设计一种新的递归神经网络进行多尺度分析。

设Wk，Hk，Dk为解码器第k个尺度特征fk的宽度、高度和通道数。在第k个尺度上应用两个卷积核3×3、通道号Dk的残差学习块来学习隐向量hk，其中一个残差学习块用于提取相同尺度（第k个尺度）下的视觉信息，另一个残差学习块从前个尺度（第k-1个尺度）上传递的隐向量信息。计算隐向量hk的公式为：

，

其中，和是实现隐向量信息传递和视觉信息指导的网络权值参数。卷积层实现顺序为批归一化（Batch Normalization，BN）-线性整流函数激活（Rectified LinearUnit，ReLU）-卷积（Convolution），便于残差信息的传播。

在训练阶段，与全局视觉指导方法相比，所述发明的方法通过一种递归机制将融合视觉信息与标定掩码信息，通过迭代学习多个尺度的局部环境信息来捕获磁共振图像中远距离像素的依赖关系。整个学习过程完全是数据驱动的，可以端到端的训练。在测试阶段，仅使用图像分割网络预测脑部不同肿瘤区域的分割掩码。

1-2）所述调整损失函数中样本权重的构建方法如下：

所述发明的目标是构建一个回归网络来度量每个样本的标定质量，并出正确和错误的标定掩码之间的冲突信息。所述发明将生成式对抗网络引入到损失函数的样本重加权过程中。生成式对抗网络的生成器（G）由对偶预测网络组成，鉴别器（D）输入生成器校正的标定掩码，输出标定结果的度量，1为标定结果与真实分割完全相符，0为标定结果与真实分割完全不相符，即输出变量表示校正的标定掩码的置信度。

磁共振图像和校正的/真实的标定掩码被连接成5通道张量。所述发明的鉴别器由7个步长为2、卷积核为3×3的残差学习块和1个全连接层组成。所述发明的生成器使用像素级二进制交叉熵（binary cross-entropy，BCE）损失和对抗性损失进行训练。像素级二进制交叉熵损失保证了校正的标定掩码和真实分割掩码之间的高度相似性。对抗性损失则保证精确的标定掩码存在于真实分割掩码的流形中。

假设第i个图像用xi表示，其原始的带误差的标定掩码为yi，对偶预测网络得到的校正的标定掩码为zi= G (xi, yi)，真实的分割掩码为ti，则对抗性损失函数的构造如下：

，

真实分割掩码ti和预测分割掩码ri之间的像素级二进制交叉熵损失函数的计算方式为：

，

其中m为图像的像素个数，j为每个像素的索引。

整个生成式对抗网络的总代价函数的计算方式为：

，

其中，权值系数λ控制两个损失函数的相对重要性，用网格搜索确定权值系数λ的取值。在训练阶段，首先预测的分割掩码和正确标定的分割掩码通过优化Lbce损失对分割网络进行学习。然后，预测的分割掩码作为有误差的标定掩码yi与真实分割掩码ti通过优化Lbce损失函数来学习标定掩码校正网络。接着，校正的和真实的标定掩码利用Ladv损失函数对来学习鉴别器。最后，有误差的标定掩码和校正的标定掩码利用Ltotal损失函数对生成器进行了微调。

鉴别器输出度量校正的标定掩码真实性的置信度。误差减少的标定掩码趋向于真实的分割掩码，在加权的二元交叉熵损失函数（weighted binary cross-entropy，WBCE）中样本权值较大，而仍然有较大噪声的标定掩码获得的加权因子较小。其中，加权的二元交叉熵损失函数的公式为：

，

其中，权重wi为从鉴别器获得的标定掩码真实的置信度。利用WBCE损失函数对分割网络进行微调。校正的标定掩码虽然可能会包含一小部分错误分割像素，但其余正确标定像素会以相对合理的贡献程度参与学习过程。

（2）模型训练过程：利用训练样本对所述的脑肿瘤分割模型进行训练，所述方法使用BraTS 2019数据集训练得到分割模型；所述方法也可使用BraTS 2017数据集训练得到分割模型。分割模型的评价指标包括4种类型的度量：Dice系数（DC）、Hausdorff距离（HD）、敏感性（Sensitivity）、特异性（Specificity）。

Dice系数度量预测的分割掩码与真实分割掩码之间的重叠度。假设Pi为样本i的预测掩码图，Gi为专家手动标注的对应的真实分割掩码；定义Dice系数的计算公式为：

，

Hausdorff距离测量的是样本i的预测掩模图Pi与专家手动标注的对应的groundtruth Gi之间的距离。利用第k个排序距离来抑制离值，，HD的计算方式为：

，

敏感性测量的是正确识别的实际阳性的比例，而特异性测量的是正确识别的实际阴性的比例。

，

，

其中表示预测结果中的负体素，表示ground truth中的负体素。

BraTS 2019脑肿瘤分割挑战数据集包括259个高度恶性胶质母细胞瘤（high-grade glioblastomas，HGG）和76个低度（恶性）神经胶质瘤（low-grade gliomas，LGG）MRI数据。多模态MRI脑扫描获得四种成像图像，分别为T1、T2、T1-ce和T2-flair。所有核磁共振立方体用同一个解剖模板进行注册对齐，并插值到相同的分辨率、进行头骨剥离预处理。所有序列的体素间距（即T1，T2，T1-ce，T2-flair）经偏置校正和配准后为1.00 mm×1.00 mm×1.00 mm。标定结果包括WT、TC、ET区域的分割掩码。

BraTS 2017数据库包括285个3D MRI扫描，其中210个HGG扫描和75个LGG扫描。每个通道的图像大小为240×240×155。该数据库的多模态输入和肿瘤分割与BraTS 2019相同。

所述方法推荐硬件配置使用Intel i7-4790 3.6 GHz CPU、32GB内存和NVIDIAGTX Titan X的图形工作站，算法性能验证推荐在Tensorflow上进行。

为了消除MRI机器缺陷和患者特异性所造成的偏场效应，在立方体分割前的预处理操作中采用N4偏场校正方法。

相比于现有技术，本发明具有的有益效果为：（1）该发明提出了一个基于生成式对抗网络的框架来集成掩码校正和样本重加权来改善由有噪声的标定掩码引起的训练样本过拟合；（2）该发明提出了一种递归神经网络，该神经网络通过探索局部环境信息来学习远距离依赖关系，并逐步传播视觉信息来校正标定掩码；（3）该发明将生成式对抗网络的鉴别器引入到噪声标定样本的权重调整中，利用从鉴别器获得的置信度来调整损失函数中的权重。

图1是本发明实施例提供的脑瘤分割标定问题示意图。

图2是本发明实施例提供的生成式对抗网络的脑肿瘤分割方法框架图。

图3是本发明实施例提供的不同尺度特征关联的示意图。

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

图1给出了脑瘤分割中带误差的标定掩码的示例。左边、中间和右边栏分别显示输入的MRI数据、有噪声的标定掩码和正确的标定掩码。带误差的标定掩码由医学生标注，真实标定掩码由有经验的专家标注。注意，上面一行说明肿瘤核心（tumor core，TC）很容易被标注为整个肿瘤（whole tumor，WT），下面一行说明增强肿瘤（enhancing tumor，ET）与TC有很高的相似性。

图2该发明的细节，对偶预测网络（G）同时校正标定掩码和分割图像，鉴别器（D）对修改后的标定掩码进行判断，用于重新加权校正后的训练样本。

如图2所示的是在本文中，本发明提出的生成式对抗网络包含一个多任务学习网络，称为对偶预测网络，该网络使用两个U-Nets来共同学习从图像到分段掩码的回归，从有噪声的标签到干净的标签的回归。U-Nets的解码器部分由递归神经网络进行特征关联。不同尺度的视觉线索都被用来指导标签校正分析。鉴别器（D）度量校正后的标定掩码与真实分割掩码的相似置信度，并使用置信度在损失函数中重新加权矫正后的训练样本。

如图2所示，带误差的标定掩码和真实分割掩码首先进入对偶预测网络，得到预测标定掩码的过程为设Wk，Hk，Dk为解码器第k个尺度特征映射fk的宽度、高度和通道数。在第k个尺度上应用两个卷积核3×3、通道号Dk的残差学习块来学习隐向量hk，其中一个残差学习块用于提取相同尺度（第k个尺度）下的视觉信息，另一个残差学习块从前个尺度（第k-1个尺度）上传递隐向量信息。计算隐向量hk的公式为：

，

其中和是实现隐向量信息传递和视觉信息指导的网络参数。卷积层实现顺序为批归一化（Batch Normalization，BN）-线性整流函数激活（Rectified Linear Unit，ReLU）-卷积（Convolution），便于残差信息的传播。

磁共振图像和校正的/真实的标定掩码被连接成5通道张量。所述发明的鉴别器由7个步长为2、卷积核为3×3的残差学习块和1个全连接层组成。所述发明的生成器使用像素级二进制交叉熵（binary cross-entropy，BCE）损失和对抗性损失进行训练。像素级二进制交叉熵损失保证了校正的标定掩码和真实分割掩码之间的高度相似性。对抗性损失则保证精确的标定掩码存在于真实分割掩码的流形中。

假设第i个图像用xi表示，其原始的带误差的标定掩码为yi，对偶预测网络得到的校正的标定掩码为zi= G (xi, yi)，真实的分割掩码为ti，则对抗性损失函数的构造如下：

，

真实分割掩码ti和预测分割掩码ri之间的像素级二进制交叉熵损失函数的计算方式为：

，

其中m为图像的像素个数，j为每个像素的索引。

整个生成式对抗网络的总代价函数的计算方式为：

，

其中，权值系数λ控制两个损失函数的相对重要性，用网格搜索确定权值系数λ的取值。在训练阶段，首先预测的分割掩码和正确标定的分割掩码通过优化Lbce损失对分割网络进行学习。然后，预测的分割掩码作为有误差的标定掩码yi与真实分割掩码ti通过优化Lbce损失函数来学习标定掩码校正网络。接着，校正的和真实的标定掩码利用Ladv损失函数对来学习鉴别器。最后，有误差的标定掩码和校正的标定掩码利用Ltotal损失函数对生成器进行了微调。

鉴别器输出度量标定掩码真实性的置信度。误差减少的标定掩码趋向于真实的分割掩码，在加权的二元交叉熵损失函数（weighted binary cross-entropy，WBCE）中样本权值较大，而仍然有较大噪声的标定掩码获得的加权因子较小。其中，加权的二元交叉熵损失函数的公式为：

，

其中，权重wi为从鉴别器获得的标定掩码真实的置信度。利用WBCE损失函数对分割网络进行微调。校正的标定掩码虽然可能会包含一小部分错误分割像素，但其余正确标定像素会以相对合理的贡献程度参与学习过程。

图3为解码器第1、2、3和4个尺度的特征图示例（1为最低分辨率，4为最高分辨率）。最左边的图像是MRI数据的Flair图像，最右边的图像是对应的真实标定掩码。该发明认为相邻尺度下的特征是相互关联的，不应该将编码器输出特征空间中的视觉特征和标定掩码特征进行单次融合。图3给出了一个Flair图像和解码器不同尺度下的特征图以及相应的真实标定掩码。由于深层特征映射具有丰富的定位信息和较高的激活输出，因此在解码器部分可以将视觉特征和掩码特征结合起来，同时为建模相邻感知域之间的关系，所述发明采用递归神经网络进行多尺度分析。