(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910295543.3
(22)申请日 2019.04.12
(71)申请人 天津大学
地址 300072 天津市南开区卫津路92号
(72)发明人 白柯鑫 李锵 关欣
(74)专利代理机构 天津市北洋有限责任专利代
理事务所 12201
代理人 程毓英
(51)Int.Cl.
G06T 7/00(2017.01)
G06T 7/12(2017.01)
(54)发明名称
(57)摘要
本发明涉及一种基于改进的U -Net神经网络
三维脑肿瘤图像分割方法，包括下列步骤：数据
N4ITK算法的去偏置场效应处理，其次对原始MRI 图像中的各个模态图像分别进行灰度归一化预
处理；搭建并训练改进的U -Net卷积神经网络模
型，在训练过程中，将患者的四种模态数据当作
神经网络的四个通道输入到改进的U -Net卷积神
经网络模型中进行训练，以便网络学习到不同模
网络U -Net作为基础，建立改进的U -Net卷积神经
网络模型，包含一个用于提取特征的分析路径和
一个用于恢复目标对象的合成路径。权利要求书1页 说明书6页 附图3页CN 110120033 A 2019.08.13
C N 110120033
A
1.一种基于改进的U -Net神经网络三维脑肿瘤图像分割方法，包括下列步骤：
1)数据预处理：首先对三维脑肿瘤MRI图像数据进行N4ITK算法的去偏置场效应处理，其次对原始MRI图像中的Flair、T1、T1C和T2四种模态图像分别进行灰度归一化预处理；
2)搭建并训练改进的U -Net卷积神经网络模型，在训练过程中，将患者的四种模态数据当作神经网络的四个通道输入到改进的U -Net卷积神经网络模型中进行训练，以便网络学习到不同模态的不同特征，进行更精确的分割：以卷积神经网络U -Net作为基础，建立改进的U -Net卷积神经网络模型，包含一个用于提取特征的分析路径和一个用于恢复目标对象的合成路径；在分析路径中，随着网络的深入，不断对输入图像的抽象表示进行编码，以提取图像丰富的特征；在合成路径中，结合分析路径中的高分辨率特征，以精确定位感兴趣的目标结构；每个路径均有五个分辨率，滤波器基数即初始通道数量为8；
分析路径中，每个深度均包含两个内核大小为3×3×3的卷积层，并在它们之间加入丢失层以防止过度拟合，相邻的两个深度之间，采用步长为2内核大小为3×3×3的卷积层进行下采样，使特征映射的分辨率降低的同时维度加倍；
合成路径中，相邻两个深度之间，采用上采样模块使特征映射的分辨率增加的同时维度减半；上采样模块包括内核大小为2×2×2的上采样层和一个内核大小为3×3×3的卷积层；在上采样之后，合成路径中的特征映射与分析路径中特征映射级联，之后是一个内核大小为3×3×3的卷积层和内核大小为1×1×1的卷积层，在最后一层，内核大小为1×1×1的卷积层将输出通道的数量减少到标签数量，之后通过SoftMax
层输出图像中每个体素点分别属于各个类别的概率，将经过上述改进的U -Net卷积神经网络模型记作var_UNet；
在合成路径中采用深度监督，将网络不同深度的分割层通过元素相加的方式进行融合以形成最终的网络输出，将添加了深度监督的网络记作DS_var_UNet；
在分析路径中分别加入残差结构和密集连接结构；并将添加有此结构的网络分别记作res_UNet和dense_UNet；
跳过连接采用密集跳过连接；并将添加有此连接的网络记作dense_skip_UNet；
对所有卷积层的非线性部分采用leaky ReLu激活函数，采用多类Dice损失函数作为损失函数；
将预处理后的图像分为训练集和测试集，利用训练集对改进的卷积神经网络模型进行训练；
3)测试分割结果：当改进的U -Net卷积神经网络模型训练好后，在测试集上测试模型，并使用相应的评价指标对分割结果进行评估。
权 利 要 求 书1/1页CN 110120033 A
基于改进的U-Net神经网络三维脑肿瘤图像分割方法
技术领域
[0001]本发明是医学影像领域中的一个重要领域，将医学图像和深度学习算法结合起来，完成三维脑肿瘤核磁共振图像精确分割。
背景技术
[0002]颅内的肿瘤又称“脑瘤”，是神经外科中最常见的疾病之一。就全身肿瘤的发病率而论，脑瘤位居第五位，仅低于胃、子宫、乳腺和食道肿瘤。核磁共振成像(Magnetic Resonance Imaging，MRI)具有无放射线损害，无骨性伪影，能多方面多参数成像，具有高度的软组织分辨能力等独特的优点，特别适合于临床脑部病变检查，为医生准确地做出诊断和制定方案提供了条件。由于医疗仪器的成像原理和成像的条件以及一些其他的影响因素等，会使得到的图片不利于人眼的观察，以至于医生不能从中做出精准的判断。分割可以帮助医生将感兴趣的物体(病变组织等)分割出来，帮助医生能够对病变组织进行定性及定量的分析，进而提高医生诊断的准确性和科学性。肿瘤组织的手动分割是一项繁琐且耗时的工作，并且会受到分割者的主观意识影响，因此如何高效，精准且全自动的分割脑肿瘤成为研究的重点。
[0003]脑肿瘤图像分割的方法主要有基于区域，基于模糊聚类，基于图论，基于能量和基于机器学习等方法。
[0004]基于区域的分割方法，是将图像按照相似性准则分成不同的区域。主要包括区域生长法、分水岭法等。该类方法适用于分割形状变化比较大的目标，但难以用于分割复杂结构。模糊聚类算法是一种基于函数最优化方法的聚类算法。其中模糊C-均值(Fuzzy C-means，FCM)算法应用最广泛且较成功。但聚类算法通常仅考虑每个像素点的独立信息而忽略像素点之间的空间信息，最后导致算法受噪声影响较大且很难对连续区域进行分割。并且FCM聚类中心是随机产生的，对最终的分割结果影响很大。
[0005]过去几年，机器学习方法发展迅速。Bauer等采用支持向量机算法实现了脑肿瘤的自动分割，但算法的空间和时间复杂度较高，分割效率过低。Wu等在条件随机场框架中使用超像素特征来分割脑肿瘤，但在不同的脑肿瘤患者病例中结果差异太大，特别是在低级别胶质瘤图像中表现更是不佳。Pinto等提出了采用随机森林的方法来分类外观和上下文特征，总体上实现了0.83的分割准确率。
[0006]近年来，卷积神经网络(Convolutional Neural Network，CNN)通过展示非常有希望的脑肿瘤分割结果而受到欢迎。Pereira等成功地将CNN应用于脑肿瘤分割领域并取得了惊人的结果，但分割精度不高。Havaei等通过结合具有不同滤波器尺寸通路的特征来使用多尺度结构，并且通过级联模型进一步改进分割结果，但由于模型复杂训练难度加大导致分割精度仅达到0.85。邢波涛等提出一种基于改进的全卷积神经网络和条件随机场的全自动脑肿瘤MRI图像分割算法，虽然分割精度可达0.91，但算法针对的数据集是二维的切片。Ozgun等提出了基于体素分割的用于生物医学图像分割的三维全卷积神经网络3D U-Net，虽然直接对三维图像数据进行处理，但由于三维数据学习难度加大，导致分割结果边缘不
理想。
发明内容
[0007]为克服现有技术的不足，针对脑肿瘤图像数据集小、类别失衡严重以及现有算法分割精度低等问题，本发明旨在提出一种改进的U-Net卷积神经网络，实现三维脑肿瘤MRI 图像的自动分割。本发明采用的技术方案是，基于改进的U-Net神经网络三维脑肿瘤图像分割方法，步骤如下：
[0008]一种基于改进的U-Net神经网络三维脑肿瘤图像分割方法，包括下列步骤：[0009]1)数据预处理：首先对三维脑肿瘤MRI图像数据进行N4ITK算法的去偏置场效应处理，其次对原始MRI图像中的Flair、T1、T1C和T2四种模态图像分别进行灰度归一化预处理；[0010]2)搭建并训练改进的U-Net卷积神经网络模型，在训练过程中，将患者的四种模态数据当作神经网络的四个通道输入到改进的U-Net卷积神经网络模型中进行训练，以便网络学习到不同模态的不同特征，进行更精确的分割：以卷积神经网络U-Net作为基础，建立改进的U-Net卷积神经网络模型，包含一个用于提取特征的分析路径和一个用于恢复目标对象的合成路径；在分析路径中，随着网络的深入，不断对输入图像的抽象表示进行编码，以提取图像丰富的特征；在合成路径中，结合分析路径中的高分辨率特征，以精确定位感兴趣的目标结构；每个路径均有五个分辨率，滤波器基数即初始通道数量为8；
[0011]分析路径中，每个深度均包含两个内核大小为3×3×3的卷积层，并在它们之间加入丢失层以防止
过度拟合，相邻的两个深度之间，采用步长为2内核大小为3×3×3的卷积层进行下采样，使特征映射的分辨率降低的同时维度加倍；
[0012]合成路径中，相邻两个深度之间，采用上采样模块使特征映射的分辨率增加的同时维度减半；上采样模块包括内核大小为2×2×2的上采样层和一个内核大小为3×3×3的卷积层；在上采样之后，合成路径中的特征映射与分析路径中特征映射级联，之后是一个内核大小为3×3×3的卷积层和内核大小为1×1×1的卷积层，在最后一层，内核大小为1×1×1的卷积层将输出通道的数量减少到标签数量，之后通过SoftMax层输出图像中每个体素点分别属于各个类别的概率，将经过上述改进的U-Net卷积神经网络模型记作var_UNet；[0013]在合成路径中采用深度监督，将网络不同深度的分割层通过元素相加的方式进行融合以形成最终的网络输出，将添加了深度监督的网络记作DS_var_UNet；
[0014]在分析路径中分别加入残差结构和密集连接结构；并将添加有此结构的网络分别记作res_UNet和dense_UNet；
[0015]跳过连接采用密集跳过连接；并将添加有此连接的网络记作dense_skip_UNet；[0016]对所有卷积层的非线性部分采用leaky ReLu激活函数，采用多类Dice损失函数作为损失函数；
[0017]将预处理后的图像分为训练集和测试集，利用训练集对改进的卷积神经网络模型进行训练；
[0018]3)测试分割结果：当改进的U-Net卷积神经网络模型训练好后，在测试集上测试模型，并使用相应的评价指标对分割结果进行评估。
[0019]
[0020]针对脑肿瘤图像数据集小、类别失衡严重以及现有算法分割精度低等问题，本发
明提出一种基于改进的U-Net卷积神经网络三维脑肿瘤图像分割方法。与一些经典的方法相比较，其优势主要体现在：
[0021]1)实用性：本发明提出的改进U-Net卷积神经网络是一个端对端的网络，可以直接对整个三维图像数据进行处理，更加实用；
[0022]2)创新性：以卷积网络U-Net作为基础，通过添加深度监督、残差、密集连接以及密集跳过连接等结构，改进了U-Net卷积网络。采用多类Dice损失函数应对类别失衡，并使用数据增强技术来成功地防止过度拟合，提高了网络性能。
[0023]3)准确性：本发明算法在全肿瘤、肿瘤核心和增强肿瘤的平均Dice评价分别可达0.8963、0.8466和0.7626，相较于目前脑肿瘤图像分割领域较先进的分割算法，本发明算法具有更高的精确性。
附图说明
[0024]图1本发明分割算法流程图
[0025]图2 3D U-Net网络结构图；白方块表示特征图；每个特征图上方标注通道的数量
[0026]图3改进的U-Net卷积神经网络结构图
[0027]图4本发明提出的改进卷积网络与3D U-Net网络损失曲线图
[0028]图5不同卷积网络模型的分割结果比较图
具体实施方式
[0029]本发明将医学图像和深度学习算法结合起来，完成三维脑肿瘤核磁共振图像精确分割。针对脑肿瘤图像数据集小、类别失衡严重以及现有算法分割精度低等问题，本发明提出一种基于改进的U-Net卷积神经网络三维脑肿瘤图像分割方法。图1是本发明提出的算法框图，首先对原始MRI图像中的四种模态分别进行预处理；其次将预处理后的图像分为训练集和测试集，搭建并在训练集上训练改进的U-Net卷积神经网络模型；最后当改进的U-Net 卷积神经网络模型训练好后，在测试集上测试模型，并使用相应的评价指标对分割结果进行评估。
[0030]1)数据预处理
[0031]由于MRI图像中存在容积效应与磁性偏置场伪影，故本发明对三维数据进行N4ITK 算法的去偏置场效应处理，加强脑肿瘤部分的灰度对比度，提高算法对脑肿瘤特征的提取与识别。
[0032]由于MRI强度值是非标准化的，因此对MRI数据进行标准化处理非常重要。但数据来自不同的研究所，并且使用的扫描仪和采集协议也有所不同，因此采用同一种算法进行处理至关重要。在处理过程中，需要确保数据值的范围不仅在患者之间而且在同一名患者的各种模态之间都要匹配，以避免网络的初始偏差。
[0033]本发明首先通过减去平均值并除以大脑区域的标准偏差，来独立地标准化每个患者的每种模态。然后，将结果图像裁剪到[-5,5]以去除异常值，之后重新归一化为[0,1]，并将非脑区域设置为0。在训练过程中，将患者的四种模态数据当作四个通道输入到网络模型中进行训练，以便网络学习到不同模态的不同特征，进行更精确的分割。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议