(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202010492167.X
(22)申请日 2020.06.03
(71)申请人 西安理工大学
地址 710048 陕西省西安市碑林区金花南
路5号
(72)发明人 石争浩 薛世梁
(74)专利代理机构 北京高沃律师事务所 11569
代理人 杜阳阳
(51)Int.Cl.
G06T 7/00(2017.01)
G06T 7/10(2017.01)
(54)发明名称
法及系统
(57)摘要
本发明涉及一种基于卷积神经网络的肝脏
肿瘤分割方法及系统。该方法包括：构建U型结构
编码器/解码器网络；所述U型结构编码器/解码
器网络包括收缩路径和扩展路径；在所述U型结
构编码器/解码器网络的下采样和上采样的卷积
层中均添加残差块，形成跳跃连接结构；将权重
注意力机制模块添加至所述U型结构编码器/解
码器网络的下采样中，与所述跳跃连接结构结
合，形成卷积神经网络模型；采用数据训练集对
所述卷积神经网络模型进行训练，得到训练好的
卷积神经网络模型；将待分割的肝脏图像输入所
述训练好的卷积神经网络模型，得到肝脏分割结
果图和肿瘤分割结果图。本发明可以提高肿瘤分
割的准确度。权利要求书2页 说明书8页 附图6页CN 111627019 A 2020.09.04
C N 111627019
A
1.一种基于卷积神经网络的肝脏肿瘤分割方法，其特征在于，包括：
构建U型结构编码器/解码器网络；所述U型结构编码器/解码器网络包括收缩路径和扩展路径；
在所述U型结构编码器/解码器网络的下采样和上采样的卷积层中均添加残差块，形成跳跃连接结构；
将权重注意力机制模块添加至所述U型结构编码器/解码器网络的下采样中，与所述跳跃连接结构结合，形成卷积神经网络模型；
采用数据训练集对所述卷积神经网络模型进行训练，得到训练好的卷积神经网络模型；
将待分割的肝脏图像输入所述训练好的卷积神经网络模型，得到肝脏分割结果图和肿瘤分割结果图。
2.根据权利要求1所述的基于卷积神经网络的肝脏肿瘤分割方法，其特征在于，所述残差块的公式为：
x l+1＝x l+F(x l+W l)
其中，x l+1为第l+1层卷积层的卷积结果，x l为第l层卷积层的卷积结果，W l为第l层卷积层的权重，F(x l+W l)为残差部分。
3.根据权利要求1所述的基于卷积神经网络的肝脏肿瘤分割方法，其特征在于，所述将权重注意力机制模块添加至所述U型结构编码器/解码器网络的下采样中，与所述跳跃连接结构结合，形成卷积神经网络模型，具体包括：
确定所述权重注意力机制模块的Squeeze单元；所述Squeeze单元用于采用全局平均池化方法将同一个通道上卷积层输出的特征图编码为全局特征，得到所述通道的全局特征；
确定所述权重注意力机制模块的Excitation单元，所述Excitation单元用于生成每个通道的权重；
确定所述权重注意力机制模块的Scale单元，所述Scale单元用于将所述通道的权重添加至所述U型结构编码器/解码器网络中对应的网络层，形成卷积神经网络模型。
4.根据权利要求1所述的基于卷积神经网络的肝脏肿瘤分割方法，其特征在于，所述卷积神经网络模型下采样的最后一层池化层包括两组并联的卷积层，所述两组并联的卷积层对应的卷积核不同；所述两组并联的卷积层的输出经过特征融合后输入所述卷积神经网络模型上采样。
5.根据权利要求1所述的基于卷积神经网络的肝脏肿瘤分割方法，其特征在于，所述将待分割的肝脏图像
输入所述训练好的卷积神经网络模型，得到肝脏分割结果图和肿瘤分割结果图，具体包括：
对所述待分割的肝脏图像进行预处理，得到预处理图像；
将所述预处理图像输入训练好的卷积神经网络模型中；
采用所述卷积神经网络模型依次进行卷积运算、上采样和下采样操作，利用sigmoid激活函数对每个像素进行预测，得到所述肝脏分割结果图和所述肿瘤分割结果图。
6.根据权利要求1所述的基于卷积神经网络的肝脏肿瘤分割方法，其特征在于，所述将待分割的肝脏图像输入所述训练好的卷积神经网络模型，得到肝脏分割结果图和肿瘤分割结果图，之后还包括：
对所述肿瘤分割结果图与所述肝脏分割结果图的相同位置进行像素比较；
将同一位置处，所述肿瘤分割结果图中与所述肝脏分割结果图像素不一致的像素置零，得到后处理后的肿瘤分割结果图。
7.一种基于卷积神经网络的肝脏肿瘤分割系统，其特征在于，包括：
U型结构编码器/解码器网络构建模块，用于构建U型结构编码器/解码器网络；所述U型结构编码器/解码器网络包括收缩路径和扩展路径；
残差块添加模块，用于在所述U型结构编码器/解码器网络的下采样和上采样的卷积层中均添加残差块，形成跳跃连接结构；
卷积神经网络模型生成模块，用于将权重注意力机制模块添加至所述U型结构编码器/解码器网络的下采样中，与所述跳跃连接结构结合，形成卷积神经网络模型；
网络训练模块，用于采用数据训练集对所述卷积神经网络模型进行训练，得到训练好的卷积神经网络模型；
肝脏肿瘤分割模块，用于将待分割的肝脏图像输入所述训练好的卷积神经网络模型，得到肝脏分割结果图和肿瘤分割结果图。
8.根据权利要求7所述的基于卷积神经网络的肝脏肿瘤分割系统，其特征在于，所述卷积神经网络模型生成模块，具体包括：
Squeeze单元确定子模块，用于确定所述权重注意力机制模块的Squeeze单元；所述Squeeze单元用于采用全局平均池化方法将同一个通道上卷积层输出的特征图编码为全局特征，得到所述通道的全局特征；
Excitation单元确定子模块，用于确定所述权重注意力机制模块的Excitation单元，所述Excitation单元用
于生成每个通道的权重；
Scale单元确定子模块，用于确定所述权重注意力机制模块的Scale单元，所述Scale单元用于将所述通道的权重添加至所述U型结构编码器/解码器网络中对应的网络层，形成卷积神经网络模型。
9.根据权利要求7所述的基于卷积神经网络的肝脏肿瘤分割系统，其特征在于，所述肝脏肿瘤分割模块，具体包括：
预处理子模块，用于对所述待分割的肝脏图像进行预处理，得到预处理图像；
输入子模块，用于将所述预处理图像输入训练好的卷积神经网络模型中；
预测子模块，用于采用所述卷积神经网络模型依次进行卷积运算、上采样和下采样操作，利用sigmoid激活函数对每个像素进行预测，得到所述肝脏分割结果图和所述肿瘤分割结果图。
10.根据权利要求7所述的基于卷积神经网络的肝脏肿瘤分割系统，其特征在于，还包括：
像素比较模块，用于将待分割的肝脏图像输入所述训练好的卷积神经网络模型，得到肝脏分割结果图和肿瘤分割结果图之后，对所述肿瘤分割结果图与所述肝脏分割结果图的相同位置进行像素比较；
肿瘤分割结果图后处理模块，用于将同一位置处，所述肿瘤分割结果图中与所述肝脏分割结果图像素不一致的像素置零，得到后处理后的肿瘤分割结果图。
一种基于卷积神经网络的肝脏肿瘤分割方法及系统
技术领域
[0001]本发明涉及医学图像处理领域，特别是涉及一种基于卷积神经网络的肝脏肿瘤分割方法及系统。
背景技术
[0002]肝癌是致死率较高的一种恶性肿瘤，早发现早将显著提高肝癌患者的生存率。相关文献表明，晚期肝癌五年相对存活率仅为18％，而早期诊断为肝癌的五年相对存活率增加到70％。通常，早期的肝癌以CT(计算机断层扫描)扫描位于肝脏表面或内部的肿瘤形式表现出来。对于计算机辅助肝病的诊断，准确的肝肿瘤分割是必不可少的先决步骤，但是，由于CT扫描时会出现大量图像切片，因此在短时间内对CT扫描进行诊断性读取对于放射科医生而言是巨大的工作量，并且容易发生错误。因此，开发实时的全自动肝肿瘤分割算法对于临床诊断是非常必要的。
[0003]在计算机断层扫描(CT)中进行肝肿瘤分割是一项非常具有挑战性的任务。首先，人的肿瘤大小、形状和位置各不相同。其次，肿瘤与周围正常肝组织之间的界限是模糊的，有些肿瘤可能与其他器官和
血管相邻。此外，肿瘤外观的巨大多样性和密度不均匀也使得肝肿瘤分割成为一项艰巨的任务。为了准确高效地分割出肝脏肿瘤，目前主流的方法可以分为两大类，基于传统机器学习方法和基于深度学习方法。在传统方法中，有人提出了一种基于随机特征子空间集的极限学习机，用于肝脏肿瘤的检测和分割。还有一些人提出基于体素的方法可用于肝肿瘤分割。有人提出了一种结合水平集方法和监督像素分类的肝肿瘤分割方法。然而，这些方法依赖于手动产生功能并且表达能力有限，这使得难以处理多尺度大规模CT图像。
[0004]近年来，随着深层卷积神经网络在计算机视觉中的成功应用，深层卷积网络也被广泛用于医学图像处理中。有人提出了一种3D多尺度卷积神经网络用于肝脏分割，类似于3DU-Net的结构，但是该方法因为使用3D卷积，存在着更高的计算成本和内存消耗，并且会产生很多冗余运算。有人提出了一种用于肝肿瘤分割的注意混合连接体系结构，该结构结合了软和硬注意机制以及长跳和短跳连接，虽然会存在较多的参数，但是也取得了不错的效果。有人同时使用了U-Net的远程连接和ResNet的短距离残余连接。使用130个LiTS训练数据集对模型进行了训练，在70次测试CT扫描中进行评估时，该模型的平均Dice得分为0.67，具有不错的效果。为了提高准确性，许多人使用类似层叠的网络来分割肿瘤。有部分学者提出了一种基于两个网络的训练方法，第一个FCN训练肝脏，然后以第一个网络的肝脏分割结果作为输入，用于第二个FCN网络的肿瘤训练。尽管可以提高准确性，但是两个网络的结构存在生成的计算量很大，操作繁琐，运算速度较慢的问题。
发明内容
[0005]本发明的目的是提供一种基于卷积神经网络的肝脏肿瘤分割方法及系统，以提高肿瘤分割的准确度。
[0006]为实现上述目的，本发明提供了如下方案：
[0007]一种基于卷积神经网络的肝脏肿瘤分割方法，包括：
[0008]构建U型结构编码器/解码器网络；所述U型结构编码器/解码器网络包括收缩路径和扩展路径；
[0009]在所述U型结构编码器/解码器网络的下采样和上采样的卷积层中均添加残差块，形成跳跃连接结构；
[0010]将权重注意力机制模块添加至所述U型结构编码器/解码器网络的下采样中，与所述跳跃连接结构结合，形成卷积神经网络模型；
[0011]采用数据训练集对所述卷积神经网络模型进行训练，得到训练好的卷积神经网络模型；
[0012]将待分割的肝脏图像输入所述训练好的卷积神经网络模型，得到肝脏分割结果图和肿瘤分割结果图。
[0013]可选的，所述残差块的公式为：
[0014]x l+1＝x l+F(x l+W l)
[0015]其中，x l+1为第l+1层卷积层的卷积结果，x l为第l层卷积层的卷积结果，W l为第l层卷积层的权重，F(x l+W l)为残差部分。
[0016]可选的，所述将权重注意力机制模块添加至所述U型结构编码器/解码器网络的下采样中，与所述跳跃连接结构结合，形成卷积神经网络模型，具体包括：
[0017]确定所述权重注意力机制模块的Squeeze单元；所述Squeeze单元用于采用全局平均池化方法将同一个通道上卷积层输出的特征图编码为全局特征，得到所述通道的全局特征；
[0018]确定所述权重注意力机制模块的Excitation单元，所述Excitation单元用于生成每个通道的权重；
[0019]确定所述权重注意力机制模块的Scale单元，所述Scale单元用于将所述通道的权重添加至所述U型结构编码器/解码器网络中对应的网络层，形成卷积神经网络模型。[0020]可选的，所述卷积神经网络模型下采样的最后一层池化层包括两组并联的卷积层，所述两组并联的卷积层对应的卷积核不同；所述两组并联的卷积层的输出经过特征融合后输入所述卷积神经网络模型上采样。
[0021]可选的，所述将待分割的肝脏图像输入所述训练好的卷积神经网络模型，得到肝脏分割结果图和肿瘤分割结果图，具体包括：
[0022]对所述待分割的肝脏图像进行预处理，得到预处理图像；
[0023]将所述预处理图像输入训练好的卷积神经网络模型中；
[0024]采用所述卷积神经网络模型依次进行卷积运算、上采样和下采样操作，利用sigmoid激活函数对每个像素进行预测，得到所述肝脏分割结果图和所述肿瘤分割结果图。[0025]可选的，所述将待分割的肝脏图像输入所述训练好的卷积神经网络模型，得到肝脏分割结果图和肿瘤分割结果图，之后还包括：
[0026]对所述肿瘤分割结果图与所述肝脏分割结果图的相同位置进行像素比较；[0027]将同一位置处，所述肿瘤分割结果图中与所述肝脏分割结果图像素不一致的像素置零，得到后处理后的肿瘤分割结果图。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议