^^^^^H^^My^CHINESEJOURNAlOFHEAmilNFORMIfflCSANDBIIANAGEMENT
doi:l0.3969/j.issn.1672-5166.2021.02.026
陈屹东①张琴②△兰蓝①彭丽①殷晋①
-0278-07中图分类号：R-39；R319文献标志码：A
中，卷积神经网络（CNN）对图像有优秀的分类能力，但要将其应用到医学图像分割任务中并取得较好的效果，还存在着一些问题。对此，汇总分析了当前已有的一些研究，从基础CNN开...........*分类网络改造成分割网络，讨论改造后的网络在分割任务中的缺陷。针对这些缺陷，总结用割效果的常见方法，并介绍它在医学图像分割中的应用，为医学图像分割研究人员提供参考，以促2医学图像分割中的应用。
［处理卷积神经网络分割方法
ural Networks in Medical Image Segmentation
hina School of Medicine,Sichuan Biomedical Big Data Center,W
hengdu610041,Sichu
<bstrac/olutional neural network(convolutional ne
ication,but there are still some problems in
-results.This article starts from the basic Cl
a segmentation network,and discusses the defects of the
s shortcomings,this article summarizes
d introduces its application in medical
mentation methods
0引言
医学影像诊断是指医生通过非侵入式的方式取得内部组织影像数据，再以定量和定性的形式进行疾病诊断叫临床上，医学图像能够最大限度地为医生提供患者的信息⑵，已逐渐成为医生诊断的重要依据⑶，在基金顶目：四川大学华西医院专职博士后研发基金（顶目编号：2019HXBH039） ①四川大学华西临床医学院/华西医院生物医学大数据中心，四川省成都市，610041
②四川大学华西临床医学院/华西医院研究生部，四川省成都市，610041
作者简介：陈屹东（1997—），男，本科，科研助理；研究方向：计算机视觉；E-mail：402851**********
通信作者：张琴（1986-），女，硕士，讲师，研究生支部书记；研究方向：医院管理、口生经济学；E-mail：***************△通信作者
&278
医生对疾病的诊断，以及手段和方法的选择上有时起到决定性的作用［2l o医学图像分割技术作为一种在医学领域应用的计算机辅助诊断技术，能够很好地帮助医生完成包括磁共振成像(magnetic resonance imaging, MRI)影像、正电子发射断层成像影像、计算机断层扫描影像等在内的医学图像的观察分析。医学图像分割的精准度在临床医生对病灶区的量化、患者的病情判断、手段的选择等方面产生着直接影响［4l o
目前，医学影像中的信息仍然主要由医生进行解读，存在以下不足：易受医生主观因素干扰，医学影像结构复杂难以分析，以及影像大数据中潜藏的信息难以挖掘回。在大数据时代，人工解读已难以满足诊断需求。随着精准医疗技术的发展，医学图像分割技术已成为医学图像处理领域的研究重点之一⑷。医学图像分割方法与理论众多，有基于阈值、边界、区域增长、模糊集理论等的医学图像分割方法冏，总体来说，这类传统方法依赖于先验知识，需要手动设计特征，分割效果也难尽如人意问。目前，深度学习中的卷积神经网络技术(convolutional neural network,CNN)在图像处理领域表现良好，可很好地应用于医学图像分割。
1深度卷积神经网络与医学图像分割近年来，基于不断提高的计算能力，CNN在大数据分析中表现优秀，逐渐成为一种主流的图像处理方法。在图像分类任务中，CNN主要是先对图像进行一系列卷积池
化操作，然后通过几层全连接层将图像数据转换为类别概率来进行分类。在CNN中，卷积用于提取特征，池化用于缩小特征映射(feature map)从而扩大卷积感受野，全连接层通过权值矩阵将特征进行重组。通过这些操作得到的结果，不易受特征、像素本身在图像中位置的影响，故在分类任务中有很好的效果m。医学图像分割在临床诊疗方面具有重要意义，比如医学图像分割可用于医学图像的3D重建叫便于医生制定外科手术方案、进行仿真手术、量化病灶等⑷。
1.1从图像分类到图像分割
图像分割任务本身可以看作是对一张图像的像素级分类任务。如果要把将整张图像分为某一类的CNN分类网络改造成一个分割网络，可将网络改为全卷积网络叫去掉网络最后的全连接层从而对图像进行像素级的分类，并将最后分类输出的种类数改为图像中要分割物体的种类数加一(背景也归为一类)o这样所得到的网络分割精度为输入图像长度/输出图像长度，即输出的1个像素对应于原图像中的像素数，该比值取决于网络中池化操作的次数。
例如：对于传统分类网络VGG-16™，输入图像为224*224像素，改造成全卷积网络后的输出为7*7像素，其中每个像素被分为21类中的一类(20类物体+背景)；那么，分割精度就是224/7=32，即输出的1个像素对应原图像中的32*32个像素，因为经过5次池化且每次池化将图像长宽缩小为原来的一半。
1.2全卷积网络的分割缺陷
全卷积网络可以接受任意尺寸的图像，然后用反卷积对最后一个特征图进行上采样使其恢复到与原输入图像相同的尺寸。其跳级结构结合了不同深度的分割结果，这样虽然确保了分割的精确性和网络泛化能力，但是其精度对分割任务显然不够：由于分辨率下降过多导致原图像中大量点无法准确归类，使得分割过于粗糙。提高分割精度面临着一个主要问题：高准确度的分类网络对于特征往往有很高的空间位置变化稳定性，这与分割问题所要求的逐像素定位分割是冲突的［11l o但是，如果对基于更高准确度的CNN进行改造，往往可以取得更好的分割效果，如ResNet阳、Inception1131等。
2深度卷积神经网络在医学图像分割中的应用方法
2.1迁移学习
CNN需要大量带标签的数据进行学习建模，但在医学领域，特别是医学图像分割，获取大量带标注的图像非常困难，因为需要专业人士花大量时间进行标注，标注成本非常高。因此，医学领域适合采用迁移学习［14l o迁移学习使用通过其他数据集预训练好的神经
279•]
^^^^^jl^^l^/cHINESEJOURNALOFHEAITHINFORMAnCSANDNIANAGENIENT
网络（其中浅层网络学到简单特征，深层网络学到复杂 特征），在需要分割的数据集上对网络进行参
数微调训
练，从而减少对已标注数据的需求。实验表明，使用在 相似数据集上训练好的网络进行迁移学习，数据处理效 果更好［佝。同时，迁移学习中微调的层数也要根据迁
移数据集与已标注数据的相似度和已标注数据的数量来 确定。
2.2空洞卷积
CNN 中，通常通过池化操作减小特征映射的大小、
扩大感受野，从而让网络学习到更加复杂的特征，但 每次池化操作都会大幅降低图像分辨率，对像素级的分
割任务不利。因此，引入空洞卷积这一概念代替池化操 作，扩大感受野冋，见图1 （图中卷积核大小为3，输
入步幅为2，输出步幅为I ）】11】和图2（图中红点为原
3*3卷积核中的值，其余值为0）。普通卷积每次取与卷
积核大小相同的区域，逐像素相乘并累加作为区域中心 像素的卷积输出。空洞卷积的不同之处在于，它加入了
扩张率（rate ）这一概念，以代表卷积核中每2个点之 间的距离。例如，扩张率为1时就是普通卷积，为2时 表示卷积核中2点之间相距1像素。原来3*3的卷积核
会等价地扩大为5*5，也就是图2红点所示的卷积核参 数（5屿方格中非红点部分用0填充），等效为图1中
输入步幅为2、输出步幅为1的卷积操作。这样相当于
增大了卷积核，也就是扩大了感受野。该方法在分割任 务中应用广泛［16-17］O
玩具直升机结构2.3多模态
图像分割任务通常处理单一序列图像，但如果将 多模态的数据同时输入有时可以提高分类的准确度。例
如，对婴儿大脑组织MRI 图像中的白质、灰质和脑脊
液进行分割时昭，用T1加权图像、T2加权图像和各
向异性分数图像3种图像序列代替单一序列图像作为输 入数据来训练CNN，可以得到更好的分割效果。并且, 这项工作只使用了 8名患者的MRI 数据，可见其在小
样本训练集上也有较好的效果［18］o
2.4多尺度
多项研究表明，在分割任务中引入多尺度元素可以 有效提高分割效果，常见方法如下。
2.4.1 编码-解码（Encoder-Decoder ）模型
编码一解码模型在自然语言处理领域比较常见［19］, 同时也被应用于图像处理领域。医学图像分割中的经典 网络U-Net ［20］用的正是编码-解码模型。U-Net 首先
通过一系列卷积池化操作对图像进行降采样，然后通过电磁屏蔽导电胶
反卷积0七］恢复图像大小，形成一个u 型结构，见图
3［20］o 卷积与反卷积的卷积核都需要进行参数学习，在每
次反卷积时都会拼接同层卷积的原图像作为信息补充画。
图1 一维状态下的空洞卷积
输入 图像128 64 64 2
cxj o co co a
S S S coH oo| ool co
输出
分割
▼ 128 128
北虫草菌种
卅-漏hl 章
256 256
§11111
-►卷积，激活函数
-►复制，拼接
I 池化•反卷积
-► m 卷积
图3 经典U-Net 结构 （资料来源：文献［20］）
@280
\JU>PLICffnONOFNEWTECHNOLOGYj^^应用
2.4.2空间金字塔池化方法
已构建好的网络结构，往往要求输入固定大小的数据，使得在处理大小不同的图片时要将图片进行裁剪或缩放到固定大小，导致部分信息丢失。空间金字塔池化方法（spatial pyramid pooling,SPP）可以使网络适应任意大小的图片输入，同时利用空间金字塔这一经典特征提取方法对同一张图片提取不同尺度的图像特征，使分割任务得到进一步优化［23］o SPP还可以与空洞卷积［11］相结合，组成新的空洞空间金字塔池化（atrous spatial pyramid pooling,ASPP）方法画，对分割任务同样有很好的效果，见图4。和原图4倍降采样的图一起输入得到4倍降采样的分割结果，这样不断细化最终得到原图的分割结果。4个网络也按从粗粒度到细粒度逐个进行循环训练，见图5。
256*256像素
输入图像
上
采
样
上
采
样
上
采
样>
图5级联结构示意图
（资料来源：文献［26］）
256*256像索分制结宋
网络4
<_______>
图4ASPP方法图示（资料来源：文献［24］）
2.4.3级联
物料周转箱引入多尺度元素的另一种方法是一开始就对输入图像进行降采样，然后将完成多尺度降采样的图片分别输入到网络中，通过结合得到最终分割结果西。这种方法在医学图像分割中也有应用画，并且取得了比U-Net更好的分割效果。文献［26］中，将256*256像素的图片作为初始输入数据，分别进行8倍、4倍和2倍的降采样，然后将降采样的输出结果分别与原图片一起输入到4个分割网络中；同时将粗粒度的分割结果作为输入数据，再通过超采样输入到细粒度的分割网络中，例如：对8倍降采样的输出结果进行2倍的超采样,2.53D数据的处理
医学领域中3D数据很常见。若将3D数据转化为2D数据，不仅标注成本极高，而且训练慢，所得模型容易过拟合。因此，直接对3D数据进行训练的网络必不可少画，如3D U-Neto可以使用一个部分标注的数据集对3D U-Net进行训练，使它可以预测同一数据集的未标注数据；或者可以使用多个部分标注的数据集进行训练，使它可以预测其他同类数据集画。然而，3D U-Net也存在训练时间过长、训练成本高（如内存消耗大）的问题，在条件限制下可以使用2.5D U-Net代替
281©
卫生信息管理
CHINESE JOURNAL OF HEALTH INFORMATICS AND MANAGEMENT
3D U-Net 进行分割。2.5D U-Net
通过对3D 数据的投影做二维卷积 来替代直接对3D 数据做三维卷积。
2.5D U-Net ［29］可以用接近于2D
U-Net 的训练时间得到接近于3D U-Net 的训练效果。
2.6先定位后分割
医学图像通常较大，图像中器
官组织繁多，直接分割出期望的部 分难度大，所以先进行定位再分割 是一个不错的选择。文献［30］使 用2个网络完成脊柱分割任务，第
1个网络将图片输入后得到热度映
射，确定脊柱的大致位置，第2个 网络类似U-Net 结构，在定位基 础上对脊柱进行分割得到最后的分
割结果，见图6O 2.7分割后细化
深度学习分割结果是一个概
率分布，可以用传统的概率图模 型，如条件随机场(conditional
random field, CRF )，进行边缘的
细化⑶］。文献［11］使用全连接条
图像块
图像块分割
分割路径
2D 图像
热度映射
最终分割
图6定位+分割的脊柱分割网络结构
(资料来源：文献［30］)
件随机场对CNN 输出结果进行细
化，取得了较好的分割效果，其中
CNN 与CRF 是2个独立的模块,
单独进行训练。最近已有研究完成
CNN 与CRF 的直接连接，并实现
了端到端的学习［32］O 概率图模型与
铜编织线
深度网络的结合或是当前一个值得
研究的方向。
3结语
医学影像是医生做出诊断的 重要参照，图像分割有助于医生确
定病灶，提高诊断效率。医学图像
分割中的深度学习方法可以减少医
生主观因素的影响，并从大量图像 中挖掘出潜藏的信息。深度学习不
需手动设置参数，不需先验知识的
自动特征提取，便于医生使用。这
不仅能辅助医生进行临床诊断，在 大数据时代下对医学大数据研究 也有着重要意义离。未来，在进 一步结合分割任务的具体医学运用
场景的情况下，深度神经网络或
将成为一种主要的医学图像分割 方法。■
[1] BIGLER ED. Neuroimaging as a
biomarker in symptom validity and
performance validity testing[J]. Brain Imaging and Behavior, 2015, 9(3):
香皂包装
421-444.
[2] 唐思源，邢俊凤，杨敏•基于BP 神
经网络的医学图像分割新方法[J]. 计算机科学，2O17(S1): 250-253.⑶刘丰伟，李汉军，张逸鹤，等•人工
智能在医学影像诊断中的应用[J]， 北京生物医学工程,2019, 38⑵:
206-211.
[4]李昌燃，朱信忠•医学图像分割算
法分类[J].电脑迷，2017(28): 266-
267.
⑸张宝泽，赵于前•医学图像分
割方法综述[J].养生保健指南，
2019(18): 391.
[6] 张华博•基于深度学习的图像分割
研究与应用[D].成都：电子科技大 学，201&
[7] WANG F, JIANG M, QIAN C, et al.
Residual attention network for image
classification[C]//Proceedings of the
IEEE conference on computer vision
and pattern recognition. 2017: 3156-
3164.
[8] HILLE G, SAALFELD S, SEROWY
S, et al. Vertebral body segmentation
in wide range clinical routine spine
MRI data[J]. Computer methods and programs in biomedicine, 2018, 155:
93-99.
[9] LONG J, SHELHAMER E, DARRELL
T. Fully Convolutional Networks for Semantic Segmentation[J]. IEEE
@282
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议