生物医学影像已成为疾病诊断和中不可或缺的组成部分, 且日益重要.核磁共振成像(Magnetic resonance image, MRI)、正电子发射断层扫描(Positron emission tomography, PET)、计算机断层扫描(Computer tomography, CT)、锥形束CT、3D超声成像等医学影像技术目前已广泛应用于临床检查、诊断、与决策.如何充分利用人工智能深度学习方法分析处理这些超大规模的医学图像大数据, 为临床医学中各种重大疾病的筛查、诊断、计划、图像引导、疗效评估和随访提供科学方法和先进技术, 是当前医学图像分析领域急需解决的重大科学问题和前沿医学影像关键技术[1].
医学图像分析最初主要采用边缘检测、纹理特征、形态学滤波以及构建形状模型和模板匹配等方法.这类分析方法通常针对特定任务而设计, 被称为手工定制式设计方法.机器学习以数据驱动方式分析任务, 能自动地从特定问题的大规模数据集中学习相关模型特征和数据特性.与针对特定问题而显式地手工设计模型不同, 机器学习方法可直接从数据样本中隐式地自动学习医学图像特征, 其学习过程本质上是一个优化问题的求解过程.通过学习, 模型从训练数据中选择正确的特征, 使分类器在测试新数据时做出正确决策.因此, 机器学习在医学图像分析中起
着至关重要的作用, 已经成为最有前途的研究领域[2].
深度学习(Deep learning, DL)是一种机器学习方法, 源于人工神经网络的研究, 其动机在于建立模拟人脑分析理解数据的神经网络. 1959年, 霍普金斯大学Hubel等通过观察猫的脑部视觉中枢对视网膜感知图像的处理方式发现, 视神经元对信息处理的方式是分工分层的, 不同神经元关注的对象特征不同, 每一层神经元抽象出对象的部分特征进行处理, 所有信息经过逐层激发, 在中枢最高层激发出整个对象认知.这一发现给从事神经网络研究的计算机专家提供了重要的建模思路[3]. 20世纪80年代, 神经网络技术进一步发展, 通过在只有输入层和输出层的网络结构中添加中间隐层, 使神经网络可以解决更加复杂的分类问题[4].但层数的增加为各层的神经节点之间的连接权重选取带来困难, 反向传播算法(Back propagation, BP)的出现在一定程度上解决了权重选取问题[5]鸟的天堂 教学设计. LeCun等在1989年将BP算法应用到前馈多层神经网络学习过程, 用以识别手写的[6].随着层次的加深, 多层网络会出现梯度消失问题, 导致BP算法无法有效调整神经元连接之间的权重, 学习时间过长.同时, 由于计算能力这一根本性限制, 神经网络研究一直未能在应用领域取得实质性突破.直到2006年前后, Hinton团队在深度前馈网络中采取无标注的数据集进行网络预训练, 解决了BP算法梯度消
失问题.他们先采用非监督贪心逐层训练方法, 有效降低了观察对象的维度, 然后用监督训练微调所有网络参数.这一算法为解决深层结构相关优化难题带来了希望, 在图像目标识别等分类预测方面取得了突破性进展[7-8]. LeCun等提出的卷积神经网络(Convolutional neural networks, CNNs)利用空间相对关系减少参数数目以提高训练性能, 是第一个真正多层结构学习算法[9]. Graves等提出的长短时记忆神经网络(Long short-term memory, LSTM)也在图像手写字识别和语音识别方面取得了突破性进展[10-12].
自2006年以来, 深度学习在多个领域取得了重要突破.在语音识别方面, 微软研究人员通过与Hinton等合作, 首先将受限玻尔兹曼机(Restricted boltzmann machine, RBM)和深度信念网络(Deep belief network, DBN)引入到语音识别模型训练中, 在大词汇量语音识别系统中获得了巨大成功, 使语音识别错误率相对之前降低30%. 2012年11月, 微软展示了一个全自动的同声传译系统, 其支撑的关键技术就是深度学习[13].在图像分类方面, 微软亚洲研究院He等[14]提出了残差学习框架, 其最重要的突破在于重构了学习过程, 重定向了深层神经网络信息流, 从而很好地解决了此前深层神经网络层数与准确度之间的矛盾.在人脸识别领域, 香港中文大学Sun及其研究团队研发的DeepID在使用测试基准LFW数据库上获得99.15%
的人脸识别率[15]. 2015年, DeepMind团队在《Nature》杂志上公布了自己的研究成果, 通过深度神经网络与强化学习等方法的结合, 计算机能够通过自学成为游戏高手, 在一系列复杂任务中的性能表现与人类相当[16]. 2016年3月, DeepMind开发的AlphaGo程序以4：1击败韩国围棋冠军李世石, 成为近年来人工智能领域新的里程碑. 2017年5月, AlphaGo在中国以3：0击败世界围棋冠军柯洁, 再次证明了其强大的学习、分析、决策能力. DeepMind团队自2016年起关注医疗领域, 试图将人工智能技术应用于医疗行业. DeepMind Health开发了名为Streams的软件, 帮助临床医生更快地查看医疗结果, 只需几秒钟时间就能查看急性肾脏损伤风险病人的验血结果, 优化病人的方案[17].
近年来, 深度学习不断取得重大进展, 主要得益于不断提高的计算能力和持续增长的可用数据量, 以及深度学习模型及其算法的不断改进.其实质是通过构建多隐层的机器学习模型, 利用海量的样本数据训练, 学习更精准的特征, 最终提高分类或预测的准确性[18].深度学习这种从数据中学习层次特征的特点, 使得它非常适合发现高维数据中的复杂结构[19], 已经应用到语音识别[13]g革命、自然语言处理[20]、人脸识别[15, 21]、目标检测[22]等领域和各种挑战赛中[23-25], 取得了破纪录的好成绩.有关深度学习的更详细发展历程和非医学图像分析领
域的应用进展, 读者可参阅2015年由LeCun等联名撰写的综述[19]、Schmidhuber撰写的综述[26]、Goodfellow等撰写的专著[27]以及最近发表的中文综述[28-30].
深度学习在计算机视觉领域的巨大成功, 激发了国内外许多学者将其应用于医疗图像分析.哈佛大学医学院Wells教授在其综述中指出应用深度学习解决医学图像分析任务是本领域的发展趋势[31]. 2016年来, 已有多位专家对深度学习在医学图像分析中的研究现状及问题进行了总结、评述和讨论[32-36]百家讲坛周汝昌.最近, Medical Image Analysis上发表的综述对深度学习在医学图像分类、检测和分割、配准和检索等方面的研究进行了较全面的归纳总结[37].
本文根据我们课题组近3年来收集、整理的文献资料和国家自然科学基金项目研究工作, 聚焦于综述深度学习在医学图像分析应用领域的研究现状和挑战.首先, 简述医学图像分析特点.其次, 论述深度学习方法自动提取多层次特征的基本原理; 然后, 重点论述计算机视觉和医学图像分析中深度CNN分类、分割框架; 系统梳理深度学习在医学图像分析各个应用领域的国内外研究现状; 最后, 总结深度学习方法应用于医学图像分析时面临的挑战与应对策略, 而且对开放的医学图像分析深度学习研究方向进行展望.
1 医学图像分析特点
医学图像分析已广泛应用于良恶性肿瘤、脑功能与精神障碍、心脑血管疾病等重大疾病的临床辅助筛查、诊断、分级、决策与引导、疗效评估等方面.医学图像分类与识别、定位与检测、组织器官与病灶分割是当前医学图像分析深度学习方法研究主要应用领域.不同成像原理的医学图像分析和计算机视觉领域中的自然图像分析存在较大的差别.至今为止, 国内外学者主要针对MRI、CT、X射线、超声、PET、病理光学显微镜等不同成像原理的医学图像分析任务开展了一系列的深度学习研究工作, 因此, 本节主要概述这几种医学图像及其主要分析任务.
恺撒大帝4
1.1 常用医学图像特点
1) X射线图像:自德国物理学家伦琴于1895年发现X射线以来, X射线图像用于临床诊断已有100多年的历史.医学X射线图像是人体不同组织器官和病灶的电子密度度量影像.基于X射线的成像包括2D的计算机放射成像、数字化X射线摄影术、数字减影血管造影术和乳房X线摄影术, 以及3D的螺旋计算机断层扫描术等, 已广泛地应用于骨科[38-39]、肺部、乳腺和心血管[40]等临床疾病检测和辅助诊断, 但2D X射线图像不能提供人体组织器官和病灶的三维立体信息, 2D X射线图像中各组织器官和病灶信息重叠, 自动识别比较困难.
2) CT图像:计算机断层扫描(CT)利用精确准直的X射线束对人体某部位一定厚度的断面进行照射扫描, 并由与射线线束一起旋转的探测器接收透射穿过该断面的X射线, 最后, 计算机根据探测器接收到的X射线信号数据重建相应人体断面的3D图像. CT图像具有亚毫米级的空间分辨率, 能够提供清晰的人体骨性组织解剖结构和病灶影像, 已广泛应用于多种临床疾病检查和辅助诊断. CT图像还能提供肿瘤放疗计划剂量计算所必需的组织和病灶电子密度信息, 能够为肿瘤放疗提供更准确的靶区和危及器官定位和边界信息, 是肿瘤临床放疗的基本图像[41].但CT图像不能提供清晰的软组织和病灶影像, 因此, 高精度的软组织器官和肿瘤CT图像分类识别、检测、定位和分割非常困难.
3) MRI图像:核磁共振图像(MRI)是人体组织器官和病灶中的氢原子核在外部强磁场作用下产生的磁共振信号大小的度量, 并通过计算机对体外核磁共振信号探测器接收到的信息数据进行3D图像重建. MRI具有亚毫米级的空间分辨率, 能够提供非常清晰的人体软组织解剖结构和病灶影像.功能核磁共振图像(Functional MRI, fMRI)和各种增强剂显像MRI可提供组织生理、病理和生物化学信息.动态对比度增强(Dynamic contrast-enhanced, DCE) MRI具有非侵入方式评价整个肿瘤区域的能力, 已应用于肿瘤学相关领域[42].特别是将DCE MRI与
核磁共振弥散加权成像(Diffusion-weighted MRI, DW MRI)相结合, 能够区分复杂的头颈部内不同区域的肿瘤[43]mr.gong. T1W、T2W、DCE、fMRI、DWI、磁共振血管成像、磁共振波谱成像等多种MRI影像增强技术使MRI比CT能更好地可视化、更精确地定位和区分肿瘤和正常软组织器官.但MRI一般不能提供骨性组织解剖结构影像, 组织器官之间的空隙容易导致伪影, 且难以避免和校正.外部磁场的变化也会产生难以校正的伪影.各种不同的成像序列使MRI图像的自动分析更加复杂和困难.
中华女子学院山东分院
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议