[基金项目]内蒙古自治区自然科学基金(２０２０M S ０６００１)㊁包头市医药卫生科技计划(w s j j ２０１９０４０).[第一作者]唐思源(１９８１ )，女(蒙古族)，内蒙古包头人，硕士，副教授.研究方向：医学图像处理.E Ｇm a i l :１０２００９１７８＠b t m c ．e d u ．c n
[通信作者]杨敏，内蒙古科技大学包头医学院,０１４０４０.E Ｇm a i l :２８１９２９１１９＠q q ．c o m [收稿日期]２０１９Ｇ１１Ｇ０８㊀㊀[修回日期]２０２０Ｇ１２Ｇ１０
医学物理与工程学
D e t e c t i o no f p u l m o n a r y n o d u l e s b a s e d o n t r a n s f e r l e a r n i n g a
n d t h r e e d i m e n s i o n a l c o n v o l u t i o n a l n e u r a l n e t w o r k
T A N GS i y
u a n ,L I UY a n r u ,Y A N G M i n ∗(S c h o o l o f B a o t o u M e d i c a lC o l l e g e ,I n n e rM o n g o l i aU n i v e r s i t y o f S c i e n c e a n dT e c h n o l o g y ,B a o t o u ０１４０４０,C h i n a )[A b s t r a c t ]㊀O b j
e c t i v e ㊀T od e t e c t p u l m o n a r y n o d u l e sw i t h am u l t i Ｇs c a l e t h r e e d i m e n s i o n a l c o n v o l u t i o n a l n e u r a l n e t w o r k (３D C N N )b a s e do n t r a n s
f e r l e a r n i n
g ．M e t
h o d s ㊀P u l m o n a r yp a r e n c h y m aa r e aw e r es e g
m e n t e dw i t hv a r i o u sm e t h o d s ,a n d３D c a n d i d a t e p u l m o n a r y n
o d u l e s w e r ee x t r a c t e d ．T h e n m u l t i Ｇs c a l e３D C N N m o d e lo ff e a t u r es t r u c t u r e w a sb u i l t ,a n dt h e n e t w o r km o d e l s t r u c t u r ew a s f i n e Ｇt u n e du s i n g w e i g h t e d t r a n s f e r l e a r n i n g m
e t h o d ．D a t a s e t sw e r e e x t r a c t e d t o t r a i n t h e
f i n e Ｇt u n e d３Dn e t w o r km o d e l ,a n d t h e n p u l m o n a r y n o d u l e sw e r ed e t e c t e du s i n
g t
h
i sm o d e l ．R e s u l t s ㊀T h e a v e r a g e a c c u r a c y o f t h i s s c h e m e f o r d e t e c t i n g m e d i u m (ȡ５m ma n d ɤ１５m m )a n d l a r g e (＞１５m m )p u l m o n a r y n o d u l e sw a s ９７ ２８％,a n d f o r s m a l l (＜５m m )n o d u l e sw a s ９２ ３１％．T h e c o m p r e h e n s i v e p e r f o r m a n c e s o f t h i s s c h e m ew e r e b e t t e r t h a n t h o s e o f t r a d i t i o n a l m e t h o d s a n dd e e p l e a r n i n g m e t h o d s ．C o n c l u s i o n ㊀P u l m o n a r y n o d u l e s c o u l db ed e t e c t e da u t o m a t i c a l l y a n da c c u r a t e l y b a s e d o n t r a n s f e r l e a r n i n g a
n d３DC N N．[K e y w o r d s ]㊀p u l m o n a r y n o d u l e s ;i m a g e p r o c e s s i n g ,c o m p u t e r Ｇa s s i s t e d ;m a c h i n e l e a r n i n g ;n e u r a l n e t w o r k s ,c o m p u t e r D O I :１０ １３９２９/j
．i s s n １００３Ｇ３２８９ ２０２０ １２ ０２６基于迁移学习和三维卷积神经网络检测肺结节 唐思源，刘燕茹，杨㊀敏∗
(内蒙古科技大学包头医学院，内蒙古包头㊀０１４０４０
)[摘㊀要]㊀目的㊀采用迁移学习多尺度三维卷积神经网络(３DC N N )检测肺结节.方法㊀综合多种方
法分割肺实质区域，提取三维候选肺结节；搭建多尺度特征结构３DC N N 模型，通过基于权值的迁移学习方法微调网络模型结构；提取数据集，训练微调后的三维网络模型，以之检测肺结节.结果㊀本方案对大(＞１５m m )㊁中(ȡ５m m 且ɤ１５m m )肺结节的平均准确率达９７ ２８％，对小(＜５m m )结节平均准确率达９２ ３１％，综合性能优于传统方法及深度学习方法.结论㊀基于迁移学习和３DC N N 可自动精确检测不同大小肺结节. [关键词]㊀肺结节；图像处理，计算机辅助；机器学习；神经网络，计算机[中图分类号]㊀R ７３４ ２;T P ３９１ ４;R ８１４ ４２㊀[文献标识码]㊀A㊀㊀[文章编号]㊀１００３Ｇ３２８９(２０２０)１２Ｇ１８８２Ｇ０５
㊀㊀C T 是检查肺部疾病的重要影像学方法之一,
精确检出病变是诊断的关键[１
].深度学习(d e e p
l e a r n i n g
,D L )在计算机视觉领域的突破[２
]带动了其在医学图像处理方向的应用，其中卷积神经网络
(c o n v o l u t i o n a l n e u r a l n e t w o r k ,C N N )
是较好的网络模型，无需人工设计，可根据现有数据自动学习并提取
图像特征，适用于处理大数据量医学图像[３]
.为解决人工标注数据困难的问题，本研究引入迁移学习[４
]辅
助检测肺结节，并提出基于迁移学习的多尺度３D
C N N 检测肺结节方案,
以三维空间信息提取并生成更具有代表性的特征，利用多尺度结构检测肺结节，构建多尺度特征检测模型，提升网络特征的表达能力.
１㊀设计与方法
综合采用多种方法分割肺实质区域.①粗分割出胸腔轮廓区域;②重建肺气管，去除与肺实质相连的主气管和支气管;③判别左㊁右肺相连情况，分离左㊁右肺;④修复肺区边界，完整分割肺实质.提取三维
候选结节R O I :①为避免受噪声影响而遗漏肺结节，采用阈值法对肺实质区进行二值化;②利用几何特征(
面积㊁体积及最大直径)提取候选结节;③采用公式(１)提取三维候选结节:
ω＝V (x －１６:x ＋１５,y －１６:y ＋１
５,z －４:z ＋３)(１)式中ω为提取的三维候选结节,V 为肺实质灰度数据,x ,y ,z 为候选结节质心坐标.检测流程见图１.为减少肺部其他组织对实验结果带来的干扰，根
据X M L 文件中对肺结节位置的标注信息，将含有肺结节的５１２ˑ５１２ˑ５１２原始C T 图像裁剪成１２８ˑ１２８
ˑ１２８图像.
１ １㊀多尺度３D C N N㊀网络传递时，经过层数越多，输入信息和梯度信息的影响力越小，易出现梯度消失
现象，可通过缩短初始输入与损失函数之间的连接距离加以解决.密集连接块可直接连接每层网络与输入和损失，减轻梯度消失现象及正则化效果，抑制网络过
拟合[５
].本研究于３D C N N 中加入可重复利用图像
特征的密集连接块，通过较少卷积核产生大量特征，降低网络参数数量.
多尺度３DC N N 见图２.输入１２８ˑ１２８ˑ１２８三
维肺结节特征图像，通过３ˑ３ˑ３卷积操作得到３２个
１２８ˑ１２８ˑ１２８的特征层C o n v １，再经６４ˑ６４ˑ６４特
征图最大池化操作，连接到１２８个６４ˑ６４ˑ６４密集块１，得到９６个３２ˑ３２ˑ３２特征图的特征层C o n v ２
.经过３２ˑ３２ˑ３２特征图的最大池化操作，将C o n v ２连接到３８４个３２ˑ３２ˑ３２密集块２，得到２２４个１６ˑ１６ˑ１６特
征图的特征层C o n v ３.C o n v ３经过１６ˑ１６ˑ１６特征图的最大池化操作，连接到８９６个１６ˑ１６ˑ１６密集块３
，生活垃圾处理器
得到４８０个８ˑ８ˑ８特征图的特征层C o n v ４，形成多尺度特征结构；以特征层C o n v ２㊁C o n v ３㊁C o n v ４为代表，构成低㊁中㊁高３类尺度特征，通过构建的下采样多尺度特征结构提取肺结节图像特征
.
图１㊀
检测肺结节流程图
图２㊀多尺度３DC N N 结构图
㊀㊀随后行上采样以恢复特征图的分辨率.该操作为下采样的逆操作，包含密集块和反卷积层，每个反卷积层由密集块连接，每经过一次反卷积操作，图像尺寸即增大一倍，可得到与输入图像尺寸相同的特征图，再通过卷积操作获得输出结果(图２).通过５１２个４ˑ４ˑ４的特征层C o n v５与密集块４进行特征融合，得到４８０个８ˑ８ˑ８的特征层C o n v６；将C o n v６与密集块５进行特征融合，得到２２４个１６ˑ１６ˑ１６的特征层C o n v７；再对C o n v７与密集块６进行特征融合，得到３８４个３２ˑ３２ˑ３２的特征层C o n v８；将C o n v８与密集块７进行特征融合，生成与原图像大小一致的特征层C o n v９，最后通过卷积操作获得输出结果.
１ ２㊀实验环境㊀T e n s o r f l o w D L框架与P y t h o n语言编程环境，硬件及软件配置见表１.
表１㊀软硬件环境配置
实验环境配置说明
硬件环境C P U I n t e l(R)C o r e(T M)i７－６７００C P U４G H z
G P U N v i d i aG T X７５０,４G B显存
内存８G B
软件环境操作系统U b u n t u１４．０４,６４位
编程环境D L框架T e n s o r f l o w与P y t h o n编程语言１ ３㊀迁移学习微调网络结构㊀针对较难获得带有合理标注的训练数据的问题，本研究通过迁移学习方法引入迁移学习思想，微调不同层三维网络模型参数，以优化训练过程.采用基于权值的迁移学习方法训练及测试网络模型(图３):①对图像进行水平㊁垂直翻转及９０ʎ㊁１８０ʎ和２７０ʎ旋转以增强数据[６]，在原数据基础上将增强６倍后的肺结节数据集送入三维模型进行训练，以所获权值作为数据集中特征提取层的初始权值;
②采用随机梯度下降最优化方法[７]微调权值，自后向前微调网络模型参数，获得数据特征.
１ ４㊀网络训练㊀C T图像来源为包头市肿瘤医院，采用S i e m e n sS OMA T OM D e f i n i t i o nA S双源多层螺旋C T扫描仪行胸部平扫或增强扫描，扫描参数：管电压１２０k V，管电流１１０m A，矩阵５１２ˑ５１２，横截面像素分辨率０ ７m mˑ０ ７m m，螺距l m m，扫描层厚１m m，重建层厚０ ７m m；该组数据复杂且难以大量标记标签，不足以训练出可靠的分类模型.本研究采用肺结节分析１６(l u n g n o d u l ea n a l y s i s１６,L U N A１６)数据集[７]进行数据训练，其来源为肺部图像数据库联盟(l u n g i m a g ed a t a b a s ec o n s o r t i u m,L I D C)数据集，包括１０１０幅包含肺部病变的１０１８组C T图像，去除切片厚度大于３m m㊁切片不一致及部分缺失的图像，最后保留８８８幅，构成L U N A１６数据集.由３~４名具有５年以上工作经验的放射科医师分别标注并复核图像(图
像格式D I C OM)，明确肺结节的中心位置及直径.共采集１７０例已标注的可用样本㊁４４４个结节，包括１５１个良性结节和２９３个恶性结节；恶性结节中,１９６个影像学与病理学诊断一致,９７个以病理学诊断为标准.根据肺结节最大直径分为３组:＞１５m m为大结节；直径ȡ５m m且ɤ１５m m为中等结节；直径在＜５m m为小结节.经实验[８]验证，选取４０ˑ４０ˑ２６的３D图像块可将结节完全包含在内，这种方法可增大对于小结节的感受野，提升小结节检出率.
训练方法:①预处理L U N A１６数据集;②提取８０％数据集训练三维模型;③以增强后的数据集训练微调后的模型;④以剩余２０％数据集作为测试集，验证网络模型性能.每经过１００００次训练保存一个模型，共进行５００００次训练，出现过拟合时提前停止训练.采用五折交叉验证，每折验证随机抽样，按照４ʒ１划分数据集，取验证集的５次准确率的平均值作为结果.
采用训练准确率(t r a i n i n g a c c u r a c y,T r a i n A c c)及过拟合比率(o v e r f i t t i n g r a t i o,O v e r R a t i o)评价网络模型.T r a i n A c c(％)＝正确检测图像的数量/训练集图像的总量ˑ１００;O v e r R a t i o＝T r a i n A c c/验证集准确率.
１ ５㊀评估标准㊀采用准确率(a c c u r a c y,A C C)㊁敏感度(s e n s i t i v i t y,S N)㊁特异度(s p e c i f i c i t y,S P)及无限制受试者特征(f r e eＧr e s p o n s e r e c e i v e r o p e r a t i n g c h a r a c t e r i s t i c,F R O C)曲线下面积(a r e au n d e rt h e c u r v e,A U C)评估实验结果[９].S N越高，误诊率越低;S P越高，漏诊率越低;A U C越大，检测效能越好.２㊀结果与分析
２ １㊀数据集㊀随训练次数增加,T r a i n A c c明显提高, O v e r R a t i o逐渐下降，于３００００次时趋于稳定，且模型的训练效能最优，见表２.提取L U N A１６中数据集，共分成１０个子集，各子集及子集中所含肺结节的切片数量等分布情况见表３.
表２㊀不同训练次数结果
训练次数T r a i n A c c(％)O v e r R a t i o
１００００７２．１５１．３２
２００００８５．３２１．２２
存车牌３００００９３．４８１．０７
４００００９３．４５１．１４
５００００９３．４９１．１２
图３㊀
基于权值的迁移学习方法训练及测试网络模型流程图
图４㊀不同尺寸肺结节检测结果实例(箭示结节)
２ ２㊀实验结果㊀由三维立方体
横切面下不同大小肺结节检测的效果图(图４)可见，本方案检测大㊁中肺结节的准确率达
９７ ２８％,
检测小结节准确率达９２ ３１％，提示多尺度特征三维网络模型可有效检出不同大小肺结节，适用性较强.
２ ３㊀实验结果对比㊀将本方案
与既往研究[１０Ｇ１４
]所用检测方法进行比较，以进一步评估其可行性，结果见表４.K H O S R A V A N
等[１０
]将密集连接块加入网络结构，以避免丢失低层信息，但未引入迁移学习，准确率略低.Z HU
等[１１]将双路径块及U Ｇn e t 解码器加入３D C N N 中,
以获得更详细的结节特征，但数据量略少，敏
感度略低.D O U 等[１
２]提出以混合损失的三维全卷积网络模型检测肺结节，特异度较高而敏感度
略低.A K R AM 等[１
３Ｇ１４]采用传统方法检测肺结节，整体性能低于D L 方法.
３㊀结论
本研究在保证数据量的基础上实现了相对较好的检测效能，综合效能优于传统方法；引入多尺度特征结构及迁移学习训练后,
表３㊀各子集中含肺结节数
参数子集
０
１
２
３
４
５
６
７
８
９
总样本数目８９８９８９８９８９８９８９８９８８８８含有结节的样本数目６７
６１
５６
６５
６２
５４
６３
５４
６０
５９
所含结节切片的均值
１３．２３１６．６１１８．５４１４．４４１５．６２１４．７１１４．８７１４．１５１８．２３１３．８６最大数目３５５４６０４９７０７０７０４６５９４６最小数目３３３３３３４４３４总数目
８８５１０１６１０３６９３８９７２７９８９３５７６３１０９４８１９
表４㊀不同肺结节检测方法
第一作者虹膜识别芯片
数据集
S N (％)S P (％)A C C (％)A U C
算法类型K H O S R A V A N [
１０]
P u b l i cL I D C －I D R I ;s c a n s :６６２
９０．７２９１．５６９３．２８０．９３D L Z HU [
１１]
P u b l i cL I D C －I D R I ;s c a n s :３９１８８．６３９０．９１９２．６３０．９１D L D O U
[１２]壁挂燃气锅炉
P u b l i cL I D C －I D R I ;s c a n s :６４８８６．５４９３．９２９０．１７０．９０D L
A K R AM [１３]P u b l i cL I D C －I D R I ;s c a n s :１８３８５．１７８３．５８８７．６７０．８３统计模式识别G U P T A [
１４]P u b l i cL I D C －I D R I ;s c a n s :８００
８３．５２８９．２５８４．９４０．８４区域增长本研究
P u b l i cL U N A １６;s c a n s :１６８８
９２．４３
９４．６４
９５．８１
０．９４
迁移学习和D L
评价指标高于已有D L 方法，可在保证高敏感度及低假阳率基础上自动精确检出肺结节.
基于迁移学习的多尺度３D C N N 检测不同大小
肺结节的准确率均较好.应用迁移学习思想训练网络模型，并微调网络模型结构以提取图像特征，可解决少量数据难以训练深度模型以及数据集过小所致过拟合问题.通过逐层迁移训练可提高小样本条件下检测准确率，引入数据增强变换后，随机梯度下降算法自动更新学习率进行仿真实验，可提高网络结构的特征提取能力和抗过拟合性.
肝素钠提取技术
[参考文献]
１ ㊀马圆 王风 韩勇 等敭基于深度信念网络检测P E T C T 图像肺结节良恶性 J 敭中国医学影像技术 ２０２０ ３６ １
７７Ｇ８０敭 ２ ㊀李国和 乔英汉 吴卫江 等敭深度学习及其在计算机视觉领域中的应用 J 敭计算机应用研究 ２０１９ ３６ １２ ３５２１Ｇ３５２９ ３５６４敭 ３ ㊀唐思源 刘燕茹 杨敏 等敭基于C T 图像的肺结节检测与识别 J 敭中国医学物理学杂志 ２０１９ ３６ ７
８００Ｇ８０７敭 ４ ㊀徐胜舟 程时宇敭基于全卷积神经网络迁移学习的乳腺肿块图像分割 J 敭中南民族大学学报 自然科学版 ２０１９ ３８ ２ ２７８Ｇ２８４敭 ５ ㊀徐胜舟
程时宇敭基于空洞卷积密集连接网络的左心室M R 图像分割方法 J 敭中南民族大学学报 自然科学版
２０２０ ３９ ５
５２４Ｇ５３１敭
６ ㊀李雅迪敭基于三维卷积神经网络模型的肺癌C T 图像识别 D 敭
西安 陕西师范大学 ２０１８ １４Ｇ１６敭人工智能建站
７ ㊀赵玥敭基于迁移学习和卷积神经网络的肺结节检测方法研究 D 敭大连 东北财经大学 ２０１８ ２５Ｇ２７敭
８ ㊀唐思源 杨敏 白金牛敭基于深度卷积神经网络的肺结节检测与识别 J 敭科学技术与工程 ２０１９ １９ ２２ ２４１Ｇ２４８敭 ９ ㊀马圆
韩鸿毅 孙燕北 等敭基于非下采样双树复轮廓波变换的小波纹理特征识别肺良恶性结节C T 图像 J 敭
中国医学影像技术 ２０１９ ３５ ２
２７２Ｇ２７６敭 １０ ㊀K H O S R A V A N N B A G C I U敭S ４N D S i n g l e Ｇs h o ts i n g
l e Ｇs c a l e l u n g n
o d u l ed e t e c t i o n E B O L 敭 ２０１８Ｇ０５Ｇ０６ ２０１９Ｇ１１Ｇ０８ 敭h t t p e x p o r t 敭a r x i v 敭o r g
a b s １８０５ ０２２７９敭 １１ ㊀Z HU W T L I UCC F A N W e t a l 敭D e e p L u n g D e e p ３
Dd u a l p a t h n e t s f o r a u t o m a t e d p u l m o n a r y n
o d u l e d e t e c t i o n a n d c l a s s i f i c a t i o n E B O L 敭 ２０１８Ｇ１Ｇ２５ ２０１９Ｇ１１Ｇ０８ 敭h t t p
s a r x i v 敭o r g
a b s １８０１ ０９５５５敭 １２ ㊀D
O U Q C H E N H Y U LQ e t a l 敭M u l t i Ｇl e v e l c o n t e x t u a l ３ＧD C N N s f o r f a l s e p o s i t i v e r e d u c t i o n i n p u l m o n a r y n
o d u l ed e t e c t i o n J 敭I E E ET r a n sB i o m e dE n g ２０１６ ６４ ７ １５５８Ｇ１５６７敭 １３ ㊀A K R AM S J A V E D M Y A K R AM M U e ta l 敭P u l m o n a r y
n o d u l e sd e t e c t i o na n dc l a s s i f i c a t i o nu s i n g h y
b r i df e a t u r e sf r o m
c o m p u t e r i z e
d t o m o g r a p h i c i m a g
e s J 敭J M e dI m a g H
e a l t hI n ２０１６ ６ １
２５２Ｇ２５９敭 １４ ㊀G U
P T A A S A A R T MA R T E N S O e t a l 敭A u t o m a t i c d e t e c t i o no fm u l t i s i z e p u l m o n a r y n o d u l e s i nC Ti m a g e s L a r g
e Ｇs c a l ev a l i d a t i o n o ft h e
f a l s e Ｇp o s i t i v er e d u c t i o ns t e p J 敭M e d P h y s ２０１８ ４５ ３ １１３５Ｇ１１４９敭
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议