目前，通过病理检查对癌症进行诊断是一种常用的方法，它能够提供明确的疾病诊断，指导病人的。对病理图像进行人工分析本身是一件非常有挑战性的工作，一张病理切片通常包含数百万个细胞[1]，一名病理科医生一天需要分析许多病理图像，这给他们带来很大的工作负担，疲劳阅片现象时有发生[2-3]。同时，该领域内专家的培养速度赶不上病例的增加速度，将有限的、珍贵的人力资源大量投入到重复的病理图像的识别诊断中是非常可惜的。通过卷积神经网络[4]（Convolutional Neural Network，CNN）快速识别病理图像中的病变区域是本文的主要研究内容。 CNN是一种高效的学习方法，局部连接和权值共享的特点降低了网络模型的复杂程度，减少了需要学习的参数。将计算机辅助诊断应用于数字病理图像已经
胡伟岸1，邹俊忠1，郭玉成2，张见1，王蓓1
1.华东理工大学信息科学与工程学院，上海200237
藏文网2.清影医疗科技（深圳）有限公司，广东深圳518083
摘要：长时间的病理图像人工诊断会使医生产生视觉疲劳，误诊和漏诊情况容易发生。针对以上现象，提出一种结合卷积神经网络中多维度特征的方法，快速准确识别出病理图像中的病灶区域。使用感兴趣
区提取及图像裁剪获得小尺寸图块数据；使用染校正的方法以解决图块染不均，对比度弱等问题；搭建深度学习模型，使用多组深度可分离卷积提取不同尺度的特征，加入残差连接以避免梯度消失，联合不同维度的特征信息以提高特征利用率。实验结果表明，染校正能够提高预测准确率，上述模型具有参数少、鲁棒性强的特点，最终对病理图像病灶的识别均能达到较高的准确率，假阳性及假阴性均较低，未来将具有广泛的应用前景。
关键词：多维度；深度学习；卷积神经网络；深度可分离；染校正；病理图像；病灶
文献标志码：A中图分类号：TP391doi：10.3778/j.issn.1002-8331.2001-0126
Lesion Recognition Method of Pathological Images Based on Multidimensional Features
HU Wei’an1,ZOU Junzhong1,GUO Yucheng2,ZHANG Jian1,WANG Bei1
1.School of Information Science and Engineering,East China University of Science and Technology,Shanghai200237,China
2.Tsimage Medical Technology,Shenzhen,Guangdong518083,China
Abstract：Time-consuming artificial diagnosis of pathological images will cause visual fatigue of doct
ors,while both mis-diagnosis and missed diagnosis are easy to occur.In response to the above phenomena,a method combining multidimen-sional features of convolutional neural network is proposed to quickly and accurately identify lesion in pathological images. ROI extraction and image cutting is used to obtain small-scale block data.The method of stain correction is used to solve the problems of uneven staining and weak contrast in block data.A deep learning model is built,using several depthwise separable convolution to extract features of different dimensions,adding residual connection to avoid gradient disappear-ance,combining the feature information of different dimensions to improve feature utilization.The experimental results show that stain correction can improve prediction accuracy and the above model has the characteristics of few parameters and strong robustness.At the same time,the accuracy of lesion recognition in pathological images can reach a high level, while both false positive rate and false negative rate are low,so it will have a broad application prospect in the future.
Key words：multidimensional;deep learning;convolutional neural network;depthwise separable;stain correction;patho-logical image;lesion
基金项目：国家自然科学基金（61773164）；上海市自然科学基金（16ZR1407500）。
作者简介：胡伟岸（1994—），男，硕士研究生，研究领域为深度学习、医学图像处理，E-mail：****************；邹俊忠（1960—），男，博士，教授，博士生导师，研究领域为模式识别与智能系统应用；郭玉成（1989—），男，博士，研究领域为生物信息学、深度学习；张见（1976—），男，博士，工程师；王蓓（1976—），女，博士，副研究员。
收稿日期：2020-01-08修回日期：2020-05-19文章编号：1002-8331（2021）06-0144-08
得到了研究：在Cossatto等人[5]的研究中，采用人工提取特征，多实例学习的半监督胃癌检测与诊断方法；Spanhol等人[6]的研究中，在BreaKHis乳腺病理数据集上对图像提取了6种特征描述，之后使用机器学习方法对图像进行分类，最终整体准确率达到85%；Ciresan等人[7]使用有监督的深度神经网络作为分类器，以88%的查准率及70%的查全率赢得了ICPR2012有丝分裂检测竞赛；王莹等人[8]使用Alexnet及GoogLeNet对临床结直肠病理图像进行图块分类，获得91%的整体准确率。在Sharma等人[9]的研究中，使用了卷积神经网络，对小样本胃癌数据集的三个恶性级别进行了分类，并取得了良好的效果；Li等人[10]设计了一种基于CNN的胃癌自动识别框架，获得了97%的图块级别准确率；
基于多种结构的融合模型在胃癌病理图像上取得了较好的分类结果[11]；Coudray等人[12]使用基于Inception网络的架构，在对肺病理图像中肺组织及肺癌进行区分任务中获得良好的效果；迁移学习的应用在乳腺病理图像的自动分类中获得91%的图块识别准确率[13]；以上的研究均证明了卷积神经网络在数字病理图像研究中的实用性。然而，在上述研究中仍存在一些问题，影响了计算机辅助在实际中的应用，包括：手动提取图像特征的过程复杂；网络模型参数多，训练过程耗时；准确率有待提高。
另外，出于多种原因，如染原料差异、制备方法差异、图像保存时间长短等，病理图像所呈现的颜都会有所不同。为使得网络在学习时更加关注细胞的形态、结构和排列等特征，期望图像在输入网络前表现出较一致的颜。使用标准化染方案和自动染机可以通过产生更准确和一致的染来改善染质量。但是，很难避免所有的外在因素，使最终的染完全一致[14]。
针对上述问题，本文在预处理阶段采用了染校正的策略，在不改变原有形态特征的情况下，使图像表现出更加一致的颜；受文献[15]启发，本文提出一种结合多维度特征的卷积神经网络模型以自动提取病理图像特征，将CNN中包含纹理等信息的低维特征与包含丰富抽象语义信息的高维特征相结合，使用深度可分离卷积（Depth Wise Separable Convolution）降低模型参数量，减小了计算复杂度，并使用批量规范化（Batch Normalization，BN）及残差连接（Residual Connection）避免梯度消失，改善输出结果。实验结果表明：采用染校正的处理方法能够提高预测准确率；本文所提出的
CNN模型能够自动提取图像特征，且参数少训练快，最终能够达到较好的识别性能。在胃病理病灶识别任务中准确率达到98.67%，TCGA肝癌病理病灶识别任务中准确率达到97.4%，且假阳性及假阴性均较低，在病灶识别任务中能够媲美主流CNN模型所达到的效果。
1方法
传统的机器学习方法需要以人工提取特征为前提，特征的提取需要设计者具有深厚的专业背景及实际操作经验。然而，使用深度学习的方法能够直接从原始数据中提取特征，LeCun等人[4]提出了卷积神经网络，使用卷积核对输入图像进行多层卷积操作，逐层学习并在更高层直接对抽象的特征进行整合，最终通过图像的高层表征对其做出分类。目前优秀的深度学习分类模型有Vgg16[16]、Inception V3[17]、InceptionResnet V2[18]、Resnet50[19]、Densenet169[20]等。以上模型大多使用最后一个卷积层的feature map来进行分类，它们的缺点是往往在关注网络最后一层特征时忽略了其他层的特征。同时，上述模型在分类任务中能够取得较好的结果，通常是以消耗计算量和时间为代价的，这样以计算资源换取效果的策略在实际应用时常会受到局限。
有研究证明，深度学习模型的各层特征图侧重于不同类型的信息：由于所经过的卷积网络层较少，模型的低层特征图包含较多边缘、纹理等信息；在经过更多的卷积操作后，高层特征包含更多抽象的语义信息；结合浅层特征可以在一定程度上提升模型精度，将不同特征高效融合，是改善模型性能的关键[21]。因此，本文选择将多个维度的特征从top-down方向上采样为同一尺寸后进行融合。
1.1模型架构
本文所提出的结合多维特征的病灶识别模型结构如图1所示。
Bottom-top
特征学习
DepthwiseConv、
BN、maxpool
DepthwiseConv、
BN、relu
Conv、BN
DepthwiseConv、
BN、maxpool
DepthwiseConv、
BN、relu
Conv、BN
DepthwiseConv、
BN、maxpool
DepthwiseConv、
BN、relu
Conv、BN
DepthwiseConv、
BN、maxpool
DepthwiseConv、
BN、relu
Conv、BN
Conv、BN、relu
Conv、BN、relu
Data
Top-down
特征叠加
Model output
模型输出
softmax
2×
2×
2×
Global
Average
pooling 图1结合多维特征的病理图像病灶识别模型
图1中包含三个模块：Bottom-top特征学习模块、Top-down特征叠加模块及Modeloutput模型输出模块。
Bottom-top特征学习模块主要由普通卷积、深度可分离卷积及残差学习组成，通过多层卷积自动提取多维度特征。在普通卷积后依次添加BN层及线性整流函数（Rectified Linear Unit，ReLU）。
在对输入图像进行两次普通卷积后，改用深度可分离卷积继续提取特征。在一般卷积中，卷积核对特征图的三个维度进行学习。其中两个维度处于特征图的平面（高和宽），另一个维度处于特征图的通道方向（深度），卷积核能同时学习到特征图的平面相关性和通道相关性。将平面相关性和通道相关性分离开来，是Inception模块的重要思想[13]。在深度可分离卷积中，将卷积操作分为两个部分：首先将所有2维的卷积作用在特征图的每个单层通道上，平面相关性和通道相关性即达到了完全分离的效果，此步骤称为depth-wise卷积；然后使用1×1的卷积核对新的特征空间进行映射，此步骤被称为point-wise卷积，如图2（a）所示。使用深度可分离卷积能够降低模型参数。假设输入通道数为N，长宽均为Di，且输出通道数为M，长宽均为Do，卷积核的尺寸设置为k，使用普通卷积时参数量为：
M×N×k×k（1）
在使用深度可分离卷积过程中，depth-wise卷积参数量与point-wise卷积参数量分别为式（2）、（3）所示：N×k×k（2）
威海卫生365M×N（3）
深度可分离卷积与普通卷积的参数量之比为：
N×k×k+M×N M×N×k×k=1
M+
1
k×k（4）
由式（4）可以看出，两者的比值与输出通道及卷积核大小相关，在本文所使用模型中，M的取值包括128、256、512及1024，卷积核尺寸k均设置为3。因此，所使用的的深度可分离卷积参数量是普通卷积参数量的0.118、0.115、0.113及0.112倍。较少的参数量节省了模型训练及测试时间。
对于卷积神经网络，如果只是简单地堆叠网络层以增加网络深度，容易导致梯度弥散和梯度爆炸。为避免该问题的发生，在本文网络模型中增加了BN层及Residual connection。文中所使用的Residual connection结构如图2（b）所示。为保证F'(x)与F(x)在相加时尺寸相同，使用简单的1×1大小卷积层（步长为2）及全零填充（padding=same）对F'(x)的通道数进行匹配。在Residual connection中，F(x)是求和前网络映射，F'(x)是输入x 的简单映射，保留了x的大部分原有信息，三者关系如下：H(x)=F(x)+F'(x)（5）
Top-down特征叠加模块中，在自顶向下的方向对特征进行上采样，并与左侧相邻的残差输出进行连接，
如图2（c）中的1×1卷积被使用以匹配特征图的通道数量，本文中设置卷积核个数d=512。之所以选择将每个残差块的输出作为特征结合的因子是因为这些输出具有每个阶段最具代表性的特征，同时，邻近的特征较为相似并且重复使用这些特征会使得计算量成倍增长。由于网络的前两层卷积所包含浅层特征与原始图像较为相似，且尺寸过大，故不将其作为特征结合的因子。
特征图上采样能够使卷积核细致学习病理图像中的小特征。特征图上采样的处理可以简单理解为增加了特征映射的分辨率，使用相同卷积核在放大后的特征图进行操作时可以获取更多关于小目标的信息。
特征相加的方式采用主元素相加（add）而非特征图堆叠（concat）。add方式更加节省参数和计算量，如果使用concat，特征图通道数会是add方法的两倍，如此计算量会是一笔较大的开销。
在Modeloutput模块中，添加了全局平均池化层（Global Average Pooling，GAP），使用GAP可以对前一层的每一个特征图求平均值，保留全局信息，同时避免了全连接层（Fully Connected layer，FC layer）训练参数过多，耗时较长的缺点。在GAP层后添加2维的输出层，激活函数使用softmax，softmax的计算公式如下：
S i=e
V i
∑
j=1
k
e V j
（6）
其中，V i表示前级第i个单元的输出，i表示类别索引，总的类别个数为k。S i表示的是当前元素的指数与所有元素指数和的比值。通过这种方法，可以将神经元的输出映射到（0，1）区间内，当成概率来理解。对应于softmax，采用交叉熵（CrossEntropy）作为损失函数，当输出为两类时，交叉熵公式如下：
L=-[y ln y+(1-y)ln(1-y)]（7）其中，y代表真实样本标签，y代表样本标签为1
的概率。
（a）深度可分离卷积
（b）残差学习（c）上采样连接
图2部分模型结构
表1给出了本文深度神经网络主要层的参数设定以及输出。
在每层卷积层后分别包含BN层，ReLU及最大池化层。
1.2整体流程
本文所提出的病理图像病变区域检测的主要流程如图3所示。
模型训练阶段，计算机接收数字病理图像，在专家标注内进行图像切割，随后对切割出的图块进行染校正的操作，再对整个图块数据集进行数据增强，以提高模型的泛化能力，最后将图块数据输入所建CNN模型进行训练。
在对数字病理图像进行预测的过程中，首先自适应提取感兴趣区（Region of Interests，ROI），在ROI内进行图像切割；再进行染校正操作；然后使用CNN对各图块进行预测，计算图块属于病变区域的概率；最后根据图块坐标和预测概率在原始数字病理图像中进行标记，辅助医生进行最终诊断。
自适应ROI提取：使用掩膜进行分离是提取ROI的一种可靠方法。在本研究中，观察到不同病理图像呈现的主体颜存在差异，因此无法直接使用固定阈值对所有图像进行前、背景分离。本研究中采用
大津阈值法[22]（Otsu）自适应计算各图的阈值T,Otsu也称最大类间方差法，方差是灰度分布均匀性的一种度量，背景和前景之间的类间方差越大，说明构成图像的两部分的差别越大，当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此，使类间方差最大的分割意味着错分概率最小。以阈值T作为界限将灰度图像分为前景和背景。自适应计算方法公式如下：
w0+w1=1（8）
μ=w0×μ0+w1×μ1（9）
g=w0×(μ0-μ)2+w1×(μ1-μ)2（10）其中，w0、w1分别代表前景和背景像素占整幅图像的比例；μ0、μ1、μ分别代表前景、背景和整幅图像的平均灰度；g表示类间方差。将公式（9）代入公式（10），得到以下公式：
g=w0×w1×(μ0-μ1)2（11）
通过不断调整阈值T，使类间方差g获得最大值，对图像进行前、背景分离。
自适应提取ROI过程：计算原始图像的灰度图；使用大津阈值法获得掩膜；使用形态学闭运算（先膨胀再腐蚀），祛除掩膜中小黑点；剔除面积占整图比例较小区域；获得ROI。
滑动窗图像切割：在标注及ROI内，从上向下依次滑动，保存滑动窗口内的图块作为后续CNN的输入数据，滑动窗口的边长与步长相同，为1024像素。如果图块处于标注的病变区域内，则将其标记为阳性，标签为1；
Layer input Conv1 Conv2
残差块1 *
*
*
残差块2 *
*
*
残差块3 *
*
*
残差块4 *
*
*
特征结合1 *
*
*
特征结合2 *
*
特征结合3 *
*
GAP softmax
Type
*
卷积层
卷积层
卷积层
深度可分离
深度可分离
Add
卷积层
深度可分离
深度可分离
Add
卷积层
深度可分离
深度可分离
Add
卷积层
深度可分离
深度可分离
Add
卷积层
紫宸殿论坛上采样
卷积层
Add
上采样
卷积层
Add
上采样
卷积层
Add
GAP
softmax
Units
*
32
64
128
128
128
*
256
256
256
*
512
512
512
*
1024
1024
1024
*
512
*
512
*
*
512
*
*
512
*
*
*
Size
*
（3，3）
（3，3）
（1，1）
（3，3）
（3，3）
*
（1，1）
（3，3）
（3，3）
*
（1，1）
（3，3）
（3，3）
*
（1，1）
（3，3）
（3，3）
*
（1，1）
*
（1，1）
*
*
（1，1）
*
*
（1，1）
*
*
*
Output Size
（256，256，3）
（128，128，3）
（128，128，3）
（64，64，128）
（128，128，128）
（64，64，128）
（64，64，128）
（32，32，256）
（64，64，256）
（32，32，256）
（32，32，256）
（16，16，512）
（32，32，512）
（16，16，512）
（16，16，512）
（8，8，1024）
（16，16，1024）
（8，8，1024）
（8，8，1024）
（8，8，512）
（16，16，512）
（16，16，512）
（16，16，，512）
（32，32，512）
（32，32，512）
（32，32，512）
（64，64，512）
（64，64，512）
食品工业科技
（64，64，512）
512
2
表1深度神经网络每层参数以及输出训练集测试集
测试流程
训练流程
滑动窗图像切割
染校正
数据增强
训练
卷积神经网络梧桐树丰子恺
预测
自适应ROI提取
图3检测方法流程图
如果图块处于标注的正常区域内，则将其标注为阴性，标签为0。
数据增强：由于期待卷积神经网络在图块中提取的特征应该是方位不变的，数据增强包括对图块进行旋转、水平或垂直翻转、边缘裁剪和等比例缩放。染校正会对图像进行彩上的调整，为保留图像原本的纹理特征，数据增强过程未对图像的亮度和对比度做任何额外的调整。
染校正：染校正的目的是降低各图像之间的颜差异，使得卷积神经网络着重学习病理图像中细胞的排列和结构，组织的纹理等特征。本研究中采取Reinhard 颜迁移方法[23]将模板图像的内部颜特征应用于目标图像。RGB 各通道之间存在着一定的相关性，这意味着，如果要对图像的彩进行处理，常常需要对像素的三个通道同时进行修改才不会影响图像的真实感，这将大大增加颜调整过程的复杂性。
因此，在RGB 彩空间下进行彩变化会比较复杂，得到的视觉效果也不自然。本研究中，首先将各图像转移到Lab 彩空间中，Lab 彩空间不仅基本消除了颜分量之间的强相关性，而且有效地将图像的灰度信息和颜信息分离开来。所以可以分别对三个通道图像进行独立的运算，而不需要修改另外两个通道的信息，从而不会影响原图像的自然效果。彩空间转换过程如下：
éëêêùûúúL M S =éëêêùûúú0.38110.57830.04020.19670.72440.07820.02410.12880.8444éëêêùûúúR G B （12）éëêêùûúúL'M'S'=éëêêù
û
úúlg L lg M lg S （13）éëêêùûúúl αβ=
ë
êêêêêêêù
úúúúúúúú00016000éëêêùûúú11111-21-10éëêêùûúúL'M'S'（14）其中，R 、G 、B 代表像素点RGB 通道分量；L 、M 、S 代表像素点LMS 通道分量；
l 、α、β代表像素点Lab 通道分量。
此方法的主要思想是根据图像的统计分析确定一个线性变换，使得目标图像和模板图像在Lab 彩空间中有相同的均值和方差，计算公式如下：
éëêêùûúúL A B =éëêêêêêêêêù
ûú
úúúúúúúnl'nl (rl -ml )na'na (ra -ma )nb'nb (rb -mb )+éëêêù
ûúú
ml'ma'mb'（15）其中，
rl 、rα、rβ分别是源图像Lab 通道原有的数据，L 、A 、B 分别是变换后得到新的源图像Lab 通道的值，
ml 、
mα、mβ和ml'、mα'、mβ'分别是源图像和着图像的三个颜通道的均值，
nl 、nα、nβ和nl'、nα'、nβ'表示它们的标准方差。在获得L 、A 、B 后，通过公式（12）~（14）
获得染校正后新图像的RGB 通道数值。
经过染后的图像在不改变原有纹理特征的情况下，使得RGB 各通道有着更为相似的分布，有着类数据归一化的作用。图4所示为染前后的图像对比图。
2实验结果与分析
实验时，所使用的CPU 型号为3.4GHz 、16核
临床营养师AMD1950x ，内存容量为64GB ，GPU 为12GB 显存NVIDIA TITAN-V 。软件方面，使用Python 作为设计语言，配合openslide 、opencv 等视觉库进行代码编写。深度学习模型框架使用Keras 以完成对模型的构建、训练与预测。
实验过程中使用了不同数据集对本研究中的网络模型进行了验证，包括胃病理数据集和TCGA 肝癌公
开数据集。为了定量地评估染效果及不同算法的性能，采用了以下评价指标：分类准确率Accuracy ，敏感性Sensitivity ，特异性Specificity 。
Accuracy =TP +TN
TP +TN +FP +FN
×100%（16）
Sensitivity =TP TP +FN ×100%（17）
Specificity =TN
TN +FP
×100%（18）
其中，
TP 为真阳性图块数量，TN 为真阴性图块数量，FP 为假阳性图块数量，FN 为假阴性图块数量。
2.1特征可视化
本次研究中，为探究不同维度特征在病灶识别中的
意义，将Bottom-top 模块中常规卷积层及各残差块中最后深度可分离卷积层的输出特征进行可视化，如图5所示。
图5中，左侧为进行染校正后的病理图块；右侧为对当前图块进行不同卷积后的可视化特征图，每次卷积取两层特征图作为示例。为突出特征图的细节，将其颜风格设置为紫红以凸显对比度。可以观察到，在Con1、Conv2中，由于卷积处于浅层位置，特征图中仍能保留原始图像中的较多信息，大量纹理特征被学习；随着网络加深，Block1中特征图经过下采样，分辨率降低，
图4染效果图
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议