一种基于病变权重特征图的黑素瘤识别方法

1.本发明涉及计算机视觉中图像处理的技术领域，具体涉及一种基于病变权重特征图的黑素瘤识别方法。

背景技术：

2.黑素瘤是目前已知的最为致命的皮肤癌症，死亡人数约占到皮肤癌死亡人数的75%。研究发现，早期诊断可以大幅度降低患者的死亡率，因此黑素瘤的早期识别诊断十分重要。皮肤镜检查是一种非创伤性的皮肤成像技术，它一定程度上帮助专家诊断识别黑素瘤。但是，手动检测对于训练有素的专家仍然是一项十分耗时且容易出错的工作。因此，值得开发一种可靠的黑素瘤自动识别系统来提高专家诊断黑素瘤的准确率和效率。
3.从皮肤镜中自动识别出黑素瘤是一个具有挑战性的任务。第一，皮损区域和正常皮肤区域的差异性不是很大，所以很难准确精细地将皮损区域分割出来。第二，黑素瘤病变和非黑素瘤病变之间具有高度相似性，很难区分黑素瘤病变和非黑素瘤病变。第三，皮肤镜检查带来部分影响，有些皮肤镜图像中会存在气泡、标尺等，同时皮肤镜检查也可能会产生伪影，这些影响加大了黑素瘤识别的难度。第四，患者皮肤状况的变化，例如毛发、静脉等等，会使黑素瘤的颜质地等方面产生差异。
4.现阶段，关于用深度学习识别黑素瘤的研究越来越多，例如alexnet、vggnet、googlenet、resnet等都是十分著名的网络模型。但是上述网络模型存在参数量大、计算量大等问题，并且需要大量的数据进行训练才能获得十分理想的效果，这需要考虑黑素瘤皮肤镜图像数据集难以收集的问题。

技术实现要素：

5.为了克服传统网络模型参数量大，在提取特征时不能获取精细的多尺度特征等问题，本发明提供一种基于病变权重特征图的黑素瘤识别方法，有效提高黑素瘤皮肤镜图像自动识别的速度和精度。
6.为解决上述技术问题，本发明采用如下技术方案：一种基于病变权重特征图的黑素瘤识别方法，包括：获取预处理后的皮肤镜图像；将皮肤镜图像输入预先训练获得的fa(特征注意力，feature attention)-mobilenet神经网络，输出初步识别结果；对初步识别结果进行可视化处理，将可视化结果输入病变权重指数(lesion weight index, lwi)模块进行处理，获得病变权重特征图；将病变权重特征图输入所述fa-mobilenet神经网络，输出最终识别结果。
7.进一步地，所述fa-mobilenet神经网络通过以下步骤训练得到：获取黑素瘤皮肤镜图像数据集d1；
对数据集d1中的所有皮肤镜图像进行预处理，得到数据集d2；分别使用几何变换和像素点操作对数据集d2进行数据扩充，得到数据集d3和d4；将数据集d3和d4分别输入fa-mobilenet神经网络中进行训练，得到对应的两种初步识别结果；对两个初步识别结果进行可视化处理，得到初步可视化图a1和a2，对a1和a2对应像素点进行求均值操作，得到初步可视化结果a；利用病变权重指数模块对a进行处理，得到病变权重特征图；将病变权重特征图再次送入fa-mobilenet神经网络中进行训练，得到最终识别结果。
8.进一步地，所述fa-mobilenet神经网络包括主干模块、特征融合模块、分类模块和平均法处理模块，所述主干模块对输入图像提取不同分辨率的特征图，选取若干不同分辨率的特征图送入特征融合模块，所述特征融合模块对输入的不同分辨率的特征图进行特征融合得到若干分辨率相同的特征图并将其输入分类模块，所述分类模块对输入的特征图进行分类，获得对应若干分类结果，所述平均法处理模块对获得的分类结果进行均值计算得到识别结果。
9.进一步地，所述主干模块包括依次连接的卷积层、bneck1，bneck2，bneck3，bneck4，bneck5，bneck7，bneck11，bneck13和bneck*，所述主干模块是通过将mobilenetv3_large网络原有的15个倒置残差块去除一部分，留下bneck1，bneck2，bneck3，bneck4，bneck5，bneck7，bneck11，bneck13，同时删除原有mobilenetv3_large网络中最后的卷积层和平均池化层，并在bneck13后面再加上一个注意力倒残差块bneck*得到的，其中bneck4，bneck5，bneck13和bneck*添加有融合通道和空间的注意力机制模块，bneck2，bneck4，bneck7，bneck11，bneck13和bneck*分别用于提取不同尺寸的特征图。
10.进一步地，所述bneck4，bneck5，bneck13和bneck*提取特征的步骤包括：通过1*1逐点卷积操作对输入的特征图进行升维，再经过批量归一化和激活函数操作，得到第一特征图；采用深度可分离卷积对第一特征图提取特征，再经过批量归一化和激活函数操作，得到第二特征图；通过注意力机制模块对第二特征图进行处理获得注意力图；利用1*1逐点卷积对所得注意力图进行降维，使输出的维度和最初输入的特征图的维度相似；将最初输入的特征图和降维后的注意力图的对应像素点进行相加，再经过批量归一化和激活函数操作，获得总的输出特征图。
11.进一步地，所述bneck4，bneck5，bneck13和bneck*中的注意力机制模块，包括通道注意力机制模块和空间注意力机制模块：在通道注意力机制模块中，对所述第二特征图进行全局平均池化操作后，送入1*1卷积层降维，经过relu激活函数后再次送入1*1卷积层升维，再经过批量归一化操作得到通道注意力图；在空间注意力机制模块中，使所述第二特征图依次经过一个1*1卷积、两个3*3膨胀卷积、一个1*1卷积操作后，再经过批量归一化操作获得空间注意力图；
将通道注意力图和空间注意力图调整为相同大小后相加，再经过hard_sigmoid激活函数得到融合注意力图。
12.进一步地，所述主干模块选取分辨率为8*8，16*16，32*32的特征图作为特征融合模块的输入，所述特征融合模块对输入的不同分辨率的特征图进行特征融合，包括：对分辨率为8*8的特征图进行上采样，同时对分辨率为16*16的特征图进行1*1卷积操作，之后再将两者的对应像素点进行相加，然后再经3 * 3的卷积融合，得到分辨率为16*16的新特征图；将新特征图作为输入进行上采样，同时对分辨率为32*32的特征图进行1*1卷积操作，之后再将两者的对应像素点进行相加，然后再经3 * 3的卷积融合，获得分辨率为32*32的新特征图；对融合后的分辨率为16*16的新特征图和32*32的新特征图分别进行卷积操作，卷积核为3*3，步长为2，直到两个新特征图的分辨率都变为8*8。
13.进一步地，所述分别使用几何变换和像素点操作对数据集d2进行数据扩充，包括：对数据集d2中所有黑素瘤图像分别进行垂直旋转和逆时针旋转45
°
变换操作，将所得图像和d2中原有图像保存，得到数据集d3；对d2中所有黑素瘤图像分别进行高斯模糊和加入椒盐噪声变换操作，将所得图像和d2中原有图像保存，得到数据集d4。
14.进一步地，所述利用病变权重指数模块对a进行处理，包括以下步骤：对可视化图a进行归一化操作；获得图像病变区域中心点到边界轮廓的欧式距离，并对各距离段赋予不同权重值，得到距离特征图s；将a和s对应像素点进行乘法操作，得到病变权重特征图。
15.进一步地，所述距离特征图s通过以下步骤得到：到病变区域的最小面积外接圆的中心点，将其定义为病变区域中心；将最小面积外接圆的半径r平均划分成二十等份，以病变区域中心到病变像素的距离划分出20个距离段；将每个距离段赋予[0,1]之间的不同权重值，离病变区域中心最近的距离段赋予1，每个距离段的权重依次递减0.05，以此得到距离特征图s。
[0016]
本发明的有益技术效果：（1）本发明方法通过几何变换和像素点操作两种不同类型的数据集扩充方式增强了模型的鲁棒性；（2）fa_mobilenet属于轻量级网络模型，可以大大减少模型的参数量，提高网络模型的速度；（3）在特征提取阶段，通过选取不同分辨率的特征图进行特征融合和融合通道和空间的注意力机制的方法，能够获得更加精细的多尺度特征图，提高了网络模型的分类准确度。
附图说明
[0017]
图1为本发明实施例的fa-mobilenet神经网络训练方法流程图；
图2为本发明实施例的fa-mobilenet神经网络框架图；图3为本发明实施例的注意力倒残差块框架图；图4为本发明实施例的分类模块框架图；图5为本发明实施例的损失函数图；图6为本发明实施例利用grad-cam方法获得分类结果可视化图；图7为本发明实施例与其他方法的评价指标比较示意图。
具体实施方式
[0018]
下面结合具体实施例对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0019]
本发明实施例提供了一种基于病变权重特征图的黑素瘤识别方法，包括以下步骤：获取预处理后的皮肤镜图像；将皮肤镜图像输入预先训练获得的fa-mobilenet神经网络，输出初步识别结果；对初步识别结果进行可视化处理，将可视化结果输入病变权重指数模块进行处理，获得病变权重特征图；将病变权重特征图输入所述fa-mobilenet神经网络，输出最终识别结果。
[0020]
在使用模型识别和对模型训练时，采集的皮肤镜图像都需要进行预处理，预处理过程相同，具体见下述步骤s2。
[0021]
在本发明实施例中，预先对fa-mobilenet神经网络进行训练，如图1所示，具体包括如下步骤：s1，获取黑素瘤皮肤镜图像数据集d1；获取专业的黑素瘤皮肤镜图像数据集d1，共有900张图像，其中包括黑素瘤皮肤镜图像173张和非黑素瘤皮肤镜图像727张。
[0022]
s2，对数据集d1中的所有皮肤镜图像进行预处理，得到数据集d2；分别使用几何变换和像素点操作对数据集d2进行数据扩充，得到数据集d3和d4；预处理包括：对数据集d1中的所有皮肤镜图像利用形态学方法进行毛发去除，同时也去除了一部分图像上的气泡、标尺标记等遮挡物；之后对去除掉毛发的图像进行对比度增强操作，以扩大病变区域和正常皮肤之间的区别。
[0023]
其中，利用形态学方法对皮肤镜图像进行毛发去除操作，包括以下步骤：将皮肤图像按照原图长宽比例重新定义大小，得到图像b1；将rgb图像b1进行灰度处理得到灰度图像b2；对b2进行black hat操作，并利用阈值分割得到掩膜图像b3；利用插值填充方法对图像b1中发缝部分（即b3的空白区域）进行填补。
[0024]
由于数据集中黑素瘤皮肤镜图像相较于正常良性病变图像的数量较少，分别使用几何变换和像素点操作对d2进行数据扩充，使得黑素瘤图像和非黑素瘤图像的数量之比在1:n(1《n≤1.8)，得到两个数据集d3和d4。
[0025]
其中，利用几何变换和像素点操作对数据集d2进行扩充，包括以下步骤：对d2中所有黑素瘤图像分别进行垂直旋转和逆时针旋转45
°
变换操作，将所得
图像和d2中原有图像保存，得到数据集d3；对d2中所有黑素瘤图像分别进行高斯模糊和加入椒盐噪声变换操作，将所得图像和d2中原有图像保存，得到数据集d4。
[0026]
在本实施例中，通过数据扩充使黑素瘤图像和非黑素瘤图像的数量之比在1:1.4左右。
[0027]
更具体地，步骤s2包括：s21，通过自定义的keep_image_open函数把数据集d1中任意尺度的图像按原比例统一至512*512像素，其中多余部分用黑来填充，并且图像格式统一为jpg格式；s22，通过cv2库中的cvtcolor函数将统一大小的rgb图像转化成灰度图像；之后进行black hat操作，并利用阈值分割得到掩膜图像；之后利用插值填充的方法将发缝部分进行填充，得到去除毛发后的图像；s23，通过transforms库中自带的colorjitter函数将图像病变区域和正常皮肤区域之间的对比度增强；s24，通过isbi2016_isic_part3b_training_groundtruth.csv文件中的标签信息对173张黑素瘤图像进行数据扩充，利用几何变换中的垂直翻转变化和逆时针旋转45
°
两种方式获得一个数据集，存放到文件夹中，并将原来的900张图像复制到该文件夹内，获得共1246张图像的数据集d3，其中黑素瘤图像和非黑素瘤图像数量之比接近1:1.4；同时利用像素点操作中的高斯模糊和加入椒盐噪声两种操作获得另一个数据集，放入另一个文件夹，并将原来的图像复制到文件夹中，得到数据集d4。
[0028]
s3，将数据集d3和d4分别输入fa-mobilenet神经网络中进行训练，得到对应的两种初步识别结果；构建fa-mobilenet神经网络对两个数据集d3和d4分别进行训练。如图2所示，fa-mobilenet包括主干模块、特征融合模块、分类模块和平均法处理模块。
[0029]
如图2所示，主干模块包括依次连接的3*3的卷积层、bneck1，bneck2，bneck3，bneck4，bneck5，bneck7，bneck11，bneck13和bneck*，其中bneck3和bneck4图中未画出。主干模块是通过将mobilenetv3_large网络中原有倒置残差块结构改为注意力倒残差块得到的，具体为：将mobilenetv3_large网络原有的15个倒置残差块去除一部分，留下bneck1，bneck2，bneck3，bneck4，bneck5，bneck7，bneck11，bneck13，其中bneck2，bneck4，bneck7，bneck11，bneck13这五个用来提取不同尺寸的特征图，在bneck4，bneck5，bneck13倒置残差块中添加融合通道和空间的注意力机制模块将其变为注意力倒残差块，以提高注意力倒残差块提取特征的能力，在bneck13后面再加上一个注意力倒残差块bneck*，同时删除原有mobilenetv3_large网络中最后的卷积层和平均池化层。
[0030]
在本实施例中，bneck2，bneck4，bneck7，bneck11，bneck13分别用于提取256*256、128*128、64*64、32*32、16*16的特征图，后面添加的注意力倒残差块bneck*用来提取8*8*160的特征图。
[0031]
将步骤s2获得的图像输入主干模块中提取图像特征信息，选取不同分辨率的特征图送入特征融合模块进行特征融合，再将融合得到的特征图分别送入分类模块进行分类识别得到若干分类结果，再利用平均法处理模块获得初步识别结果。具体如下：
s31，将步骤s2获得的图像送入到主干模块，提取不同分辨率的特征图；如图3所示，注意力倒残差块通过1*1逐点卷积操作提升输入的特征图的维度，之后进行批量归一化和激活函数；用深度可分离卷积对得到的特征图提取特征，之后经过批量归一化和激活函数；接着通过注意力机制模块来获得注意力图；利用1*1逐点卷积来降低所得注意力图的维度，保证输出的维度和最初输入的图像的维度相似；最后再用一个跳跃连接结构来复用特征，对最初输入的特征图和降维后的注意力图的对应像素点进行相加，再经过批量归一化和激活函数来获得总的输出特征图。
[0032]
其中，注意力倒残差块使用的激活函数有三种：hard_sigmoid，relu6和hard_swish，其中hard_sigmoid激活函数只在注意力机制模块中使用，bneck1，bneck2，bneck3这三个注意力倒残差块使用的激活函数是relu6，其余注意力倒残差块使用的是hard_swish激活函数，hard_swish激活函数的计算公式为：注意力倒残差块中bneck4，bneck5，bneck13以及后续添加的bneck*注意力倒残差块中加入了融合通道和空间的注意力机制模块来获得注意力图。如图3所示，注意力机制模块具有左右两个分支，左支结构是通道注意力机制模块，对获得的特征图进行全局平均池化操作后，送入1*1卷积层降维，在经过relu激活函数后再一次送入1*1卷积层升维，最后经过批量归一化操作后得到通道注意力图；右支结构是空间注意力机制模块，对获得的特征图进行1*1卷积来整合和压缩通道维度的特征映射，之后经过两个3*3的膨胀卷积来增大感受野，然后再用一个1*1卷积来升维，最后经过一个批量归一化操作获得空间注意力图；将左支得到的通道注意力图和右支得到的空间注意力图调整为相同大小后，使其对应位置的元素相加，以此获得通道和空间相融合的效果；最后经过hard_sigmoid激活函数得到注意力图，计算公式为：力图，计算公式为：力图，计算公式为：力图，计算公式为：其中，是输入的特征图，是通道注意力图，是空间注意力图，m(f)是获得的注意力图，f是卷积操作，它的上标代表卷积核大小，下标代表使用顺序，ms(f)中的两个1*1卷积用于改变通道维度，中间的3*3膨胀卷积用于聚合具有更大感受野的上下文信息，bn是批量归一化操作，relu6和h_sigmoid都是激活函数，avgpool是全局平均池化操作。
[0033]
s32，经过主干模块处理后选取3个不同分辨率的特征图作为特征融合模块的输
入；如图2所示，选取bneck11，bneck13和bneck*输出的3个不同分辨率的特征图，分辨率分别是32*32，16*16，8*8 ，将这3个特征图输入特征融合模块。
[0034]
s33，特征融合模块对输入的3个特征图进行特征融合；如图2所示，利用最邻近插值法对分辨率为8*8的特征图进行上采样，同时对分辨率为16*16的特征图进行1*1卷积操作，以此来确保两者的分辨率和通道数是完全一致的，之后将两者的对应像素点进行相加，然后再用3 * 3的卷积融合来消除上采样过程带来的重叠效应，得到分辨率为16*16的新特征图；之后将新特征图作为输入进行上采样，同时对分辨率为32*32的特征图做卷积操作，通过上述相同的方式进行特征融合获得分辨率为32*32的新特征图。
[0035]
对融合后的分辨率为16*16和32*32的新特征图分别进行卷积操作，卷积核为3*3，步长为2，直到两个新特征图的分辨率都变为8*8。
[0036]
s34，将处理得到的3个分辨率为8*8的特征图送入到分类模块进行分类识别，得到3个分类结果；分类模块如图4所示，首先利用1*1的单位卷积、批量归一化、h_swish激活函数这三个操作来对它进行升维操作，将特征图的通道变成960，因此就能得到更高维度的特征，在预测时有更多更丰富的特征来满足预测；利用平均池化使得特征图变小，之后再同样利用单位卷积、批量归一化、h_swish激活函数这三个操作来对它进行升维的操作，使通道数变成1280，将平均池化操作放在前面可以使单位卷积作用于更小的特征图，那么网络运行的速度可以大大提升；之后再利用一个1*1的卷积来获得二分类结果。
[0037]
s35，将获得的3个分类结果输入平均法处理模块，通过平均法计算得到初步分类识别结果。
[0038]
s4，对两个初步识别结果进行可视化处理，得到初步可视化图a1和a2，对a1和a2对应像素点进行求均值操作，得到初步可视化结果a；在本实施例中，利用grad-cam方法分别对两个初步识别结果进行可视化处理。
[0039]
s5，利用病变权重指数模块对初步可视化结果a进行处理，得到病变权重特征图；该步骤具体包括：对a进行归一化操作；获得图像病变区域中心点到边界轮廓的欧式距离，并对各距离段赋予不同权重值，得到距离特征图s；将a和s对应像素点进行乘法操作，得到病变权重特征图t。
[0040]
其中，获得距离特征图s的方法，具体如下：s51，到病变区域的最小面积外接圆的中心点，将其定义为病变区域的中心o；其中，病变区域的最小面积外接圆的获取方法，包括：首先提取不规则病变区域的轮廓；然后根据迭代算法查轮廓的最小面积外接圆，并且返回最小面积外接圆的中心点o和半径r。
[0041]
s52，将最小面积外接圆的半径r平均划分成二十等份，以病变区域中心到病变像素的距离划分出20个距离段；s53，将每个距离段赋予[0,1]之间的不同权重值，离病变区域中心最近的距离段
赋予1，每个距离段的权重依次递减0.05，以此得到距离特征图s。
[0042]
s6，将病变权重特征图再次送入fa-mobilenet神经网络中进行训练，得到最终识别结果。
[0043]
为了验证本发明方法的有效性，现运用一个实验例对本发明进行验证说明，具体如下：数据集：使用isbi 2016年挑战赛的数据集并对其进行扩充，初始训练集共有900张图像，其中黑素瘤皮肤镜图像有173张，非黑素瘤图像有727张。
[0044]
实验参数：batch大小设置为8，迭代次数epoch设置为400，学习率初始值设为0.0001，并且每迭代5次，学习率衰减为原来的0.6倍。
[0045]
实验环境：显卡：nvidia geforce rtx 2080 ti，处理器：intel core i7-9700k，python 3.8，pytorch 1.5.0。
[0046]
实验结果：如图5所示，将病变权重特征图5次送入到本发明的fa_mobilenet神经网络中进行精细识别并获得其训练损失值，计算损失值均值可发现，损失函数在迭代次数为400左右时基本收敛；利用grad-cam方法将分类结果可视化，如图6所示，可以看出本发明提出的方法可以较为准确的将黑素瘤病变区域给出来，并且对它进行分类。
[0047]
为客观评价分类效果，本实验例采用网络训练参数、平均准确率、精确率、召回率和f1-score这五个常用评价指标来评估分类效果。其中，网络参数量用于评估方法速度，准确率、精确率、召回率和f1-score用于评估方法分类精度。
[0048]
图7为本发明与其他常用的分类方法(mobilenetv3_large,mobilenetv3_small,vgg16,resnet34)在黑素瘤皮肤镜图像数据集上的测试效果对比，整体上来看本发明方法效果最好。可以看出本发明方法平均准确率为89.2%，比检测效果较好的vgg16方法还要高上2.37个百分点；虽然精确率不是最高的，但仍然在在90%之上，有着较好的结果；同时本发明方法的召回率和f1-score是最高的，这说明本方法可以较为准确的识别出黑素瘤；网络结构是基于轻量级的mobilenetv3_large进行改进的，网络训练的参数量只有38.1m，虽然比参数量最小的mobilenetv3_small多了31.6m，但是仍然发挥了它轻量级的优势，此方法可以在保证较高的黑素瘤皮肤镜图像分类精度的同时实现快速的检测。
[0049]
本发明的基于病变权重特征图的黑素瘤识别方法，通过改进的fa-mobilenet神经网络对皮肤镜图像进行分类识别，在主干模块中的注意力倒残差块中选择性的加入融合通道和空间的注意力机制模块，能够更好地将网络模型的注意力聚焦于黑素瘤病变区域；同时，选用不同分辨率的特征图进行特征融合操作，使网络能够更好的联系上下文信息，有效地提高了黑素瘤分类识别的精度；并且，采用两阶段的分类方法，第一阶段将预处理的皮肤镜图像送入到fa-mobilenet网络中进行初步分类，第二阶段将得到的初步分类结果送入到病变权重指数模块中进行一定处理获得病变权重特征图，并将病变权重特征图送入到fa-mobilenet中进识别，这种两阶段的分类识别方法可以有效地提高分类精度。
[0050]
以上已以较佳实施例公布了本发明，然其并非用以限制本发明，凡采取等同替换或等效变换的方案所获得的技术方案，均落在本发明的保护范围内。

技术特征：

1.一种基于病变权重特征图的黑素瘤识别方法，其特征在于，包括：获取预处理后的皮肤镜图像；将皮肤镜图像输入预先训练获得的fa-mobilenet神经网络，输出初步识别结果；对初步识别结果进行可视化处理，将可视化结果输入病变权重指数模块进行处理，获得病变权重特征图；将病变权重特征图输入所述fa-mobilenet神经网络，输出最终识别结果。2.根据权利要求1所述的一种基于病变权重特征图的黑素瘤识别方法，其特征在于，所述fa-mobilenet神经网络通过以下步骤训练得到：获取黑素瘤皮肤镜图像数据集d1；对数据集d1中的所有皮肤镜图像进行预处理，得到数据集d2；分别使用几何变换和像素点操作对数据集d2进行数据扩充，得到数据集d3和d4；将数据集d3和d4分别输入fa-mobilenet神经网络中进行训练，得到对应的两种初步识别结果；对两个初步识别结果进行可视化处理，得到初步可视化图a1和a2，对a1和a2对应像素点进行求均值操作，得到初步可视化结果a；利用病变权重指数模块对a进行处理，得到病变权重特征图；将病变权重特征图再次送入fa-mobilenet神经网络中进行训练，得到最终识别结果。3.根据权利要求1所述的一种基于病变权重特征图的黑素瘤识别方法，其特征在于，所述fa-mobilenet神经网络包括主干模块、特征融合模块、分类模块和平均法处理模块，所述主干模块对输入图像提取不同分辨率的特征图，选取若干不同分辨率的特征图送入特征融合模块，所述特征融合模块对输入的不同分辨率的特征图进行特征融合得到若干分辨率相同的特征图并将其输入分类模块，所述分类模块对输入的特征图进行分类，获得对应若干分类结果，所述平均法处理模块对获得的分类结果进行均值计算得到识别结果。4.根据权利要求3所述的一种基于病变权重特征图的黑素瘤识别方法，其特征在于，所述主干模块包括依次连接的卷积层、bneck1，bneck2，bneck3，bneck4，bneck5，bneck7，bneck11，bneck13和bneck*，所述主干模块是通过将mobilenetv3_large网络原有的15个倒置残差块去除一部分，留下bneck1，bneck2，bneck3，bneck4，bneck5，bneck7，bneck11，bneck13，同时删除原有mobilenetv3_large网络中最后的卷积层和平均池化层，并在bneck13后面再加上一个注意力倒残差块bneck*得到的，其中bneck4，bneck5，bneck13和bneck*添加有融合通道和空间的注意力机制模块，bneck2，bneck4，bneck7，bneck11，bneck13和bneck*分别用于提取不同尺寸的特征图。5.根据权利要求4所述的一种基于病变权重特征图的黑素瘤识别方法，其特征在于，所述bneck4，bneck5，bneck13和bneck*提取特征的步骤包括：通过1*1逐点卷积操作对输入的特征图进行升维，再经过批量归一化和激活函数操作，得到第一特征图；采用深度可分离卷积对第一特征图提取特征，再经过批量归一化和激活函数操作，得到第二特征图；通过注意力机制模块对第二特征图进行处理获得注意力图；利用1*1逐点卷积对所得注意力图进行降维，使输出的维度和最初输入的特征图的维
度相似；将最初输入的特征图和降维后的注意力图的对应像素点进行相加，再经过批量归一化和激活函数操作，获得总的输出特征图。6.根据权利要求5所述的一种基于病变权重特征图的黑素瘤识别方法，其特征在于，所述bneck4，bneck5，bneck13和bneck*中的注意力机制模块，包括通道注意力机制模块和空间注意力机制模块：在通道注意力机制模块中，对所述第二特征图进行全局平均池化操作后，送入1*1卷积层降维，经过relu激活函数后再次送入1*1卷积层升维，再经过批量归一化操作得到通道注意力图；在空间注意力机制模块中，使所述第二特征图依次经过一个1*1卷积、两个3*3膨胀卷积、一个1*1卷积操作后，再经过批量归一化操作获得空间注意力图；将通道注意力图和空间注意力图调整为相同大小后相加，再经过hard_sigmoid激活函数得到融合注意力图。7.根据权利要求3所述的一种基于病变权重特征图的黑素瘤识别方法，其特征在于，所述主干模块选取分辨率为8*8，16*16，32*32的特征图作为特征融合模块的输入，所述特征融合模块对输入的不同分辨率的特征图进行特征融合，包括：对分辨率为8*8的特征图进行上采样，同时对分辨率为16*16的特征图进行1*1卷积操作，之后再将两者的对应像素点进行相加，然后再经3 * 3的卷积融合，得到分辨率为16*16的新特征图；将新特征图作为输入进行上采样，同时对分辨率为32*32的特征图进行1*1卷积操作，之后再将两者的对应像素点进行相加，然后再经3 * 3的卷积融合，获得分辨率为32*32的新特征图；对融合后的分辨率为16*16的新特征图和32*32的新特征图分别进行卷积操作，卷积核为3*3，步长为2，直到两个新特征图的分辨率都变为8*8。8.根据权利要求2所述的一种基于病变权重特征图的黑素瘤识别方法，其特征在于，所述分别使用几何变换和像素点操作对数据集d2进行数据扩充，包括：对数据集d2中所有黑素瘤图像分别进行垂直旋转和逆时针旋转45
°
变换操作，将所得图像和d2中原有图像保存，得到数据集d3；对d2中所有黑素瘤图像分别进行高斯模糊和加入椒盐噪声变换操作，将所得图像和d2中原有图像保存，得到数据集d4。9.根据权利要求2所述的一种基于病变权重特征图的黑素瘤识别方法，其特征在于，所述利用病变权重指数模块对a进行处理，包括以下步骤：对可视化图a进行归一化操作；获得图像病变区域中心点到边界轮廓的欧式距离，并对各距离段赋予不同权重值，得到距离特征图s；将a和s对应像素点进行乘法操作，得到病变权重特征图。10.根据权利要求9所述的一种基于病变权重特征图的黑素瘤识别方法，其特征在于，所述距离特征图s通过以下步骤得到：到病变区域的最小面积外接圆的中心点，将其定义为病变区域中心；
将最小面积外接圆的半径r平均划分成二十等份，以病变区域中心到病变像素的距离划分出20个距离段；将每个距离段赋予[0,1]之间的不同权重值，离病变区域中心最近的距离段赋予1，每个距离段的权重依次递减0.05，以此得到距离特征图s。

技术总结

本发明公开了一种基于病变权重特征图的黑素瘤识别方法，包括：获取预处理后的皮肤镜图像；将皮肤镜图像输入预先训练获得的FA-MobileNet神经网络，输出初步识别结果；对初步识别结果进行可视化，将可视化结果输入病变权重指数模块进行处理，获得病变权重特征图；将病变权重特征图再次输入所述FA-MobileNet神经网络，输出最终识别结果。本发明基于病变权重特征图对图像进行了两次识别，同时FA-MobileNet模型具有轻量化特点，能够获取精细的多尺度特征，有效提高了黑素瘤识别的精度和速度。和速度。和速度。