一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法

1.本发明涉及人工智能和生物信息学技术领域，具体地，涉及一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法。

背景技术：

2.肝癌是一种常见的疾病，在我国肝癌的发病率和死亡率都非常高，70％-80％的患者初诊时已为不可切除状态，尽管不少患者在肝癌早期得到了诊断和，但它的复发性仍然很高，对于肝癌的中晚期的患者，其预后情况不容乐观；如果癌症扩散到了周边的淋巴结，患者的5年生存率只有11％。当癌症扩散到其他器官后，5年生存率更是只有3％,因此，肝癌的早期诊断和筛查对于肝癌患者的预后极为重要。
3.组织病理学图像是从微观上反映出癌细胞的生存状态和分化程度，因此，组织病理学切片的组织学检查是诊断和分级肝癌的黄金标准，传统上，病理学家通常使用显微镜观察组织病理学图像，全幻灯片图像(wsis)是肝癌患者上取出的组织病理学图像，用来分析癌症和其他疾病迹象的大量组织样本，这些图像可能有数十亿像素大小，随着数字图像技术的发展，病理学家可以通过显示器远程的观察病理学图像来确定敏感区域和恶性程度，目前，深度学习技术已被广泛的用于组织病理学图像的分割和分类中，并展示出优于现有方法的性能；可以用于对全幻灯片图像(wsis)构建分类数据集和分割数据集，多标签诊断框架(mldf-tr)是深度学习的网络模型框架，包括分类网络和分割网络，分类网络用于完成分类任务，分割网络用于完成风割任务；然而，现有技术中的病理学家的主观判断有时会受到经验的影响，局部的视野的往往会干扰全幻灯片图像(wsis)的诊断，为了实现客观诊断，使用计算病理学的方法对图像定量分析至关重要，组织图像的分类和分割是分析肝癌微环境的第一步，例如，通过分类任务得到肿瘤间质比等相关量化信息，通过分割任务得到组织图像敏感区域的分布，这有助于构建肿瘤亚型和患者生存的预后组织学特征。因此，组织学图像分类技术和分割技术在癌症的计算机辅助诊断和分级系统中起着重要的作用，现有技术中，通过其他技术辅助肝癌组织全幻灯片片的肿瘤微环境分析方法存在着各种各样的局限性，特征提取效果较差，存在训练效率低和退化的问题，分析预测的精确度，敏感度和特异性效果较差，对数据集的分类和分割效果不好，因此，亟需设计一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法。

技术实现要素：

4.为了解决上述问题，本发明的目的是提供一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法，解决了现有技术中通过其他技术辅助肝癌组织全幻灯片的肿瘤微环境分析方法存在着各种各样的局限性，特征提取效果较差，存在训练效率低和退化等问题，分析预测的精确度，敏感度和特异性效果较差以及对数据集的分类和分割效果不好的技术问题，为未来的分割工作提供了基准。
5.为了实现上述目的，本发明的技术方案如下：
6.依据本发明的一个方面，提供了一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法，包括以下步骤：
7.s1.对肝癌组织的全幻灯片图像进行数据收集和预处理；
8.s2.使用多标签诊断框架辅助全幻灯片图像完成分类任务；
9.s3.使用多标签诊断框架辅助全幻灯片图像完成分割任务。
10.根据本发明上述方面的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法，其中s1包括以下步骤：
11.s11.从五名肝癌患者身上取出五张全幻灯片图像，构建分类数据集和分割数据集；
12.s12.使用翻转和平移预处理方法对分类数据集和分割数据集进行数据预处理。
13.根据本发明上述方面的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法，其中s2包括以下步骤：
14.s21.将步骤s11的全幻灯片图像进行切片，划分区域并整理成多标签的数据集；
15.s22.利用slsr网络对全幻灯片图像的切片进行特征提取和分类；
16.s23.利用slsr模型统计出切片中不同标签的数量，进而计算肿瘤间质比。
17.根据本发明上述方面的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法，其中s21包括以下步骤：
18.s211.将五张全幻灯片图像切分成大小为224
×
224的小切片，共获得68175张小切片；
19.s212.将步骤s211中的小切片中涉及两个区域的小切片贴上两个标签；
20.s213.将小切片中的每一类的切片数据的比例范围控制在1:3的之内；
21.s214.将小切片中的将不同种类的切片整理成多标签的数据集。
22.根据本发明上述方面的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法，其中s22包括以下步骤：
23.s221.将融合了swin变压器模块、局部深度卷积模块、se模块和残差神经网络的分类网络，命名为slsr网络；
24.s222.切片先通过补丁分割模块生成不重叠的补丁，每个补丁被视为一个令牌，所有令牌，经过线性映射将输划分后的patch特征维度变成任意维度c；
25.s223.进行阶段1：将任意维度c送入swin变压器模块，局部深度卷积模块对patch特征维度进一步学习，将多通道的特征图传递给se layer，生成新的特征图；
26.所述s223包括以下步骤：
27.s2231.swin变压器模块包括移位的不重叠窗口，将注意力限制在每个窗口内，减少注意力机制产生的计算量；
28.s2232.局部深度卷积模块对swin变压器提取的特征进行图像重构，并在多通道中进行卷积运算，生成的特征图传递给下一层；
29.s2333.se模块再利用从通道中获取的对应的权重系数向量与原特征图向量矩阵进行点积，并生成一个具有代表性的特征图。
30.s224.依次进行阶段2、阶段3和阶段4，阶段2、阶段3和阶段4与阶段1的主体结构是相似的；
31.s225.进行阶段5，通过残差神经网络承担切片图像的分类功能。
32.根据本发明上述方面的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法，其中s223包括以下步骤：
33.s2231.swin变压器模块包括移位的不重叠窗口，将注意力限制在每个窗口内，减少注意力机制产生的计算量；
34.s2232.局部深度卷积模块对swin变压器提取的特征进行图像重构，并在多通道中进行卷积运算，生成的特征图传递给下一层；
35.s2333.se模块再利用从通道中获取的对应的权重系数向量与原特征图向量矩阵进行点积，并生成一个具有代表性的特征图。
36.根据本发明上述方面的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法，其中s23包括以下步骤：
37.s231.利用训练好的slsr模型对肝癌组织病理学图像进行准确分类，包括统计出全幻灯片图像中不同标签的数量；
38.s232.通过标签的数量计算肿瘤间质比,肿瘤间质比计算公式如下：
[0039][0040]
式中，c
t
是一类中仅有单个标签且是肿瘤；c
′
t
是一类中有两个标签，其中一个是肿瘤；ci是一类中仅有单个标签且是组织间液；c
′
t
是一类中有两个标签，其中一个是组织间液。
[0041]
根据本发明上述方面的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法，其中s3包括以下步骤：
[0042]
s31.将步骤s11的全幻灯片图像进行分割切片处理；
[0043]
s32.采用基于cnn的模型和变压器模型对切片进行分割网络处理；
[0044]
s33.分割网络对数据集进行测试，对切片进行预测分割。
[0045]
根据本发明上述方面的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法，其中s31包括以下步骤：
[0046]
s311.将步骤s11的全幻灯片图像随机选择四张作为训练，一张用作测试；
[0047]
s312.将全幻灯片图像下采样缩放到原来的四分之一；
[0048]
s313.使用滑动窗口将全幻灯片图像切分成224
×
224的小切片，13322张用于训练集,3916张用于测试集；
[0049]
s314.在测试阶段,将预测得到的小切片标签按照原来的位置合并，通过上采样插值成初始全幻灯片图像的形状，再计算其评价指标。
[0050]
根据本发明上述方面的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法，其中s32包括以下步骤：
[0051]
s321.采用基于cnn模型的全卷积网络fcn、unet系列、res-unet系列以及convnext系列对切片进行分割；
[0052]
s322.采用基于变压器模型的transunet、swin-unet、transfuse以及medical对切片图像进一步的提取和分割。
[0053]
采用上述技术方案，本发明具有以下优点：
[0054]
1.本发明提供了一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法，通过使用深度学习技术对肝癌组织全幻灯片图像进行分类和分割，通过多标签诊断框架(mld-tr)来初步分析肝肿瘤的微环境，为未来的分割工作提供了基准。
[0055]
2.本发明中的分类网络使用swin变压器模块，局部深度卷积模块，se模块和残差神经网络的来构建分类网络slsr，局部深度卷积模块对swin变压器模块提取的特征进行图像重构，局部深度卷积模块将特征图高效的传递给se模块并与原图生成新的特征图，依次进行阶段1、阶段2、阶段3和阶段4，最后通过残差神经网络承担切片图像的分类功能，并在实施例中通过大量的实验比较了diet,t2t-vit,pvt,tnt,swin变压器和crossover等模型在多标签数据集上的分类性能，并通过消融实验证明了深度卷积模块和se模块在分类网络中的作用，为未来的分割工作提供了基准。
[0056]
3.本发明在基于cnn模型和基于变压器模型的分割网络中对全幻灯片图像进行分割，通过大量的实验，最后探索出resunet能够达到目前最好的分割效果，为未来的分割工作提供了基准。
附图说明
[0057]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
[0058]
图1是本发明框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法的流程图；
[0059]
图2是本发明分类网络框架；
[0060]
图3是本发明分割网络框架；
[0061]
图4是本发明基于cnn网络和基于变压器网络在测试集上分割wsis的可视化结果。
具体实施方式
[0062]
以下结合实施例对本发明的技术方案进行具体说明，在具体实施方式中详细叙述本发明的详细特征以及优点，其内容足以使任何本领域技术人员了解本发明的技术内容并据以实施，且根据本说明书所揭露的说明书、权利要求及附图，本领域技术人员可轻易地理解本发明相关的目的及优点。
[0063]
如图1所示，一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法，包括以下步骤：
[0064]
s1.对肝癌组织的全幻灯片图像进行数据收集和预处理；
[0065]
s11.实验通过从5名肝癌患者上取出5张全幻灯片图像(wsis)构建分类数据集和分割数据集，其中，分类数据集是多标签图像；分割数据集是由单标签图像组成。
[0066]
s12.实验使用翻转和平移方法对分类数据集和分割数据集进行数据预处理。
[0067]
s2.使用多标签诊断框架辅助全幻灯片图像完成分类任务具体如图2所示；
[0068]
s2包括以下步骤：
[0069]
s21.将步骤s11的全幻灯片图像进行切片，划分区域并整理成多标签的数据集；
[0070]
其中s21包括以下步骤：
[0071]
s211.步骤s21的分类的任务上，将五张全幻灯片图像切分成大小为224
×
224的小
切片，共获得68175张小切片；
[0072]
s212.由于部分切片图像会涉及两个区域，我们将涉及步骤s211中的两个区域的切片贴上两个标签；
[0073]
s213.由于坏死的切片数量较少，为了避免数据集中样本的不均衡带来的影响，我们将每一类的切片数据控制在1:3的比例范围之内，以防止训练生成的诊断模型产生过拟合的现象，将不同种类的切片整理成多标签的数据集。
[0074]
s22.利用slsr网络对全幻灯片图像的切片进行特征提取和分类；
[0075]
s22包括以下步骤：
[0076]
s221.将融合了swin变压器模块、局部深度卷积模块(ldc)、se模块和残差神经网络的分类网络，命名为slsr网络，提出了一个结合swin变压器模块、局部深度卷积模块(ldc)和se模块的分类网络，命名为sls网络，
[0077]
s222.rgb的病理学图像的切片先通过补丁分割模块生成不重叠的补丁，每个补丁被视为一个令牌，每个补丁被视为一个令牌，其特征被设置为原始像素rgb的拼接，在分类任务的实验中，切片大小是4
×
4，每个切片的特征维度是4
×4×
3＝48，补丁的数量为h/4
×
w/4；所有令牌通过线性嵌入层的卷积计算投影到任意维度(记为c)，所有令牌经过线性映射将输划分后的patch特征维度变成任意维度c；
[0078]
s223.进行阶段1：经过线性映射将输划分后的补丁特征维度变成c，然后送入swin变压器模块，局部深度卷积模块对特征进一步学习，将多通道的特征图传递给se模块，生成新的特征图，随着网络层数的加深，阶段1与阶段2之间的切片融合层用来减少令牌的数量，第一个切片融合层将相邻的每组2
×
2个切片的特征进行拼接，切片块的数量就变成了h/8 x w/8，并将拼接后的4c维特征送入线性层处理，生成2c维特征。
[0079]
其中，swin变压器模块包括一个基于移动窗口的标准多头自注意力(msa)模块，然后是一个中间带有gelu非线性的2层mlp，在每个msa模块和每个mlp模块前加ln(layernorm)层，在每个模块后加剩余连接，swin变压器的一个重要的设计是移位的不重叠窗口(shifted windows)，它可以大幅降低算法的复杂度，让算法随着输入的大小呈线性的增长；同时由于不同的滑动窗，不重叠窗口的设计对硬件更加友好，从而具有更快的实际运行速度，假设一个基于h
×
w个patch图像的窗口的计算复杂度为：
[0080]
φ＝4hwc2+2m2hwc
[0081]
其中，前者是补丁hw的二次函数，后者在m固定(默认为7)时是线性函数。为了解决缺乏跨窗口连接问题带来的影响，移位窗口分区方法在相邻swin变压器模块中交替进行。在自我注意力机制中，我们引入现有的方法来计算相似性，其每个头部包含相对位置偏差b：
[0082][0083]
式中是查询矩阵、键矩阵和值矩阵；d为查询/key维度，m2为一个窗口中的补丁数。
[0084]
然而，由于swin变压器的注意力机制只捕获令牌之间的全局依赖关系。swin变压器没有对相邻像素之间的局部依赖关系进行建模分析，局部深度卷积是一种将局部性引入网络的有效方法，局部深度卷积模块是由卷积层，batch normalization层和h_swish激活
层组成，8c维度的标记序列首先被重塑在2d格上重新排列的特征映射，然后，再输入到二维卷积层中，k
×
k(k》1)的卷积核在多通道中将特征集合起来，计算出一个新的特征，以学习更丰富的特征表示，并将生成的特征图往下一层传递。
[0085]
局部深度卷积后的特征图将会传递给squeeze-and-excitation networks进行关键性的操作。首先，squeeze操作，顺着空间维度来进行特征压缩，将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数相匹配，它表征着在特征通道上响应的全局分布，而且使得靠近输入的层也可以获得全局的感受野，可表示为：
[0086][0087]
主要是将h
×w×
c的特征转换成1
×1×
1的输出，其次是提取操作，它是一个类似于循环神经网络中门的机制。通过参数w来为每个特征通道生成权重，其中参数w被学习用来显式地建模特征通道间的相关性。最后是一个调整权重的操作，将提取的输出的权重看作是经过特征选择后的每个特征通道的重要特征，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定。
[0088]
s224.依次进行阶段2、阶段3和阶段4，阶段2、阶段3和阶段4与阶段1的主体结构是相似的，其处理的切片的数量分别是h/8 x w/8，h/16 x w/16，h/32 x w/32，且这些切片在不同阶段中的维度依次是2c，4c,8c。
[0089]
s225.进行阶段5，通过残差神经网络承担切片图像的分类功能，残差神经网络作为整个分类网络的分类模块，其残差连接可有效地解决网络退化的问题，加速结果的收敛，使分类的结果更快，其次，残差网络也是为了防止过拟合，随机的丢弃部分神经元的作用，在一定程度上解决了数据集小和模型大的情况下出现的过拟合问题。
[0090]
s23.利用slsr模型统计出切片中不同标签的数量，进而计算肿瘤间质比。
[0091]
其中s23包括以下步骤：
[0092]
s231.受益于mldf-tr框架中的slsr网络在细胞间质，坏死，non_肿瘤和肿瘤上分别达到0.9460,0.9960,0.9808,0.9847的准确率，因此，我们可以利用训练好的slsr模型对肝癌组织病理学图像进行准确分类，包括统计出wsis中不同标签的数量。
[0093]
s232.由于我们网络是可以进行多标签分类的，通过标签的数量计算肿瘤间质比,肿瘤间质比计算公式如下：
[0094][0095]
上式中，c
t
是一类中仅有单个标签且是肿瘤；c
′
t
是一类中有两个标签，其中一个是肿瘤；ci是一类中仅有单个标签且是组织间液；c
′
t
是一类中有两个标签，其中一个是组织间液。
[0096]
因此，这种分类方法为医生分析肿瘤生存的微环境提供了一个可参考的量化指标，同时也减少了患者在生物检测中的痛苦，多标签诊断框架中可以帮助医生直观的观察到组织病理学图像中的敏感区域，并用不同的颜来区分非癌症，癌症，坏死和组织间液区域，因此，通过肿瘤间质比和wsis分割的效果图，我们可以对肝癌肿瘤微环境进行初步的分
析。
[0097]
s3.使用多标签诊断框架辅助全幻灯片图像完成分割任务具体如3所示，其中s3包括以下步骤：
[0098]
s31.将步骤s11的全幻灯片图像进行分割切片处理；
[0099]
其中s31包括以下步骤：
[0100]
s311.将步骤s11的全幻灯片图像随机选择4张wsis作为训练，1张wsis用来测试；
[0101]
s312.由于5张wsis中只有1张含有坏死区域，这使得无法正常计算坏死区域的分割效果。为了提升计算效率，将wsis下采样缩放到原来的四分之一；
[0102]
s313.使用滑动窗口将全幻灯片图像切分成224
×
224的小切片，13322张用于训练集,3916张用于测试集，在测试阶段会将预测得到的小切片标签按照原来的位置合并，再通过上采样插值成初始wsis的形状，再计算其评价指标。
[0103]
s314.在测试阶段,将预测得到的小切片标签按照原来的位置合并，通过上采样插值成初始全幻灯片图像的形状，再计算其评价指标。
[0104]
s32.采用基于cnn的模型和变压器模型对切片进行分割网络处理；
[0105]
s32包括以下步骤：
[0106]
s321.采用基于cnn模型的全卷积网络fcn、unet系列、res-unet系列以及convnext系列对切片进行分割；其中，fcn网络是语义分割的基本框架，后续的算法部分基于这个框架改进而来。u-net是一种特殊的全卷积网络，它包括两个部分：第一部分，特征提取；第二部分是上采样部分，每上采样一次，就和特征提取部分对应的通道数相同尺度融合，但是融合之前要将其裁剪；由于网络结构像u型，所以叫u-net网络，res-unet模型由对称式残差模块组成，convnext系列是一种纯卷积神经网络。
[0107]
s322.基于变压器的分割模型的核心架构仍然是encoder-decoder的结构，只不过相比于传统的以cnn为主导的编码器结构，全部由变压器来进行替代，采用基于变压器模型的主要有以下四种：transunet、swin-unet、transfuse以及medical，它们对切片图像进一步的提取和分割。
[0108]
s33.分割网络对数据集进行测试，对切片进行预测分割。
[0109]
在一个具体的实施例中，对于分类任务，实验选择精确率、召回率、f1分数、准确率、混淆矩阵和roc曲线来全面评价模型的性能，精确率代表正确正样本占预测正样本的百分比；召回率代表正确正样本占预测正确样本的百分比；f1分数是对精确率和召回率的综合评价；准确率代表正确样本占预测样本的百分比；混淆矩阵代表每一种标签的正确和错误的概率；roc曲线中的真正率(tpr)和假正率(fpr)反映了模型的预测能力，鉴于slsr网络是多标签分类网络，实施例对slsr网络在每一个标签上进行仔细分析和讨论，在分割任务中，实验使用dice-similarity系数(dice)和准确率来评估模型的泛化能力,dice是医学分割任务中使用频率最高的度量指标，是一种集合相似度度量，通常用于计算两个样本的相似度，越接近1效果越好；11种分类网络在数据集上测试得到细胞间质的精确率、召回率、f1分数、准确率的值如下表1所示：
[0110]
表1. 11种分类网络在测试集上得到标签细胞间质的测试结果
[0111][0112]
从表1可以看出，swin vit在召回率,f1分数,准确率上分别达到0.9515、0.9471、0.9487，超过了其他所有分类网络性能，swin+ls在精确率上达到0.9443，优于其他分类网络的分类效果；因此，在分类细胞间质上，swin变压器模块模型在提升分类精确度，敏感度和特异性上起着重要的作用。
[0113]
表2统计了11个分类网络在数据集上测试得到细胞间质的精确率、召回率、f1分数和准确率的值。
[0114]
表2. 11种分类网络在测试集上得到标签坏死的测试结果
[0115][0116]
从表2可以看出，crossvit分类网络在精确率上达到了0.9895，可能是由于交叉注意力的学习，提升了模型的分类性能，slsr在召回率上达到了0.9963；swin vit在上f1分数上达到了0.9896；t2t+ls在准确率上达到了0.9973，因为slsr和swin vit中有大量的swin变压器模块，可以帮助模型提升性能，t2t的分类效果在所有的模型中排名倒数，但是，t2t+ls的性能较好，可能是ls模块起到了关键的作用，帮助了t2t模型在特征提取中获取关键的特征信息。
[0117]
表3统计了11个分类网络在数据集上测试得到正常组织的精确率、召回率、f1分数和准确率的值。
[0118]
表3. 11种分类网络在测试集上得到标签正常组织的测试结果
[0119][0120]
从表3可以看出，slsr在精确率、召回率、f1分数和准确率上分别以0.9776,0.9807,0.9791，0.9808优于其他10个分类网络，这是可能是因为swin变压器模块中的移位的不重叠窗口有助于特征提取，局部深度卷积模块(ldc模块)在更加关注相邻像素之间的关系，并将特征并行的、多通道的传递个se模块，se模块再次提取特征图中的有效信息与原始图相结合，生成新的特征图。其次，deit，tnt，t2t，swin vit，crossvit的预测精度和敏感度不高，可能是因为这些模型在特征提取上没有达到最佳效果。
[0121]
表4统计了11个分类网络在数据集上测试得到肿瘤的精确率、召回率、f1分数和准确率的值。
[0122]
表4. 11种分类网络在测试集上得到标签肿瘤的测试结果。
[0123][0124][0125]
从表4可以看出，crossvit+ls在精确率上达到了0.9827，然而，crossvit+ls在精确率、召回率、f1分数和准确率上都略高于crossvit，这是因为ls模块在特征提取中发挥了关键的作用，slsr在召回率、f1分数和准确率上分别达到了0.9838、09832、0.9847，这可能是swin变压器模块和ls模块的作用使得slsr达到最佳的分类网络的性能。
[0126]
在一个具体的实施例中，表5描述了8种分割网络在测试数据上得到的准确率和dice。
[0127]
表5.分割模型在数据集上的测试结果的统计。
[0128][0129]
从表5可以看出，基于cnn的分割网络在性能上几乎优于基于变压器的模型，res-unet在dice上达到了0.86，超过了其他分割网络的测试结果，swinunet在准确率上达到0.9525，优于其他的分割网络，由于res-unet将unet的每一个子模块分别替换为具有残差连接和密集连接的形式，使特征提取和图像恢复的效果更佳。swin变压器模块使用层次化，对称化的构建方式构建swinunet；其次，引入局部注意力的思想，对无重合的窗口区域内进行自注意力计算，因此，res-unet和swinunet是分割wsis较好的方法。
[0130]
图4展示了8种分割网络在测试集上分割的可视化结果；可视化结果更加直观的反映出wsis上不同标签的位置，分别将癌症区域、组织区域和组织间液区分开来，由于坏死部分在这张wsis中没有，分割模型就未对wsis进行预测分割，通过8张预测分割后的wsi，我们发现fcn、convnext-unet、transunet、swinunet、transfuse、medical transformer分割wsis后出现局部不清晰、边角不平滑和分割错误的现象，然而，基于u-net，res-unet分割wsis的效果要好一些，在实验选择的8个模型中，res-unet达到最佳的分割效果。综上所述，res-unet可作为分割wsis的标准分割网络。
[0131]
在一个具体的实施例中，为了评估深度卷积模块对模型的slsr网络的影响，我们将slsr网络中的深度卷积模块去掉，训练新的模型，并用新的模型得到预测结果，具体如下表6所示：
[0132]
表6.深度卷积模块对slsr网络的影响
[0133][0134]
从表6可以看出，去除lcd模块的新模型仅在细胞间质上得到的准确率超过slsr模型，slsr模型在坏死、正常组织和肿瘤上预测的准确率分别超过新模型的0.0015，0.0049和0.0024，这可能是因为lcd模块在特征提取上发挥了重要的作用，虽然slsr模型对细胞间质预测准确率降低，但是模型对其他标签的预测准确率都在上升，因此，我们认为lcd模块是slsr网络的核心组成部分。
[0135]
为了评估深度卷积模块对模型的slsr网络的影响，我们将slsr网络中的se模块去掉，训练新的模型，并用新的模型得到预测结果如表7所示：
[0136]
表7.评估se模块对slsr网络的影响
[0137][0138]
从表7可以看出，去除se模块的新模型仅在细胞间质上得到的准确率超过slsr模型。slsr模型在坏死，正常组织和肿瘤上上预测的准确率分别超过新模型的0.0006，0.0009，0.0006可能是因为se模块在特征提取上发挥了重要的作用，虽然slsr模型对细胞间质预测准确率降低，但是slsr模型对其他标签的预测准确率都在上升，因此，我们认为se模块是slsr网络的核心组成部分。
[0139]
最后，需要指出的是，虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，在不脱离本发明构思的前提下还可以做出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本发明的权利要求书范围内。

技术特征：

1.一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法，其特征在于，包括以下步骤：s1.对肝癌组织的全幻灯片图像进行数据收集和预处理；s2.使用多标签诊断框架辅助全幻灯片图像完成分类任务；s3.使用多标签诊断框架辅助全幻灯片图像完成分割任务。2.根据权利要求1所述的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法，其特征在于，所述s1包括以下步骤：s11.从五名肝癌患者身上取出五张全幻灯片图像，构建分类数据集和分割数据集；s12.使用翻转和平移预处理方法对分类数据集和分割数据集进行数据预处理。3.根据权利要求2所述的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法，其特征在于，所述s2包括以下步骤：s21.将步骤s11的全幻灯片图像进行切片，划分区域并整理成多标签的数据集；s22.利用slsr网络对全幻灯片图像的切片进行特征提取和分类；s23.利用slsr模型统计出切片中不同标签的数量，进而计算肿瘤间质比。4.根据权利要求3所述的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法，其特征在于，所述s21包括以下步骤：s211.将五张全幻灯片图像切分成大小为224
×
224的小切片，共获得68175张小切片；s212.将步骤s211中的小切片中涉及两个区域的小切片贴上两个标签；s213.将小切片中的每一类的切片数据的比例范围控制在1:3的之内；s214.将小切片中的将不同种类的切片整理成多标签的数据集。5.根据权利要求3所述的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法，其特征在于，所述s22包括以下步骤：s221.将融合了swin变压器模块、局部深度卷积模块、se模块和残差神经网络的分类网络，命名为slsr网络；s222.切片先通过补丁分割模块生成不重叠的补丁，每个补丁被视为一个令牌，所有令牌经过线性映射将输划分后的patch特征维度变成任意维度c；s223.进行阶段1：将任意维度c送入swin变压器模块，局部深度卷积模块对patch特征维度进一步学习，将多通道的特征图传递给se layer，生成新的特征图；s224.依次进行阶段2、阶段3和阶段4，阶段2、阶段3和阶段4与阶段1的主体结构是相似的；s225.进行阶段5，通过残差神经网络承担切片图像的分类功能。6.根据权利要求5所述的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法，其特征在于，所述s223包括以下步骤：s2231.swin变压器模块包括移位的不重叠窗口，将注意力限制在每个窗口内，减少注意力机制产生的计算量；s2232.局部深度卷积模块对swin变压器提取的特征进行图像重构，并在多通道中进行卷积运算，生成的特征图传递给下一层；s2333.se模块再利用从通道中获取的对应的权重系数向量与原特征图向量矩阵进行点积，并生成一个具有代表性的特征图。
7.根据权利要求3所述的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法，其特征在于，所述s23包括以下步骤：s231.利用训练好的slsr模型对肝癌组织病理学图像进行准确分类，包括统计出全幻灯片图像中不同标签的数量；s232.通过标签的数量计算肿瘤间质比,肿瘤间质比计算公式如下：式中，c
t
是一类中仅有单个标签且是肿瘤；c
′
t
是一类中有两个标签，其中一个是肿瘤；c
i
是一类中仅有单个标签且是组织间液；c
′
t
是一类中有两个标签，其中一个是组织间液。8.根据权利要求2所述的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法，其特征在于，所述s3包括以下步骤：s31.将步骤s11的全幻灯片图像进行分割切片处理；s32.采用基于cnn的模型和变压器模型对切片进行分割网络处理；s33.分割网络对数据集进行测试，对切片进行预测分割。9.根据权利要求8所述的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法，其特征在于，所述s31包括以下步骤：s311.将步骤s11的全幻灯片图像随机选择四张作为训练，一张用作测试；s312.将全幻灯片图像下采样缩放到原来的四分之一；s313.使用滑动窗口将全幻灯片图像切分成224
×
224的小切片，13322张用于训练集,3916张用于测试集；s314.在测试阶段,将预测得到的小切片标签按照原来的位置合并，通过上采样插值成初始全幻灯片图像的形状，再计算其评价指标。10.根据权利要求8所述的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法，其特征在于，所述s32包括以下步骤：s321.采用基于cnn的模型的全卷积网络fcn、unet系列、res-unet系列以及convnext系列对切片进行分割；s322.采用基于变压器模型的transunet、swin-unet、transfuse以及medical对切片图像进一步的提取和分割。

技术总结

本发明公开了人工智能和生物信息学技术领域的一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法，该框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法包括以下步骤：对肝癌组织的全幻灯片图像进行数据收集和预处理；使用多标签诊断框架辅助全幻灯片图像完成分类任务；使用多标签诊断框架辅助全幻灯片图像完成分割任务。该框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法通过深度学习技术的多标签诊断框架对肝癌组织全幻灯片图像。断框架对肝癌组织全幻灯片图像。断框架对肝癌组织全幻灯片图像。