多期相融合的肝脏占位分割方法，模型、装置及存储介质与流程

1.本技术涉及医学图像处理技术领域，具体而言，涉及一种多期相融合的肝脏占位分割方法，装置及存储介质。

背景技术：

2.肝脏疾病主要分为弥漫性病变和占位性病变两种类型。肝脏弥漫性病变表现在整个肝脏表面，例如病毒性肝炎、脂肪肝和肝硬化等。肝脏占位性病变与弥漫性肝病不同，它仅仅表现在肝脏表面的一个小区域，病变区域难以确定，且病灶在超声图像上表现复杂、形状多变。肝脏占位性病变种类繁杂，常见的有肝细胞癌，是一种高死亡率的原发性肝癌，除此之外还包括肝血管瘤、肝囊肿、局灶性结节增生等。借助深度学习技术实现对肝脏占位性病变的辅助诊断，不仅能为医生诊断提供可靠的参考依据，还能减少医生工作量，对提高肝癌生存率、降低死亡率具有重要意义针对肝脏占位的分割，目前通常采用级联 fcn 分割框架，将分割问题划分成两步，首先训练一个fcn 模型对ct 图像中的肝脏区域进行分割，将目标区域缩小到肝脏，再将分割出来的肝脏区域作为第二个 fcn 模型的输入，分割得到肝脏的病变区域，级联的分割方法加快了模型的收敛，提高了病灶区域的分割精度。
3.但是使用fcn进行分割，无法充分学习肝脏占位的全局信息，导致分割的结果比较粗糙，影响分割精度。

技术实现要素：

4.为了解决通过fcn进行分割，无法充分学习肝脏占位的全局信息，导致分割的结果比较粗糙，影响分割结果的精度的问题，本技术提供了一种多期相融合的肝脏占位分割方法，上述方法通过轻量3d肝脏占位分割模型对多期相肝脏ct图像进行处理，增加了对全局信息和空间信息的学习，并通过输入级特征融合和中间层特征融合增加多期相的数据的学习有效性，提高分割精度。
5.本技术的实施例是这样实现的：本技术实施例的提供一种多期相融合的肝脏占位分割方法，包括：对多期相肝脏ct图像样本进行配准，得到多期相初始图像；其中，所述多期相肝脏ct图像样本包括平扫期相、动脉期相、静脉期相和延迟期相中的至少两种期相对应的肝脏ct图像序列图组；通过三次样条插值法对所述多期相初始图像进行重采样后，对重采样后的所述多期相初始图像进行数据处理，以得到目标图像样本；所述目标图像样本中包括至少两种期相的特征；将所述目标图像样本输入至轻量3d肝脏占位分割模型进行分割处理，得到对应的分割结果；通过最近邻插值法对占位掩膜进行重采样，得到真实结果；根据所述真实结果和
所述分割结果，构建聚合损失函数对所述轻量3d肝脏占位分割模型进行优化，直至所述轻量3d肝脏占位分割模型对应的损失值收敛，得到目标轻量3d肝脏占位分割模型；其中，所述分割处理包括：步骤a：通过所述轻量3d肝脏占位分割模型中的卷积层和下采样层对所述目标图像样本进行卷积和下采样，得到多层级采样特征图；步骤b：对第一采样特征图和第二采样特征图进行卷积，并通过空间通道聚合模块对经过卷积的第二采样特征图和经过卷积的第一采样特征图中不同期相的特征信息进行筛选，得到子目标特征图；其中，所述第一采样特征图为位于多层级所述采样特征图中的最后一层的采样特征图，所述第二采样特征图为位于所述第一采样特征图上一层的采样特征图；步骤c：对经过卷积的第一采样特征图进行上采样，得到子采样特征图，并对所述子目标特征图和所述子采样特征图进行拼接；步骤d：将拼接后的特征图作为新的所述第一采样特征图；将位于所述第二采样特征图上一层的采样特征图作为新的所述第二采样特征图，重复步骤b-步骤d至预设次数。
6.上述技术方案中，所述通过空间通道聚合模块对第二采样特征图和经过卷积的第一采样特征图中不同期相的特征信息进行筛选，得到子目标特征图，包括：通过所述空间通道聚合模块中的空间模块，将经过卷积的所述第二采样特征图输入至空间通道聚合模块中的通道聚合模型中；通过通道聚合模型对经过卷积的所述第二采样特征图和经过卷积的所述第一采样特征图进行处理，完成对不同期相的特征信息的筛选，并通过所述空间模块输出，以得到所述子目标特征图。
7.上述技术方案中，所述通道聚合模型为：其中，x表示经过卷积的所述第二采样特征图，g表示经过卷积的所述第一采样特征图；up 表示上采样，表示relu函数，σ表示 sigmoid 函数,表示3维的 1
ꢀ×ꢀ1ꢀ×ꢀ
1卷积。
8.上述技术方案中，所述聚合损失函数为：其中，，为前景的损失权重，通过调节可以调节前景在训练时的损失值贡献程度，为调节因子，为所述目标图像样本中像素点的预测值，y为所述目标图像样本中像素点的真
实值；，，x为所述分割结果中像素点的集合，y为所述真实结果中像素点的集合，a和b分别表示和的权重。
9.上述技术方案中，所述对重采样后的所述多期相初始图像进行数据处理，以得到目标图像样本将所述目标图像样本，包括：对重采样后的所述多期相初始图像进行归一化处理和数据增强处理，以得到目标图像样本。
10.本技术实施例还提供一种多期相融合的肝脏占位分割模型，所述模型包括：解码器和编码器；所述编码器和所述解码器之间通过跳跃连接模块连通；所述编码器包括卷积层和下采样层，所述解码器包括卷积层和上采样层；所述编码器和所述解码器均用于对所述目标图像样本进行特征提取；所述跳跃连接模块包括空间通道聚合模块；所述空间通道聚合模块用于对所述特征图中不同期相的特征信息进行筛选。
11.本技术实施例还提供一种多期相融合的肝脏占位分割装置，其特征在于，包括：配准单元，用于对多期相肝脏ct图像样本进行配准，得到多期相初始图像；其中，所述多期相肝脏ct图像样本包括平扫期相、动脉期相、静脉期相和延迟期相中的至少两种期相对应的肝脏ct图像序列图组；重采样单元，用于通过三次样条插值法对所述多期相初始图像进行重采样，还用于通过最近邻插值法对占位掩膜进行重采样，得到真实结果；数据处理模块，用于对重采样后的所述多期相初始图像进行数据处理，以得到目标图像样本；所述目标图像样本中包括至少两种期相的特征；分割单元，用于将所述目标图像样本输入至轻量3d肝脏占位分割模型进行分割处理，得到对应的分割结果；其中，所述分割处理包括：步骤a：通过所述轻量3d肝脏占位分割模型中的卷积层和下采样层对所述目标图像样本进行卷积和下采样，得到多层级采样特征图；步骤b：对第一采样特征图进行卷积，并通过空间通道聚合模块对第二采样特征图和经过卷积的第一采样特征图中不同期相的特征信息进行筛选，得到子目标特征图；其中，所述第一采样特征图为位于多层级所述采样特征图中的最后一层的采样特征图，所述第二采样特征图为位于所述第一采样特征图上一层的采样特征图；步骤c：对经过卷积的第一采样特征图进行上采样，得到子采样特征图，并对所述子目标特征图和所述子采样特征图进行拼接；步骤d：将拼接后的特征图作为新的所述第一采样特征图；将位于所述第二采样特征图上一层的采样特征图作为新的所述第二采样特征图，重复步骤b-步骤d至预设次数；优化单元，用于根据所述真实结果和所述分割结果，构建聚合损失函数对所述轻量3d肝脏占位分割模型进行优化，直至所述轻量3d肝脏占位分割模型对应的损失值收敛，得到目标轻量3d肝脏占位分割模型。
12.本技术实施例还提供一种多期相融合的肝脏占位分割装置，其特征在于：所述装置包括处理器和存储器，所述存储器中存储有至少一条指令，所示指令由处理器加载并执行以实现如权利要求上述任一项实施例所述多期相融合的肝脏占位分割方法。
13.本技术实施例还提供一种存储介质，所述存储介质中存储有至少一条指令，所示指令由处理器加载并执行以实现如上述任一项实施例所述多期相融合的肝脏占位分割方法。
14.本技术实施例提供一种多期相融合的肝脏占位分割方法，通过对多期相肝脏ct图像样本进行配准，得到多期相初始图像；其中，所述多期相肝脏ct图像样本包括平扫期相、动脉期相、静脉期相和延迟期相中的至少两种期相对应的肝脏ct图像序列图组；通过三次样条插值法对所述多期相初始图像进行重采样后，对重采样后的所述多期相初始图像进行数据处理，以得到目标图像样本；所述目标图像样本中包括至少两种期相的特征；将所述目标图像样本输入至轻量3d肝脏占位分割模型进行分割处理，得到对应的分割结果；通过最近邻插值法对所述多期相初始图像中包括占位的区域进行重采样，得到真实结果；根据所述真实结果和所述分割结果，构建聚合损失函数对所述轻量3d肝脏占位分割模型进行优化，直至所述轻量3d肝脏占位分割模型对应的损失值收敛，得到目标轻量3d肝脏占位分割模型。其中，本技术实施例通过输入级特征融合和中间层特征融合增加多期相的数据的学习有效性，且通过轻量3d肝脏占位分割模型对多期相肝脏ct图进行处理，增加了轻量3d肝脏占位分割模型对全局信息和空间信息的学习，达到了提高分割精度的目的。
附图说明
15.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
16.图1为本技术实施例提供的多期相融合的肝脏占位分割方法流程示意图；图2为本技术实施例提供的轻量3d肝脏占位分割模型的网络结构示意图；图3为本技术实施例提供的空间通道聚合模块的结构示意图；图4为本技术实施例提供的多期相融合的肝脏占位分割装置的结构示意图；图5为本技术实施例还提供的多期相融合的肝脏占位分割装置的结构示意图。
具体实施方式
17.为使本技术的目的、实施方式和优点更加清楚，下面将结合本技术示例性实施例中的附图，对本技术示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本技术一部分实施例，而不是全部的实施例。
18.需要说明的是，本技术中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本技术的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
19.本技术中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另
外注明。应该理解这样使用的用语在适当情况下可以互换。
20.术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
21.图1为本技术实施例提供的多期相融合的肝脏占位分割方法流程示意图，如图1所示，本技术实施例的提供一种多期相融合的肝脏占位分割方法，包括：s101、对多期相肝脏ct图像样本进行配准，得到多期相初始图像；其中，多期相肝脏ct图像样本包括平扫期相、动脉期相、静脉期相和延迟期相中的至少两种期相对应的肝脏ct图像序列图组。
22.本发明实施例中，适用于对多期相肝脏ct图像样本中不同期相对应的特征信息进行学习，实现对肝脏占位分割的场景。
23.本发明实施例中，多期相肝脏ct图像样本中至少包括平扫期相、动脉期相、静脉期相和延迟期相中的两种期相对应的肝脏ct图像序列图组，即多期相肝脏ct图像样本可以包括平扫期肝脏ct图像序列图组、动脉期肝脏ct图像序列图组和静脉期肝脏ct图像序列图组；多期相肝脏ct图像样本也可以包括动脉期肝脏ct图像序列图组和静脉期肝脏ct图像序列图组。
24.本发明的一些实施例中，设多期相肝脏ct图样本包括动脉肝脏ct图序列图组和静脉期肝脏ct图像序列图组。此时，s101中对多期相肝脏ct图像样本进行配准可以包括：s201、确定动脉期肝脏ct图像序列图组中的一幅动脉期肝脏ct图像作为第一目标期相肝脏ct图像，选择静脉期肝脏ct图像序列图组中的一幅静脉期肝脏ct图像作为第二目标期相肝脏ct图像，第一目标期相肝脏ct图像和第二目标期相肝脏ct图像均为目标期相肝脏ct图像。对第一目标期相肝脏ct图像及第二目标期相肝脏ct图像分别进行多分辨率处理，构成含有两层的动脉期肝脏ct图像金字塔及静脉期肝脏ct图像金字塔，其中，动脉期肝脏ct图像金字塔及静脉期肝脏ct图像金字塔的顶层图像分辨率最小；s202、对动脉期肝脏ct图像金字塔的顶层图像的指定区域进行几何坐标刚体变换得到新区域；s203、通过三次样条插值方法得到静脉期肝脏ct图像金字塔的顶层图像在步骤s202获取的新区域的坐标；s204、利用基于联合直方图的相似性测度计算动脉期肝脏ct图像金字塔的顶层图像与插值图之间的相似度，得到相似度函数；s205、将s204得到的相似度函数输入至粒子算法优化算法中进行最优化计算得到最优变换参数,重复步骤s202-s204，直到取得最大值；s206、将最优变换参数作为鲍威尔算法搜索的起始点,分别对动脉期肝脏ct图像金字塔及静脉期肝脏ct图像金字塔的最后两层图像进行处理,重复步骤s202-s205；s207、输出静脉期肝脏ct图像在最终变换下的配准图像，从而完成配准。
25.可以理解的是，通过对多期相肝脏ct图像样本中不同期相的ct图像进行配准处理，便于轻量3d肝脏占位分割模型学习不同期相的ct图像中不同期相的特征信息，从而提高完成训练后得到的目标轻量3d肝脏占位分割模型的分割精度。
26.本发明实施例中，多期相肝脏ct图像样本完成配准后，还可以对配准后的多期相
肝脏ct图像样本进行非0值裁剪，以多期相初始图像的尺寸，提高轻量3d肝脏占位分割模型的训练速度，提高了计算效率。
27.s102、通过三次样条插值法对多期相初始图像进行重采样后，对重采样后的多期相初始图像进行数据处理，以得到目标图像样本；目标图像样本中包括至少两种期相的特征。
28.本发明实施例中，s102还包括：对重采样后的多期相初始图像依次进行裁剪、归一化处理和数据增强处理，以得到目标图像样本。
29.本发明实施例中，统计重采样后的多期相初始图像中所有分割掩膜（mask）内像素点的hu值的范围，计算0.05-99.5百分比的hu值的范围，以确定目标hu值范围，并对重采样后的多期相初始图像进行裁剪，裁剪到目标hu值范围；对裁剪后的重采样后的多期相初始图像进行z-score归一化，z-score归一化如公式1-1所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1-1其中，x为重采样后的多期相初始图像中像素点的hu值，u为所有像素点的hu值得均值，为所有像素点的标准差。
30.本发明实施例中，数据增强处理包括：缩放、高斯噪声、高斯模糊、亮度增强、对比度增强、低分比率变换（最近邻插值）、gamma增强和镜像翻转中的一种或多种处理方法。本发明实施例不作限定。
31.s103、将目标图像样本输入至轻量3d肝脏占位分割模型进行分割处理，得到对应的分割结果。
32.其中，分割处理包括：步骤a：通过轻量3d肝脏占位分割模型中的卷积层和下采样层对目标图像样本进行卷积和下采样，得到多层级采样特征图；步骤b：对第一采样特征图和第二采样特征图进行卷积，并通过空间通道聚合模块（spatial channel aggregation module，scam）对经过卷积的第二采样特征图和经过卷积的第一采样特征图中不同期相的特征信息进行筛选，得到子目标特征图；其中，所述第一采样特征图为位于多层级所述采样特征图中的最后一层的采样特征图，所述第二采样特征图为位于所述第一采样特征图上一层的采样特征图；步骤c：对经过卷积的第一采样特征图进行上采样，得到子采样特征图，并对子目标特征图和子采样特征图进行拼接；步骤d：将拼接后的特征图作为新的第一采样特征图；将位于第二采样特征图上一层的采样特征图作为新的第二采样特征图，重复步骤b-步骤d至预设次数。
33.本发明实施例中，图2为本技术实施例提供的轻量3d肝脏占位分割模型的网络结构示意图，如图2所示，本技术实施例还提供一种多期相融合的肝脏占位分割模型，所述模型包括：解码器和编码器；所述编码器和所述解码器之间通过跳跃连接模块连通；所述编码器包括卷积层和下采样层，所述解码器包括卷积层和上采样层；所述编码器和所述解码器均用于对所述目标图像样本进行特征提取；所述跳跃连接模块包括空间通道聚合模块；所述空间通道聚合模块用于对所述特
征图中不同期相的特征信息进行筛选。
34.本发明实施例中，示例性的，设轻量3d肝脏占位分割模型中的编码器包括5层卷积层和4层下采样层，且5层卷积层和4层下采样层间隔设置，解码器包括5层卷积层和4层上采样层，且5层卷积层和4层上采样层也间隔设置。输入的目标图像样本为c0×
d1×
h1×
w1，c0×
d1×
h1×
w1经过5层卷积层和4层下采样层后将得到第一采样特征图c4×
d5×
h5×
w5；此时，第二采样特征图为c3×
d4×
h4×
w4。步骤b中对第一采样特征图进行卷积后，将得到经过卷积的第一采样特征图c4×
d5×
h5×
w5，对第二采样特征图进行卷积后，将得到经过卷积的第二采样特征图c4×
d4×
h4×
w4。
35.本发明实施例中，如图2所示，轻量3d肝脏占位分割模型中的卷积层均为空洞卷积层。
36.可以理解的是，本技术实施例中轻量3d肝脏占位分割模型使用3d卷积网络替代2d卷积网络，增加了轻量3d肝脏占位分割模型对多期相肝脏ct图像的全局信息和空间信息的学习，且3d卷积网络使用空洞卷积，可以减少网络模型参数，加快训练速度。
37.本发明的一些实施例中，步骤b中通过空间通道聚合模块对第二采样特征图和经过卷积的第一采样特征图中不同期相的特征信息进行筛选，得到子目标特征图，包括：s301、通过所述空间通道聚合模块中的空间（spatial aggregation，sa）模块，将经过卷积的所述第二采样特征图输入至空间通道聚合模块中的通道聚合（channel aggregation，ca）模型中；s302、通过通道聚合模型对经过卷积的所述第二采样特征图和经过卷积的所述第一采样特征图进行处理，完成对不同期相的特征信息的筛选，并通过所述空间模块输出，以得到所述子目标特征图。
38.本发明的一些实施例中，通道聚合模型如公式1-2所示：1-2其中，x表示经过卷积的第二采样特征图，g表示经过卷积的第一采样特征图；up 表示上采样，表示relu函数，σ表示 sigmoid 函数,表示3维的 1
ꢀ×ꢀ1ꢀ×ꢀ
1卷积。
39.本发明实施例中，图3为本技术实施例提供的空间通道聚合模块的结构示意图，如图3所示，空间通道聚合模块包括空间模块（sa模块），空间模块通过sa运算对对待传输的图像先进行全局池化,接着经过一个部分连接层,最后经过一层 sigmoid激活。其中，sa运算可以如公式1-3所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1-3其中，gap 表示全局平均池化运算， x 为输入的图像张量。
40.当经过卷积的第二采样特征图通过空间模块输入至通道聚合模型中后，通过卷积
层进行卷积，之后与依次经过上采样和卷积的经过卷积的第一采样特征图进行拼接，拼接后通过relu函数激活，接着经过一个卷积层，再经过一层sigmoid激活，最后与经过卷积的第二采样特征图聚合后，通过空间模块输出至轻量3d肝脏占位分割模型中的解码器中。
41.可以理解的是，本技术实施例中，通过空间通道聚合模块完成了对多期相特征的中间级特征融合，而通过对多期相肝脏ct图像样本的配准，实现了对多期相特征的输入级特征融合，通过两种特征融合的方式结合，使得轻量3d肝脏占位分割模型能够充分学习到多期相特征信息，且本技术实施例中，通过空间通道聚合模块引入了注意力机制，提高了轻量3d肝脏占位分割模型增加了轻量3d肝脏占位分割模型对全局信息和空间信息的学习，提高了增加了轻量3d肝脏占位分割模型的分割精度。
42.s104、通过最近邻插值法对占位掩膜进行重采样，得到真实结果；根据真实结果和分割结果，构建聚合损失函数对轻量3d肝脏占位分割模型进行优化，直至轻量3d肝脏占位分割模型对应的损失值收敛，得到目标轻量3d肝脏占位分割模型。
43.本发明实施例中，s104中所述的聚合损失函数如公式1-4所示：
ꢀꢀꢀꢀꢀꢀꢀ
1-4其中，，为前景的损失权重，通过调节可以调节前景在训练时的损失值贡献程度，为调节因子，为目标图像样本中像素点的预测值，y为目标图像样本中像素点的真实值；，，x为分割结果中像素点的集合，y为真实结果中像素点的集合，a和b分别表示和的权重。
44.本发明实施例中，目标图像样本中像素点的真实值与s104中通过最近邻插值法对占位掩膜进行重采样，得到的真实结果对应；目标图像样本中像素点的预测值与目标图像样本输入至轻量3d肝脏占位分割模型进行分割处理，得到的分割结果对应。
45.本发明实施例中，构建聚合损失函数对轻量3d肝脏占位分割模型进行优化时，采用adam优化方法对轻量3d肝脏占位分割模型进行权重参数的优化，从而减少损失值，实现损失值的收敛，提高轻量3d肝脏占位分割模型的分割准确性。
46.本发明的一些实施例中，对轻量3d肝脏占位分割模型进行优化以得到目标轻量3d肝脏占位分割模型的过程中，可以将多期相初始图像按照预设比例划分为训练集、测试集和验证集，通过对轻量3d肝脏占位分割模型的训练、测试和验证，完成轻量3d肝脏占位分割模型通过调整网络模型参数以更好拟合数据集，通过多次迭代，保存在验证集上验证损失最小的最优网络模型权重。
47.可以理解的是，本技术实施例中通过结合两种插值方法，对多期相ct图像使用三阶样条插值，对占位掩膜使用最近邻插值，提升了轻量3d肝脏占位分割模型的泛化能力。且通过聚合损失函数完成对轻量3d肝脏占位分割模型的优化，可使得轻量3d肝脏占位分割模型不仅能从全局的ct图像进行观察学习，还能关注难分类和易错分类的样本，从而减少样
本不均衡对轻量3d肝脏占位分割模型训练造成的影响。
48.图4为本技术实施例提供的多期相融合的肝脏占位分割装置的结构示意图；如图4所示，本技术实施例还提供一种多期相融合的肝脏占位分割装置，其特征在于，包括：配准单元701，用于对多期相肝脏ct图像样本进行配准，得到多期相初始图像；其中，所述多期相肝脏ct图像样本包括平扫期相、动脉期相、静脉期相和延迟期相中的至少两种期相对应的肝脏ct图像序列图组；重采样单元702，用于通过三次样条插值法对所述多期相初始图像进行重采样，还用于通过最近邻插值法对占位掩膜进行重采样，得到真实结果；数据处理模块703，用于对重采样后的所述多期相初始图像进行数据处理，以得到目标图像样本；所述目标图像样本中包括至少两种期相的特征；分割单元704，用于将所述目标图像样本输入至轻量3d肝脏占位分割模型进行分割处理，得到对应的分割结果；其中，所述分割处理包括：步骤a：通过所述轻量3d肝脏占位分割模型中的卷积层和下采样层对所述目标图像样本进行卷积和下采样，得到多层级采样特征图；步骤b：对第一采样特征图和第二采样特征图进行卷积，并通过空间通道聚合模块对经过卷积的第二采样特征图和经过卷积的第一采样特征图中不同期相的特征信息进行筛选，得到子目标特征图；其中，所述第一采样特征图为位于多层级所述采样特征图中的最后一层的采样特征图，所述第二采样特征图为位于所述第一采样特征图上一层的采样特征图；步骤c：对经过卷积的第一采样特征图进行上采样，得到子采样特征图，并对所述子目标特征图和所述子采样特征图进行拼接；步骤d：将拼接后的特征图作为新的所述第一采样特征图；将位于所述第二采样特征图上一层的采样特征图作为新的所述第二采样特征图，重复步骤b-步骤d至预设次数；优化单元705，用于根据所述真实结果和所述分割结果，构建聚合损失函数对所述轻量3d肝脏占位分割模型进行优化，直至所述轻量3d肝脏占位分割模型对应的损失值收敛，得到目标轻量3d肝脏占位分割模型。
49.本发明实施例中，所述分割单元704，还用于通过所述空间通道聚合模块中的空间模块，将经过卷积的所述第二采样特征图输入至空间通道聚合模块中的通道聚合模型中；还用于通过通道聚合模型对经过卷积的所述第二采样特征图和经过卷积的所述第一采样特征图进行处理，完成对不同期相的特征信息的筛选，并通过所述空间模块输出，以得到所述子目标特征图。
50.本发明实施例中，所述数据处理模块703，还用于对重采样后的所述多期相初始图像进行归一化处理和数据增强处理，以得到目标图像样本。
51.图5为本技术实施例还提供的多期相融合的肝脏占位分割装置的结构示意图，如图5所示，本技术实施例还提供一种多期相融合的肝脏占位分割装置，多期相融合的肝脏占位分割装置包括：处理器(processor)810、通信接口(communications interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行上述各方法所提供的多期相融合的肝脏占位分割方法。
52.此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
53.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的多期相融合的肝脏占位分割方法。
54.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的多期相融合的肝脏占位分割方法。
55.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
56.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
57.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：

1.一种多期相融合的肝脏占位分割方法，其特征在于，包括：对多期相肝脏ct图像样本进行配准，得到多期相初始图像；其中，所述多期相肝脏ct图像样本包括平扫期相、动脉期相、静脉期相和延迟期相中的至少两种期相对应的肝脏ct图像序列图组；通过三次样条插值法对所述多期相初始图像进行重采样后，对重采样后的所述多期相初始图像进行数据处理，以得到目标图像样本；所述目标图像样本中包括至少两种期相的特征；将所述目标图像样本输入至轻量3d肝脏占位分割模型进行分割处理，得到对应的分割结果；通过最近邻插值法对占位掩膜进行重采样，得到真实结果；根据所述真实结果和所述分割结果，构建聚合损失函数对所述轻量3d肝脏占位分割模型进行优化，直至所述轻量3d肝脏占位分割模型对应的损失值收敛，得到目标轻量3d肝脏占位分割模型；其中，所述分割处理包括：步骤a：通过所述轻量3d肝脏占位分割模型中的卷积层和下采样层对所述目标图像样本进行卷积和下采样，得到多层级采样特征图；步骤b：对第一采样特征图和第二采样特征图进行卷积，并通过空间通道聚合模块对经过卷积的第二采样特征图和经过卷积的第一采样特征图中不同期相的特征信息进行筛选，得到子目标特征图；其中，所述第一采样特征图为位于多层级所述采样特征图中的最后一层的采样特征图，所述第二采样特征图为位于所述第一采样特征图上一层的采样特征图；步骤c：对经过卷积的第一采样特征图进行上采样，得到子采样特征图，并对所述子目标特征图和所述子采样特征图进行拼接；步骤d：将拼接后的特征图作为新的所述第一采样特征图；将位于所述第二采样特征图上一层的采样特征图作为新的所述第二采样特征图，重复步骤b-步骤d至预设次数。2.根据权利要求1所述的肝脏占位分割方法，其特征在于，所述通过空间通道聚合模块对第二采样特征图和经过卷积的第一采样特征图中不同期相的特征信息进行筛选，得到子目标特征图，包括：通过所述空间通道聚合模块中的空间模块，将经过卷积的所述第二采样特征图输入至空间通道聚合模块中的通道聚合模型中；通过通道聚合模型对经过卷积的所述第二采样特征图和经过卷积的所述第一采样特征图进行处理，完成对不同期相的特征信息的筛选，并通过所述空间模块输出，以得到所述子目标特征图。3.根据权利要求2所述的肝脏占位分割方法，其特征在于，所述通道聚合模型为：其中，x表示经过卷积的所述第二采样特征图，g表示经过卷积的所述第一采样特征图；up 表示上采样，表示relu函数，σ表示 sigmoid 函数,表示3维
的 1
ꢀ×ꢀ1ꢀ×ꢀ
1卷积。4.根据权利要求1所述的肝脏占位分割方法，其特征在于，所述聚合损失函数为：其中，，为前景的损失权重，通过调节可以调节前景在训练时的损失值贡献程度，为调节因子，为所述目标图像样本中像素点的预测值，y为所述目标图像样本中像素点的真实值；，，x为所述分割结果中像素点的集合，y为所述真实结果中像素点的集合，a和b分别表示和的权重。5.根据权利要求1所述的肝脏占位分割方法，其特征在于，所述对重采样后的所述多期相初始图像进行数据处理，以得到目标图像样本，包括：对重采样后的所述多期相初始图像依次进行裁剪、归一化处理和数据增强处理，以得到目标图像样本。6.一种多期相融合的肝脏占位分割模型，其特征在于，所述模型包括：解码器和编码器；所述编码器和所述解码器之间通过跳跃连接模块连通；所述编码器包括卷积层和下采样层，所述解码器包括卷积层和上采样层；所述编码器和所述解码器均用于对目标图像样本进行特征提取；所述跳跃连接模块包括空间通道聚合模块；所述空间通道聚合模块用于对所述特征图中不同期相的特征信息进行筛选。7.一种多期相融合的肝脏占位分割装置，其特征在于，包括：配准单元，用于对多期相肝脏ct图像样本进行配准，得到多期相初始图像；其中，所述多期相肝脏ct图像样本包括平扫期相、动脉期相、静脉期相和延迟期相中的至少两种期相对应的肝脏ct图像序列图组；重采样单元，用于通过三次样条插值法对所述多期相初始图像进行重采样，还用于通过最近邻插值法对占位掩膜进行重采样，得到真实结果；；数据处理模块，用于对重采样后的所述多期相初始图像进行数据处理，以得到目标图像样本；所述目标图像样本中包括至少两种期相的特征；分割单元，用于将所述目标图像样本输入至轻量3d肝脏占位分割模型进行分割处理，得到对应的分割结果；其中，所述分割处理包括：步骤a：通过所述轻量3d肝脏占位分割模型中的卷积层和下采样层对所述目标图像样本进行卷积和下采样，得到多层级采样特征图；步骤b：对第一采样特征图和第二采样特征图进行卷积，并通过空间通道聚合模块对经过卷积的第二采样特征图和经过卷积的第一采样特征图中不同期相的特征信息进行筛选，得到子目标特征图；其中，所述第一采样特征图为位于多层级所述采样特征图中的最后一
层的采样特征图，所述第二采样特征图为位于所述第一采样特征图上一层的采样特征图；步骤c：对经过卷积的第一采样特征图进行上采样，得到子采样特征图，并对所述子目标特征图和所述子采样特征图进行拼接；步骤d：将拼接后的特征图作为新的所述第一采样特征图；将位于所述第二采样特征图上一层的采样特征图作为新的所述第二采样特征图，重复步骤b-步骤d至预设次数；优化单元，用于根据所述真实结果和所述分割结果，构建聚合损失函数对所述轻量3d肝脏占位分割模型进行优化，直至所述轻量3d肝脏占位分割模型对应的损失值收敛，得到目标轻量3d肝脏占位分割模型。8.一种多期相融合的肝脏占位分割装置，其特征在于：所述装置包括处理器和存储器，所述存储器中存储有至少一条指令，所示指令由处理器加载并执行以实现如权利要求1-5任一项所述多期相融合的肝脏占位分割方法。9.一种存储介质，其特征在于，所述存储介质中存储有至少一条指令，所示指令由处理器加载并执行以实现如权利要求1-5任一项所述多期相融合的肝脏占位分割方法。

技术总结

本申请提出一种多期相融合的肝脏占位分割方法，装置及存储介质，其中所述方法包括：通过对多期相肝脏CT图像样本进行配准，得到多期相初始图像；并通过三次样条插值法对多期相多期相初始图像进行重采样后，再进行数据处理，以得到目标图像样本；将目标图像样本输入至轻量3D肝脏占位分割模型进行分割处理，得到对应的分割结果；通过最近邻插值法对占位掩膜进行重采样，得到真实结果；根据真实结果和分割结果，构建聚合损失函数对轻量3D肝脏占位分割模型进行优化，得到目标轻量3D肝脏占位分割模型，这样增加了多期相数据的学习有效性，且增加了对多期相肝脏CT图像样本中占位的全局信息和空间信息的学习，达到了提高分割精度的目的。的。的。