一种基于高阶神经网络的大脑MR图像分割方法

一种基于高阶神经网络的大脑mr图像分割方法
技术领域
1.本发明属于图像技术领域，特别涉及一种基于高阶神经网络的大脑mr图像分割方法。

背景技术：

2.近年来，深度学习方法在医学图像分割和计算机辅助诊断中取得巨大的成功。深度学习网络能够通过卷积操作自动学习图像的上下文信息，从而获得更优的图像特征表示。在众多神经网络中，基于端到端的神经网络广泛应用于图像分割中。例如u-net结构广泛应用于图像分割中，主要由编码和解码两部分构成；编码部分负责学习图像的高级特征表示，解码部分用于将图像恢复到原始分辨率。此外，u-net编码部分和解码部分之间还有跳连接用于将高级的纹理特征和高分辨率的空间特征融合到u-net网络中。跳链接的使用能够有效提高图像分割的结果，但是由于人类大脑解剖结构非常复杂，传统的卷积操作难以描述大脑mr图像体素之间的复杂关系，只能刻画低阶的大脑mr图像纹理特征，从而导致了大脑mr图像分割任务产生次优的结果，所以亟需一种获得精准的大脑分割结果的大脑mr图像分割方法。

技术实现要素：

3.发明目的：本发明提供一种基于高阶神经网络的大脑mr图像分割方法，以解决现有技术中深度网络分割精度不高、多图谱分割方法速度较慢，特征难以人工定义的问题。
4.技术方案：本发明提供了一种基于高阶神经网络的大脑mr图像分割方法，具体包括以下步骤：
5.(1)对预先获取的大脑mr图像，通过高阶卷积操作建立卷积局部感受野内体素之间的关联，并提取图像的高阶特征；
6.(2)通过传统卷积操作学习局部感受野的低阶均值特征，获得图像的纹理特征表示；
7.(3)通过高阶卷积操作学习图谱图像提供的高阶大脑解剖结构先验知识，输入为多张配准到待分割图像空间的图谱图像标签图；
8.(4)通过传统卷积操作学习图谱图像提供的大脑解剖结构先验知识，输入为多张配准到待分割图像空间的图谱图像标签图；
9.(5)通过通道注意力模型自适应获得通道融合的权重，融合步骤(1)至步骤(4)学习到的特征表示和先验知识，获得更优的大脑图像特征表示；
10.(6)通过剩余的高阶神经网络，利用步骤(5)融合的大脑图像特征表示分割大脑核磁共振图像。
11.进一步地，步骤(1)所述高阶卷积定义为：
12.13.其中，wk和fi分表表示感受野内的卷积核第k个参数和对应的特征图上的第i个特征，表示对应的高阶神经网络输出的第j个的高阶特征输出。
14.进一步地，步骤(2)所述传统卷积定义为：
[0015][0016]
其中，wk和fi分表表示感受野内的卷积核第k个参数和对应的特征图上的第i个特征，表示对应的高阶神经网络输出的第j个的低阶特征输出。
[0017]
进一步地，所述步骤(5)实现过程如下：
[0018]
高阶神经网络有两个输入，即目标脑mr图像和图谱图像的多个标签图；对于目标图像，使用两个3
×3×
3的传统卷积层来提取目标图像的低阶上下文信息；同时，采用3
×3×
3的高阶卷积层来提取高阶成对依赖特征；然后，利用具有3
×3×
3传统卷积层来学习提取的高阶成对依赖特征的上下文信息；使用一组图谱标签图来学习解剖学先验知识，以指导分割过程；所述两个3
×3×
3的传统卷积层被用来从一组图谱标签图中学习解剖先验特征；同时使用3
×3×
3高阶卷积层和3
×3×
3传统卷积来学习大脑roi分割的高阶解剖先验特征；每个卷积层之后是批归一化和relu非线性映射单元；最后引入一个通道注意特征融合块来自适应地融合这些特征；具体来说，首先将学习到的特征进行按通道维度级联，进行global pooling操作，再使用全连接操作将维度压缩为四分之一，然后通过一个relu非线性映射单元，再通过全连接操作讲维度恢复到原维度，最后通过sigmoid非线性映射单元，获得一个权重向量；将该权重向量与级联的原始特征按通道相乘获得输出的特征用做下一层神经网络的输入。
[0019]
进一步地，所述步骤(6)实现过程如下：
[0020]
首先使用步长为2的2
×2×
2最大池化操作对融合的多阶特征进行下采样；剩余的高阶神经网络由高阶特征学习路径和低阶特征学习路径组成，高阶特征学习路径，用于对局部感受野内体素的成对依赖关系进行建模，低阶特征学习路径用于学习图像的高级上下文特征；高阶特征学习路径中的每个编码路径块由一个高阶卷积块和一个传统卷积层组成，其中高阶卷积块用于学习局部感受野内体素之间的高阶成对依赖特征，高阶和传统卷积操作都使用3
×3×
3卷积核；低阶特征学习路径中的每个编码路径块由两个一个传统卷积层组成，每个卷积层之后进一步进行批量归一化和relu非线性操作；然后，采用通道注意融合块来融合由高阶特征学习路径和低阶特征学习路径提取的特征图；最后，执行步幅为2的2
×2×
2最大池化操作，以对融合的特征图进行下采样；
[0021]
在高阶特征学习路径的解码路径中，每个解码路径块由一个反卷积层、一个高阶卷积块和一个传统卷积层组成；具有2
×2×
2内核的反卷积层用于将低分辨率特征图恢复为高分辨率特征图，同时，通过使用的跳跃连接，将反卷积层导出的特征图与编码路径中相应的高分辨率特征图结合起来；然后，将输出的特征图输入到一个3
×3×
3高阶卷积层和一个3
×3×
3的传统卷积层；在低阶特征学习路径的解码路径，每个块由一个2
×2×
2的反卷积层、两个3
×3×
3传统卷积层组成；同样使用跳链接，将反卷积层导出的特征图与编码路径中相应的高分辨率特征图结合起来；每个卷积层之后进一步进行批量归一化和relu；此外，每个解码路径块之后的通道注意模块用于将上采样的高阶特征图和高级上下文特征图
融合到网络中，用于大脑感兴趣区域分割分割；
[0022]
最后，使用跟有softmax非线性单元的1
×1×
1的卷积层来生成分割概率图，然后使用最大后验概率获得最终的分割图像。
[0023]
进一步地，步骤(1)所述高阶卷积的结构如下：
[0024]
输入特征被分成g组，分别对每个组执行提出的高阶卷积操作，学习到的高阶成对依赖特征图连接起来；并利用1
×1×
1的卷积运算更改特征图的通道数。
[0025]
有益效果：与现有技术相比，本发明的有益效果：本发明使用高阶卷积学习图像体素之间的高阶关系，并利用解剖结构先验信息，获得精准快速的大脑mr图像分割结果；大脑mr图像分割是大脑图像分析重要的一步，能够为后续的分析提供定量的指标。
附图说明
[0026]
图1是本发明提出的高阶神经网络结构示意图；
[0027]
图2是本发明提出的高阶卷积结构示意图；
[0028]
图3基于高阶神经网络的大脑分割方法的海马体分割结果表面距离重建图；
[0029]
图4基于高阶神经网络的大脑分割方法在大脑mr图像上的分割结果。
具体实施方式
[0030]
下面结合附图对本发明做进一步详细说明。
[0031]
大脑mr图像分割是脑结构分析的重要步骤，大脑的医学解剖结构非常复杂，传统的卷积只能刻画低阶的大脑mr图像纹理特征，为表示大脑mr图像体素之间的关系，本发明提供一种基于高阶神经网络的大脑mr图像分割方法，对预先获取的大脑mr图像，通过高阶卷积操作建立卷积局部感受野内体素之间的关联，并提取图像的高阶特征；通过传统卷积操作学习局部感受野的低阶均值特征，获得图像的纹理特征表示了；通过高阶卷积操作学习图谱图像提供的高阶大脑解剖结构先验知识，输入为多张配准到待分割图像空间的图谱图像标签图；通过传统卷积操作学习图谱图像提供的大脑解剖结构先验知识，输入为多张配准到待分割图像空间的图谱图像标签图；通过通道注意力模型自适应获得通道融合的权重，融合学习到的特征表示和先验知识，获得更优的大脑图像特征表示；通过剩余的高阶神经网络，利用融合的大脑图像特征表示分割大脑核磁共振图像。
[0032]
通过高阶卷积操作学习图像体素之间的高阶特征表示，输入为待分割的mr图像，使用的高阶卷积定义为：
[0033][0034]
其中，wk和fi分表表示感受野内的卷积核第k个参数和对应的特征图上的第i个特征，表示对应的高阶神经网络输出的第j个的高阶特征输出。
[0035]
通过传统卷积操作学习图像的低阶特征表示，输入为待分割的大脑mr图像，使用的传统卷积定义为：
[0036]
[0037]
其中，wk和fi分表表示感受野内的卷积核第k个参数和对应的特征图上的第i个特征，表示对应的高阶神经网络输出的第j个的低阶特征输出。
[0038]
分别学习脑mr图像和图谱图像的多个标签图对应的高阶和低阶的特征表示和先验知识，然后使用通道注意力模型融合学习到的特征表示和先验知识，如图1所示，本发明提出的高阶神经网络有两个输入，即目标脑mr图像和图谱图像的多个标签图；对于目标图像，使用两个3
×3×
3的传统卷积层来提取目标图像的低阶上下文信息。同时，采用3
×3×
3的高阶卷积层来提取高阶成对依赖特征；然后，利用具有3
×3×
3传统卷积层来学习提取的高阶成对依赖特征的上下文信息；使用一组图谱标签图来学习解剖学先验知识，以指导分割过程。特别是，两个3
×3×
3的传统卷积层被用来从一组图谱标签图中学习解剖先验特征。同时，使用3
×3×
3高阶卷积层和3
×3×
3传统卷积来学习大脑roi分割的高阶解剖先验特征。每个卷积层之后是批归一化和relu非线性映射单元。为了更好地融合这些学习到的特征，引入了一个通道注意特征融合块来自适应地融合这些特征。具体来说，首先将学习到的特征进行按通道维度级联，进行global pooling操作，再使用全连接操作将维度压缩为四分之一，然后通过一个relu非线性映射单元，再通过全连接操作讲维度恢复到原维度，最后通过sigmoid非线性映射单元，获得一个权重向量；将该权重向量与级联的原始特征按通道相乘获得输出的特征用做下一层神经网络的输入。因此，图像的低阶的上下文特征、高阶成对依赖特征和解剖学先验知识自适应的融合到一起用于后续的大脑mr图像分割过程。
[0039]
通过剩余的高阶神经网络，利用融合的大脑图像特征表示分割大脑核磁共振图像。首先使用步长为2的2
×2×
2最大池化操作对融合的多阶特征进行下采样。剩余的高阶神经网络由两条路径组成，即，1)高阶特征学习路径，用于对局部感受野内体素的成对依赖关系进行建模，2)低阶特征学习路径用于学习图像的高级上下文特征。
[0040]
具体来说，高阶特征学习路径中的每个编码路径块由一个高阶卷积块和一个传统卷积层组成。高阶卷积块用于学习局部感受野内体素之间的高阶成对依赖特征。高阶和传统卷积操作都使用3
×3×
3卷积核。低阶特征学习路径中的每个编码路径块由两个一个传统卷积层组成。每个卷积层之后进一步进行批量归一化和relu非线性操作。然后，采用通道注意融合块来融合由高阶特征学习路径和低阶特征学习路径提取的特征图。最后，执行步幅为2的2
×2×
2最大池化操作，以对融合的特征图进行下采样。
[0041]
在高阶特征学习路径的解码路径中，每个块由一个反卷积层、一个高阶卷积块和一个传统卷积层组成。具有2
×2×
2内核的反卷积层用于将低分辨率特征图恢复为高分辨率特征图。同时，通过使用的跳跃连接，将反卷积层导出的特征图与编码路径中相应的高分辨率特征图结合起来。然后，将输出的特征图输入到一个3
×3×
3高阶卷积层和一个3
×3×
3的传统卷积层。在低阶特征学习路径的解码路径，每个块由一个2
×2×
2的反卷积层、两个3
×3×
3传统卷积层组成。同样使用跳链接，将反卷积层导出的特征图与编码路径中相应的高分辨率特征图结合起来。每个卷积层之后进一步进行批量归一化和relu。此外，每个块之后的通道注意模块用于将上采样的高阶特征图和高级上下文特征图融合到网络中，用于大脑感兴趣区域分割分割。
[0042]
最后，使用跟有softmax非线性单元的1
×1×
1的卷积层来生成分割概率图，然后使用最大后验概率获得最终的分割图像。
[0043]
如图2所示，是本发明提出的高阶卷积结构示意图，具体结构如下所述：
[0044]
输入特征首先被分成g组。然后，分别对每个组执行提出的高阶卷积操作。最后，将学习到的高阶成对依赖特征图连接起来。为了进一步提高所提出模型的灵活性，利用1
×1×
1的卷积运算来更改特征图的通道数。
[0045]
本发明在国际标准数据集adni和loni-lpba40数据集上进行验证。如图3所示，采用本发明得到的adni数据集海马体分割结果表面距离重建图。本发明的在海马体分割上取得了很高的精度，结果显示本发明在海马体分割的平均表面距离达到0.295
±
0.045，达到当前最优的结果。
[0046]
如图4所示，采用本发明得到的loni-lpba40数据集大脑mr图像上的分割结果。在loni-lpba40数据集上的结果显示，本发明的dice指数能够达到0.8167；同时本发明分割一张mr图像的速度达到秒级。
[0047]
本发明使用基于高阶神经网络的大脑mr图像分割方法及系统的大脑感兴趣区域快速分割方法对大脑mr图像分割，使用提出的高阶卷积学习输入mr图像和图谱图像的高阶特征，并结合传统卷积学习的低阶特征获得精准的大脑mr图像分割结果。
[0048]
以上实施例仅为详细阐述本发明的具体实施方式，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

技术特征：

1.一种基于高阶神经网络的大脑mr图像分割方法，其特征在于，包括以下步骤：(1)对预先获取的大脑mr图像，通过高阶卷积操作建立卷积局部感受野内体素之间的关联，并提取图像的高阶特征；(2)通过传统卷积操作学习局部感受野的低阶均值特征，获得图像的纹理特征表示；(3)通过高阶卷积操作学习图谱图像提供的高阶大脑解剖结构先验知识，输入为多张配准到待分割图像空间的图谱图像标签图；(4)通过传统卷积操作学习图谱图像提供的大脑解剖结构先验知识，输入为多张配准到待分割图像空间的图谱图像标签图；(5)通过通道注意力模型自适应获得通道融合的权重，融合步骤(1)至步骤(4)学习到的特征表示和先验知识，获得更优的大脑图像特征表示；(6)通过剩余的高阶神经网络，利用步骤(5)融合的大脑图像特征表示分割大脑核磁共振图像。2.根据权利要求1所述的一种基于高阶神经网络的大脑mr图像分割方法，其特征在于，步骤(1)所述高阶卷积为：其中，w
k
和f
i
分表表示感受野内的卷积核第k个参数和对应的特征图上的第i个特征，表示对应的高阶神经网络输出的第j个的高阶特征输出。3.根据权利要求1所述的一种基于高阶神经网络的大脑mr图像分割方法，其特征在于，步骤(2)所述传统卷积为：其中，w
k
和f
i
分表表示感受野内的卷积核第k个参数和对应的特征图上的第i个特征，表示对应的高阶神经网络输出的第j个的低阶特征输出。4.根据权利要求1所述的一种基于高阶神经网络的大脑mr图像分割方法，其特征在于，所述步骤(5)实现过程如下：高阶神经网络有两个输入，即目标脑mr图像和图谱图像的多个标签图；对于目标图像，使用两个3
×3×
3的传统卷积层来提取目标图像的低阶上下文信息；同时，采用3
×3×
3的高阶卷积层来提取高阶成对依赖特征；然后，利用具有3
×3×
3传统卷积层来学习提取的高阶成对依赖特征的上下文信息；使用一组图谱标签图来学习解剖学先验知识，以指导分割过程；所述两个3
×3×
3的传统卷积层被用来从一组图谱标签图中学习解剖先验特征；同时使用3
×3×
3高阶卷积层和3
×3×
3传统卷积来学习大脑roi分割的高阶解剖先验特征；每个卷积层之后是批归一化和relu非线性映射单元；最后引入一个通道注意特征融合块来自适应地融合这些特征；具体来说，首先将学习到的特征进行按通道维度级联，进行global pooling操作，再使用全连接操作将维度压缩为四分之一，然后通过一个relu非线性映射单元，再通过全连接操作讲维度恢复到原维度，最后通过sigmoid非线性映射单元，获得一个权重向量；将该权重向量与级联的原始特征按通道相乘获得输出的特征用做下一层神经网
络的输入。5.根据权利要求1所述的一种基于高阶神经网络的大脑mr图像分割方法，其特征在于，所述步骤(6)实现过程如下：首先使用步长为2的2
×2×
2最大池化操作对融合的多阶特征进行下采样；剩余的高阶神经网络由高阶特征学习路径和低阶特征学习路径组成，高阶特征学习路径，用于对局部感受野内体素的成对依赖关系进行建模，低阶特征学习路径用于学习图像的高级上下文特征；高阶特征学习路径中的每个编码路径块由一个高阶卷积块和一个传统卷积层组成，其中高阶卷积块用于学习局部感受野内体素之间的高阶成对依赖特征，高阶和传统卷积操作都使用3
×3×
3卷积核；低阶特征学习路径中的每个编码路径块由两个一个传统卷积层组成，每个卷积层之后进一步进行批量归一化和relu非线性操作；然后，采用通道注意融合块来融合由高阶特征学习路径和低阶特征学习路径提取的特征图；最后，执行步幅为2的2
×2×
2最大池化操作，以对融合的特征图进行下采样；在高阶特征学习路径的解码路径中，每个解码路径块由一个反卷积层、一个高阶卷积块和一个传统卷积层组成；具有2
×2×
2内核的反卷积层用于将低分辨率特征图恢复为高分辨率特征图，同时，通过使用的跳跃连接，将反卷积层导出的特征图与编码路径中相应的高分辨率特征图结合起来；然后，将输出的特征图输入到一个3
×3×
3高阶卷积层和一个3
×3×
3的传统卷积层；在低阶特征学习路径的解码路径，每个块由一个2
×2×
2的反卷积层、两个3
×3×
3传统卷积层组成；同样使用跳链接，将反卷积层导出的特征图与编码路径中相应的高分辨率特征图结合起来；每个卷积层之后进一步进行批量归一化和relu；此外，每个解码路径块之后的通道注意模块用于将上采样的高阶特征图和高级上下文特征图融合到网络中，用于大脑感兴趣区域分割分割；最后，使用跟有softmax非线性单元的1
×1×
1的卷积层来生成分割概率图，然后使用最大后验概率获得最终的分割图像。6.根据权利要求1所述的一种基于高阶神经网络的大脑mr图像分割方法，其特征在于，步骤(1)所述高阶卷积的结构如下：输入特征被分成g组，分别对每个组执行提出的高阶卷积操作，学习到的高阶成对依赖特征图连接起来；并利用1
×1×
1的卷积运算更改特征图的通道数。

技术总结

本发明公开了一种基于高阶神经网络的大脑MR图像分割方法，通过高阶卷积操作学习图像体素之间的高阶特征表示；通过传统卷积操作学习局部感受野的低阶均值特征，获得图像的纹理特征表示；通过高阶卷积操作学习图谱图像提供的高阶大脑解剖结构先验知识；通过传统卷积操作学习图谱图像提供的低阶大脑解剖结构先验知识；通过通道注意力模型自适应获得通道融合的权重，融合学习到的特征表示和先验知识，获得更优的大脑图像特征表示；通过剩余的高阶神经网络，利用融合的大脑图像特征表示分割大脑核磁共振图像。本发明能够学习图像高阶信息的卷积操作，使得卷积能够学习体素之间的高阶关系；通过有效利用图像的高阶信息，从而获得精准的大脑分割结果。准的大脑分割结果。准的大脑分割结果。