第34卷第4期2021年4月
模式识别与人工智能
Pattern Recognition and Artificial Intelligence Vol. 34 No. 4Apr. 2021
李仲年*
1 张涛1 张道强1Recommended by Associate Editor ZUO Weiliang
1.南京航空航天大学计算机科学与技术学院模式分析与机
器智能工业和信息化部重点实验室南京211100
1. MIIT Key Laboratory of Pattern Analysis and Machine Intelli
gence, College of Computer Science and Technology, Nanjing
University of Aeronautics and Astronautics, Nanjing 211100
摘 要 医学影像的统计研究表明，组织的边缘信息是医学影像重建最难恢复的一个部分，但现有基于深度学习
的重建方法均缺乏对边缘信息的显式考虑.为了在重建时考虑影像的边缘信息，文中提出自监督边缘融合网络，完
成MRI 影像的压缩感知重建.首先使用边缘检测算子，以无需人工标注的方式生成影像的边缘标记.再提出自监督 的辅助网络，将边缘标记以特征学习的方式转换成可融合的特征.设计自顶向下的特征融合机制，将自监督网络学 习的特征融入重建网络，实现对影像的压缩感知重建.实验表明，文中网络可较好地捕获影像的边缘信息，重建效 果较优.
关键词 自监督，边缘，核磁共振成像(MRI)，重建
引用格式 李仲年，张涛，张道强.基于自监督边缘融合网络的MRI 影像重建.模式识别与人工智能，2021,
34(4) : 361-366.
DOI 10. 16451/j. cnki. issn1003-6059. 202104008
中图法分类号 TP 391小型变速箱
Self-supervised Edge-Fusion Network for MRI Reconstruction
LI Zhongnian 1 , ZHANG Tao 1 , ZHANG Daoqiang 1
ABSTRACT The research on compressed sensing magnetic resonance imaging( CS-MRI) suggests that the edge information is the hardest part of medical image reconstruction. In most deep-learning based
methods , the explicit consideration for edge information is not taken into account. To tackle this problem ,
a self-supervised edge-fusion network ( SEN ) is proposed to explore beneficial edge properties to
reconstruct MRI. Firstly , edge annotations are generated by utilizing canny edge detector without involving any time-consuming and expensive human labeling. Secondly , a self-supervised auxiliary
network is introduced to incorporate edge annotations into a feature learning to capture fusible
representations. A top-down fusion strategy is proposed to fuse the learned representations into reconstruction network for CS-MRI restoring. Experimental results show that SEN catches the edge
information effectively and achieves better performance in CS-MRI reconstruction.
Key Words Self-supervised , Edge , Magnetic Resonance Imaging( MRI) , Reconstruction
Citation LI Z N, ZHANG T, ZHANG D Q. Self-supervised Edge-Fusion Network for MRI Reconstruc
tion. Pattern Recognition and Artificial Intelligence , 2021 , 34(4) : 361-366.
收稿日期：2020-06-01 ；录用日期：2021-03-12
Manuscript received June 1, 2020 ；accepted March 12, 2021
国家重点研发计划项目(No. 2018YFC2001600,2018YFC2001
602,2018ZX10201002)、国家自然科学基金项目(No.61876082.61732006.61861130366) 资助
Supported by National Key Research and Development Program of China ( No. 2018YFC2001600,2018YFC2001602,2018ZX10
201002) , National Natural Science Foundation of China ( No.61876082.61732006.61861130366)
我行我本文责任编委左炜亮核磁共振成像(Magnetic Resonance Imaging ,
MRI)是临床医学诊断中强有力的成像方法.由于 MRI 采集时的非侵入式和影像的高分辨率,MRI 获
得广泛应用.然而,MRI 采集时间较长［|］，增加病患
362模式识别与人工智能(PR&AI)第34卷
在采集数据时的痛苦.为此，学者们试图减少数据的采集时间，减轻病患的痛苦.压缩感知(Compressed Sensing,CS)［1-2］是以降低医学影像的采样率，即以低于奈奎斯特采样率的方式进行数据采样，再对降采样的数据进行恢复.因为采样的样本点数远小于原始数据的维数，所以恢复问题是一个典型的欠定问题，这也是解决重建问题的关键.
为了解决重建问题，基于深度学习［3-4］的模型在影像恢复中得到广泛应用，并取得较优效果.基于深度学习的模型能自动提取有效特征，恢复能力强于传统的手工特征工程.通常将深度学习方法与最小平方误差(Minimum Squared Error,MSE)⑷结合以完成训练，输入为欠采样图像，输出为原始图像的端到端模型.然而，传统的最小均方误差常忽略纹理、边缘等关键信息，但这些信息在图像恢复中起到关键作用. 网络数字电视直播为了充分考虑边缘信息，本文提出用于压缩感知重建的自监督边缘融合网络(Self-supervised Edge Fusion Network,SEN).SEN可通过表示学习将MRI 图像的边缘转化为可被融合特征，利用这些边缘特征进行高质量重建.具体来说，为了充分利用边缘信息，设计自监督的边缘表示学习辅助任务，目标是将自动生成的边缘标注转换为适合重建任务的特征.再提出自顶向下的特征融合策略，强迫重建网络(Reconstruction Network,RN)咼层的特征表示聚焦于影像的边缘信息.实验表明，SEN可较好地捕获影像的边缘信息，重建效果较优.
1相关工作
在压缩感知磁共振成像(CS-MRI)重建中，现有的方法可分为两类：基于优化的重建和基于深度的重建.
基于优化的方法利用医学影像的内在稀疏性，使用厶范数或L范数［5］作为影像数据恢复的约束条件，直接重建数据.为了保留MRI图像的细节和边缘信息，一些学者提出低阶正则化方法，从欠采样数
据中恢复原始图像［5］.
基于优化的方法在重建过程中需要即时的求解带稀疏约束的欠定方程，在恢复时需要较大的计算资源.对数据施加较强的先验信息，这在实际应用场景中并不适用，例如，给医学影像的数据施加较强的稀疏特性，或是施加数据具有低秩性.然而在实际的应用中，这些都是不合适的假设.
近年来，学者们提出使用深度学习的方法解决重建问题.深度学习的方法打破对重建数据的不合适假设，直接学习端到端的重建网络，用于恢复影像［5］.重建网络的输入部分为欠采样的医学影像，输出部分为恢复的影像，重建推断的工作量得到简化，使用时仅推断深度模型，无需求解一个较大规模的欠定方程.
Ronneberger等［6］引入U型卷积神经网络(U Convolutional Network,U-Net)，从欠采样的图像中恢复原始图像，试图捕获不同图像块之间的信息. Yang等［7］提出降低错误深度对抗网络(De-aliasing Generative Adversarial Network,DAGAN)，利用判定网络提高重建网络输出影像的可视化性能. Seitzer等［8］探讨人类视觉部分损失特性，增加对抗性和知觉损失，目的是改善重建的视觉质量.但是，对于MRI重建任务，这些深度学习方法都缺乏对边缘性质的显式探索.
基于深度学习对信息的特征强大学习能力等优点，研究者们提出自监督学习方法，将值得关注的信息转化为特征表示.Noroozi等⑼提出基于空间上下文自监督学习的网络，利用像素排列作为标签以训练
网络，识别不同级别纹理统计之间的相关性.Liu 等［10］提出基于多任务的自监督排序方法，学习人计数，考虑到所有图像块都必须多于其内部的图像块人数的特性，生成排序标记，训练自监督模型.对比预训练和基于多任务的自监督方法之间的区别，实验结果表明基于多任务的自监督方法性能较优. Larsson等［11］预测相同像素上的颜，用于特征表示，便于视觉理解.上任务有可能为语义分割和分类保留像素内在特性.
综上所述，自监督学习是一种有效方法，可辅助 重建CS-MRI.
2自监督边缘融合网络
2.1重建的形式化描述
CS-MRI重建的目标是从欠采样信号y中恢复原始信号x沂X，但重建问题是一个欠定的逆问题，即任何欠采样重建的解都是无限多个的.
令
Y=［y1,y2,…,y"］
表示一组欠采样图像，
Y e=［y：,y：，…,y"］
表示一组原始信号的边缘标注，
X=［x1,x2，…，x"］
第4期李仲年等：基于自监督边缘融合网络的MRI影像重建363
表示一组原始图像.
2.2自监督辅助任务
如何赋予重建任务捕捉边缘信息的能力是重建
工作中的一项关键操作.本文将边缘信息转化为重
建的有效特征表示.为了转化边缘为有效特征，引入
行动研究法
自监督的边缘表示辅助任务.该任务有两个关键步
骤：边缘标注生成和自监督网络训练.
通过对图像统计的研究发现，边缘较广泛地覆
盖磁共振重建中的主要误差分量.SEN中注释生成
的操作是特定于具体任务的，这有助于重建网络关
注被忽略的信息.
SEN自动生成边缘标注，在生成过程中不涉及
任何耗时和昂贵的人工标记.具体地，利用Canny边缘检测器作为生成器，从原始MRI图像中生成一个边缘布尔矩阵，“真"值表示"边缘"分量,"假"值表示“非边缘”分量.再利用此矩阵生成一幅对应影像的边缘分割标注.
本文训练一个自监督网络(Self-Supervised Network，SSN)，用于将边缘标注转换为信息特征表示.训练SSN的目的是寻一个深度网络，该网络的功能是将欠采样的MRI图像拟合本文生成的边缘标注，从而获得边缘标注的较好特征表示.
SSN包括头部、身体部分和尾部三部分.在这些部分中，身体部分是由4个残差通道注意力模块(Residual Channel Attention Block，RCAB)组成的最不可或缺的组件.
2.3重建任务
受文献［11］启发，本文提出自顶向下的特征融合策略(Top-Down Feature Fusion Strategy,TDFS).该策略提供从SSN到重建网络较低层的语义特征反馈.由于带有边缘标注的SSN将捕获不同对象之间的上下文关系(如灰质、白质等)，灰质与白质的边缘部分是对象间上下文关系的重要组成部分，因此本文希望模型能学习这些边缘的上下文关系.这些关系将指导重建网络集中精力恢复边缘区域.SEN 网络结构如图1所示.
为了更自适应地将SSN中的边缘表示特征融合于RN中，进行从顶向下的特征传输处理，即将SSN 提取的高层特征加入RN较低层的特征中.具体地，该特征融合将边缘表示和较低层重建特征之间的逐点进行相加.
图1自监督边缘融合网络框图
Fig.1Framework of self-supervised edge-fusion network
在实现融合策略时，利用边缘上下文表示作为边缘语义线索，引导重建模块关注边缘信息.
如上所述,SEN由SSN和RN组成.使用最小化负对数似然损失和欠采样MRI以及自动生成的边缘标注对SEN进行训练，即
L ed(F°d(Y),Y e)=
n m m
-n移移移(y：［汕(KM)［,,］)),
k=1i=1j=1
其中，化d(Y)表示SEN』：」』表示自监督生成的标记,n表示训练图像的幅数,m表示训练图像的长和宽，:/的取值范围为0~1.
对于重建任务，使用原始图像和欠采样图像作为训练数据对.利用最小化均方误差优化RN.损失函数为
Sc(F”*(Y),X)=1移(-F””(/)2),
n k=1
阿片受体激动剂
其中,F”*(Y)表示重建网络，/的取值范围为0~ 255.
为了提高重建任务，在训练过程中注重边缘t 特征，先对SSN预训练，再对RN进行训练，并对SSN 进行微调.联合训练策略使这两项互补任务相互帮助，提高恢复质量.
综上所述,SEN优化如下：
L sen(y,y：,X)=
L“*(F”*(Y),X)+aLJ FJ Y) ,Y：),
其中，琢表示用于平衡重建任务损失和边缘表示任务损失的正则化参数
.
364模式识别与人工智能(PR &AI)第34卷
3
实验及结果分析
3.1
实验环境
本文使用来自IBSR 的MRI 数据集进行实验评
估.IBSR 数据集是由20名正常受试者组成，每名受
试者包含近60幅、大小为256伊256的T1加权二维 图像，这些图像被收集用于大脑自动分割.随机划分 IBSR 数据集,900幅图像用于训练,100幅图像用于
验证,200幅图像用于独立测试.利用笛卡尔采样矩
阵从k 空间生成欠采样图像，利用canny 检测器从原
始图像自动生成边缘标注.
在Pytorch 上训练和测试SEN,Python 的运行环
境包括 NVIDIA GeFore GTX TITAN X 的显卡,32
GB 的内存和 2. 80 GHz 的 Intel Xeon CPU E5-1603.
使用Adam [12]作为优化器训练模型，并将初始学习
率设置为0. 000 03.设置批大小(Batchsize)为4，训
练的迭代次数为200.在实验中，卷积核的大小为3伊 3，未使用膨胀卷积，选择最大池化.将身体部分的 RCAB 数量设置为4，权衡参数琢=1.
本文使用峰值信噪比(Peak Signal to Noise
Ratio , PSNR)和结构相似性(Structural Similarity Index, SSIM)这两个量化指标[13]评价重建结果. PSNR 反映原始MRI 与重建结果的一致性,SSIM 用
于评价图像的结构相似性.3.2
实验结果
首先进行消融实验评估SEN 的性能.以RCAN
为基础模型，将RCAN 的输入图像由RGB 调整为灰
度图像.表1给出采样率分别为20%和30%时,3种 方法的性能对比.由表可知，加入SSN 后,SEN 取得
较优效果，在不同的采样率中均具有明显的效果 提升.
接下来，采用如下对比方法:U-NeP 、DAGAN [7]、
对抗感知网络(Adversarial Perceptual Network ,
神舟hp860APNet)[8]、感知微调网络(Perceptual Refinement
Network , PRNet)[8].在20%和30%采样率上测试
各方法的性能，具体结果如表1所示.使用原文献作
者在Github 上提供的已公布代码.对于U-Net 和
DAGAN ，使用同一设备上的Python 3. 6环境，在
Tensorflow 1.5上训练和测试.对于APRNet ，在与 SEN 相同的环境下进行训练和测试.
相比其它方法，在不同采样率下,SEN 的重建误
差更小,APRNet 得到相似结果.分析认为SEN 获得
最佳性能的原因是自监督边缘融合策略的加入.由 于边缘在重建任务中起到关键作用，因此有必要引
导重建网络更多关注边缘信息.
different sampling rates
表1
采样率不同时各方法的性能对比
Table 1 Performance comparison of different methods with
方法
20%30%
PSNR
SSIM PSNR SSIM 零填充
28. 9300. 802
29. 8630. 823(±6.22)( ± 0. 02)( ± 5. 23)( ± 0. 03)RCAN
33. 6360. 92234. 4410. 934( ± 5. 38)( ± 0. 02)( ± 6. 02)( ± 0. 02)SEN
34. 5750. 93434. 7160. 936( ± 4. 90)
( ± 0. 02)( ± 4. 92)( ± 0. 02)DAGAN 31.4040. 87531.5220. 907( ± 5. 84)( ± 0. 02)( ± 5. 45)
( ± 0. 02)ARNet
32. 9490. 90032. 9950. 875(± 7. 62)( ± 0. 01)( ± 6. 79)( ± 0. 02)U-Net
33. 6720. 91233. 7020. 912( ± 6. 23)( ± 0. 02)( ± 5. 32)( ± 0. 02)PRNet
33. 7510. 92133. 8210. 902(±5.31)
( ± 0. 02)
( ± 4. 73)
( ± 0. 02)
各方法在不同采样率上的可视化结果如图2所
示.由图可知，可视化评估与性能对比结果一致，可
见大多数重建方法不能准确恢复边缘.相比之下,
SEN 获得更清晰的结果，并重建更多的边缘细节.
真实结果零填充 DAGAN U -Net ARNet PRNet SEN
(a)20%采样率时的重建结果
(a) Reconstruction images with a sampling rate of
20%
第4期李仲年等：基于自监督边缘融合网络的MRI影像重建365
真实结果零填充DAGAN U-Net ARNet PRNet SEN r -125
(b)20%采样率时的误差图
(b)Error maps with a sampling rate of20%
真实结果零填充DAGAN U-Net ARNet PRNet SEN
(c)30%采样率时的重建结果
(c)Reconstruction images with a sampling rate of30%
r0
-
125
J
图2不同采样率下各方法的重建图像
Fig.2Reconstruction image of different methods with different sample rates.
4结束语
对CS-MRI图像统计结果表明，边缘部分是从欠采样图像恢复原始图像的主要误差区域.本文提出自监督边缘融合网络(SEN)，用于CS-MRI重建，尝试在深度模型MRI重建中显式挖掘有益的边缘信息.实验表明，SEN可捕捉边缘信息，在重建中取得良好的重建效果.在今后的重建中，设计新的辅助任务生成更多的信息特征是一个有意义的课题.此外，还应提出一些新的融合策略，指导重建任务关注转换后的边缘信息.
参考文献
[1]LLSTIG M,DONOHO D L,SANTOS J M,et al.Compressed Sen
sing MRI.IEEE Signal Processing Magazine,2008,25(2):72
82.[2]CANDES E J,ROMBERG J,TAO T.Robust Uncertainty Princi
ples:Exact Signal Reconstruction from Highly Incomplete Frequency Information.IEEE Transactions on Information Theory,2006,52(2): 489-509.
[3]SLN L Y,FAN Z W,DING X H,et al.Joint CS-MRI Reconstruc
tion and Segmentation with a Lnified Deep Network//Proc of the International Conference on Information Processing in Medical Imaging.Berlin,Germany:Springer,2019:492-504.
[4]QIN C,SCHLEMPER J,CABALLERO J,et al.Convolutional Re
current Neural Networks for Dynamic MR Image Reconstruction.
IEEE Transactions on Medical Imaging,2019,38(1):280-290.
[5]QL X B,HOL Y K,LAM F,et al Magnetic Resonance Image Re
construction from L ndersampled Measurements Lsing a Patch-Based Nonlocal Operator.Medical Image Analysis,2014,18(6):843-856.
[6]RONNEBERGER O,FISCHER P,BROX T.L-Net:Convolutional
N etworks for Biomedical Image Segmentation//Proc of the International Conference on Medical Image Computing and Computer-Assisted Intervention.Berlin,Germany:Springer,2015：234-241. [7]YANG G,YL S M,DONG H,et al.DAGAN:Deep
De-aliasing
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议