一种基于PET/CT影像的肝细胞癌微血管侵犯预测方法

一种基于pet/ct影像的肝细胞癌微血管侵犯预测方法
技术领域
1.本发明涉及医学影像分析技术领域，具体而言，涉及一种基于pet/ct影像的肝细胞癌微血管侵犯预测方法。

背景技术：

2.微血管浸润mvi是肝细胞癌hcc早期复发和预后不良的重要决定因素。术前准确预测mvi对于制定策略和评估患者预后具有重要的临床意义。目前，越来越多的研究表明，pet/ct是将pet和ct结合综合成像，对于术前评估恶性肿瘤与监测hcc进展阶段具有较高的价值。pet/ct作为一种综合成像，充分融合了pet的分子代谢功能特点和ct的解剖结构特点，可以极大地提高mvi临床诊断的准确性。
3.临床上，医生对于pet/ct影像的征象信息分析往往会受限于医生的临床经验，易受到很多主观因素的影响。使用定量方法分析pet/ct影像可能更有助于hccmvi术前预测。影像组学可以分析量化了肉眼无法观察到的组织特征，与主观评估相比往往更稳定，有利于客观的分析病变特征。但利用pet/ct对mvi的预测方法中，仍有局限性，主要是通用特征针对mvi的预测不够具有代表性，缺乏特定的语义信息表达，导致在面对复杂病例时，漏诊和误诊率较高。深度学习在医学影像分类和预测中表现良好，以数据驱动方式直接提取和学习深度特征，克服了上述影像组学缺点。基于ct图像和动态增强mri的深度学习方法预测mvi的研究都取得了较好的效果。
4.但是现有的研究均是基于单模态的pet/ct影像的研究，单模态的pet/ct影像的研究不能够提供更多的关于肿瘤的不同尺度信息，难以综合利用pet和ct各自的优势，来提取具有表征性的特征，使预测结果的准确性不能够进一步提高。

技术实现要素：

5.本发明解决的问题是pet和ct各自的优势难以综合利用，造成基于pet/ct影像的肝细胞癌微血管侵犯预测精度难以有效提高的问题，实现基于双模态pet/ct影像研究对肝细胞癌微血管侵犯的预测，并使得预测结果更加准确的技术效果。
6.为解决上述问题，本发明提供一种基于pet/ct影像的肝细胞癌微血管侵犯预测方法，包括有以下步骤。
7.步骤1：数据集由包含n幅pet/ct影像组成，采集器为biograph 64 pet/ct显像仪，数据格式为dicom格式，肿瘤区域的手工标记图像由两位具有多年临床经验的影像科医生手工标注分割后形成，图片尺寸为224
×
224mm，从数据集中选取m幅pet/ct影像组成训练集，并选取s幅未参与训练的pet/ct影像组成测试集，m和s均为正整数，n＝m+s。
8.步骤2：分别对训练集和测试集中的所有pet/ct影像进行预处理，得到预处理之后的训练集和测试集，将预处理之后的训练集和测试集中的图像分别记为第一图像和第二图像。
9.步骤3：初始化双branch网络中的参数，并将所有第一图像依次输入到双branch网
络中进行训练，不断更新双branch网络中的参数，得到训练完成的双branch网络；其中，使用任意一幅第一图像对双branch网络进行训练的具体过程为。
10.步骤3-1：每个第一图像都包括pet图像和ct图像，双branch网络包括pet-guided branch、ct branch两个分支，将pet图像输入到pet-guided branch中，将ct图像输入到ct branch中。
11.步骤3-2：pet-guided branch和ct branch分别包括有n个残差模块，在pet-guided branch中的前三个残差模块和ct branch中的前三个残差模块之间引入pet-guided attention，利用pet-guided attention凸出病灶区域。
12.步骤3-3：在pet-guided branch中，经过n个残差模块后进行采样，得到pet采样特征图，在ct branch中，经过n个残差模块后进行采样，得到ct采样特征图，将pet采样特征图与ct采样特征图相加，并从主网络中输出预测结果。
13.步骤3-4：将预测结果记为y，对预测结果计算损失函数，并反向传播到双branch网络中，更新双branch网络中的参数，得到一次训练之后的双branch网络中；其中，损失函数公式为：
[0014][0015]
步骤4：将第二图像输入到训练完成的双branch网络中，得到预测结果。
[0016]
与现有技术相比，采用该技术方案所达到的技术效果：微血管浸润mvi是肝细胞癌hcc早期复发和预后不良的重要决定因素。术前准确预测mvi对于制定策略和评估患者预后具有重要的临床意义。pet/ct作为一种综合成像手段，充分融合了pet的分子代谢功能特点和ct的解剖结构特点，可以极大地提高mvi临床诊断的准确性。然而传统的影像组学分析方法难以综合利用pet和ct各自的优势，提取具有表征性的特征。为解决上述问题，我们提出另一种双branch的pet-guided的注意力网络来预测mvi。该模型使用双branch网络分别提取pet和ct的影像特征，并使用pet-guided的注意力模块将模型聚焦于病灶区域，减少无关冗余的信息干扰。实验结果表明，该方法在术前肝细胞微血管的预测性能优于单模态的预测模型。具体来说，我们训练的模型在验证集上acc达到0.846，pre达到0.881，recall为0.793，f1-score为0.835。
[0017]
在本发明的一个实例中，步骤3-2中在pet-guided branch中的前三个残差模块和ct branch中的前三个残差模块之间引入pet-guided attention，包括：
[0018]
步骤3-2-1：pet图像经过第一个pet残差模块后得到pet特征，ct图像经过第一个ct残差模块后得到ct特征。
[0019]
步骤3-2-2：将pet特征放入maxpool模块和avgpool模块处理，得到第一处理结果。
[0020]
步骤3-2-3：将第一处理结果放入通道级联操作模块和卷积运算模块得到第二处理结果。
[0021]
步骤3-2-4：使用sigmoid函数模块对第二处理结果激活，生成特征软注意力映射mpet(fpet)。
[0022]
步骤3-2-5：将特征软注意力映射mpet(fpet)分别与pet特征、ct特征进行相乘，得到pet引导的注意力特征，公式表示为：
[0023]mpet
(f
pet
)＝sigmoid(f7×7([avgpool(f
pet
)；maxpool(f
pet
]]))
[0024][0025]
步骤3-2-6：将pet引导的注意力特征继续输入到第二个pet残差模块和第二个ct残差模块中，并在前三个残差模块中重复进行步骤3-2-1到步骤3-2-6；其中，pet-guided attention module包括：maxpool模块、avgpool模块、通道级联操作模块、卷积运算模块和sigmoid函数模块。
[0026]
与现有技术相比，采用该技术方案所达到的技术效果：注意力模块pet-guided attention module中包含有多个计算模块，能够将信息通过maxpool模块、avgpool模块、通道级联操作模块、卷积运算模块和sigmoid函数模块对信息进行进一步的提取和关注，进一步使预测结果更加准确。
[0027]
采用本发明的技术方案后，能够达到如下技术效果：
[0028]
(1)设计了pet和ct神经网络分支，用于提取pet图像和ct图像的特征；
[0029]
(2)提出了pet-guided空间注意力模块，从pet中学习空间特征生成空间注意力图，用于指导pet和ct专注于重要的特征，抑制不必要的特征。
附图说明
[0030]
图1为原始pet图像。
[0031]
图2为原始ct图像。
[0032]
图3为对原始pet图像和原始ct图像进行肿瘤区域提取的示意图。
[0033]
图4为双branch网络的示意图。
[0034]
图5为pet-guided attention module的结构示意图。
[0035]
图6为roc曲线。
具体实施方式
[0036]
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
[0037]
【实施例一】
[0038]
本发明提供一种基于pet/ct影像的肝细胞癌微血管侵犯预测方法，包括以下步骤：
[0039]
本案中提出的预测方法是基于windows10系统，使用python3.6和pytorch1.7.1实现，使用的显卡是nvidiageforce gtx 1080 ti gpu。实验使用batch size为16，使用adam优化，学习率为10-4，模型训练100个epoch。
[0040]
步骤1：数据集由包含n幅pet/ct影像组成，采集器为biograph 64 pet/ct显像仪，数据格式为dicom格式，肿瘤区域的手工标记图像由两位具有多年临床经验的影像科医生手工标注分割后形成，图片尺寸为224
×
224mm，从数据集中选取m幅pet/ct影像组成训练集，并选取s幅未参与训练的pet/ct影像组成测试集，m和s均为正整数，n＝m+s；
[0041]
步骤2：分别对训练集和测试集中的所有pet/ct影像进行预处理，得到预处理之后的训练集和测试集，将预处理之后的训练集和测试集中的图像分别记为第一图像和第二图
像；
[0042]
步骤3：初始化双branch网络中的参数，并将所有第一图像依次输入到双branch网络中进行训练，不断更新双branch网络中的参数，得到训练完成的双branch网络；
[0043]
其中，使用任意一幅第一图像对双branch网络进行训练的具体过程为：
[0044]
步骤3-1：每个第一图像都包括pet图像和ct图像，双branch网络包括pet-guided branch、ct branch两个分支，将pet图像输入到pet-guided branch中，将ct图像输入到ct branch中；
[0045]
步骤3-2：pet-guided branch和ct branch分别包括有n个残差模块，在pet-guided branch中的前三个残差模块和ct branch中的前三个残差模块之间引入pet-guided attention，利用pet-guided attention凸出病灶区域；
[0046]
步骤3-3：在pet-guided branch中，经过n个残差模块后进行采样，得到pet采样特征图，在ct branch中，经过n个残差模块后进行采样，得到ct采样特征图，将pet采样特征图与ct采样特征图相加，并从主网络中输出预测结果；
[0047]
步骤3-4：将预测结果记为y，对预测结果计算损失函数，并反向传播到双branch网络中，更新双branch网络中的参数，得到一次训练之后的双branch网络中；
[0048]
其中，损失函数公式为：
[0049][0050]
步骤4：将第二图像输入到训练完成的双branch网络中，得到预测结果。
[0051]
步骤3-2中在pet-guided branch中的前三个残差模块和ct branch中的前三个残差模块之间引入pet-guided attention，包括：
[0052]
步骤3-2-1：pet图像经过第一个pet残差模块后得到pet特征，ct图像经过第一个ct残差模块后得到ct特征；
[0053]
步骤3-2-2：将pet特征放入maxpool模块和avgpool模块处理，得到第一处理结果；
[0054]
步骤3-2-3：将第一处理结果放入通道级联操作模块和卷积运算模块得到第二处理结果；
[0055]
步骤3-2-4：使用sigmoid函数模块对第二处理结果激活，生成特征软注意力映射mpet(fpet)；
[0056]
步骤3-2-5：将特征软注意力映射mpet(fpet)分别与pet特征、ct特征进行相乘，得到pet引导的注意力特征，公式表示为：
[0057]mpet
[f
pet
)＝sigmoid(f7×7([avgpool(f
pet
)；maxpool(f
pet
)]))
[0058][0059]
步骤3-2-6：将pet引导的注意力特征继续输入到第二个pet残差模块和第二个ct残差模块中，并在前三个残差模块中重复进行步骤3-2-1到步骤3-2-6；
[0060]
其中，pet-guided attention module包括：maxpool模块、avgpool模块、通道级联操作模块、卷积运算模块和sigmoid函数模块。
[0061]
微血管浸润mvi是肝细胞癌hcc早期复发和预后不良的重要决定因素。术前准确预
测mvi对于制定策略和评估患者预后具有重要的临床意义。pet/ct作为一种综合成像手段，充分融合了pet的分子代谢功能特点和ct的解剖结构特点，可以极大地提高mvi临床诊断的准确性。然而传统的影像组学分析方法难以综合利用pet和ct各自的优势，提取具有表征性的特征。为解决上述问题，我们提出另一种双branch的pet-guided的注意力网络来预测mvi。该模型使用双branch网络分别提取pet和ct的影像特征，并使用pet-guided的注意力模块将模型聚焦于病灶区域，减少无关冗余的信息干扰。实验结果表明，该方法在术前肝细胞微血管的预测性能优于单模态的预测模型。具体来说，我们训练的模型在验证集上acc达到0.846，pre达到0.881，recall为0.793，f1-score为0.835。
[0062]
【实施例二】
[0063]
本实施例是对上述提出的神经网络的预测结果进行的验证。验证的样本通过上述提到的患者样本资料中的验证集来完成。本文使用混淆矩阵来衡量分类的性能，根据youden指数根据训练集确定的最佳分类阈值，在接收者操作特征曲线下面积auc、准确性acc、敏感性、特异性、f1-score方面进行了评估。本研究中，真阳性tp是正确分类的mvi+，假阳性fp是不属于mvi+但被模型划分为mvi+的。同样，真阴性tn是指正确分类的mvi-，假阴性fn表示mvi+被错误分类为mvi-。以下是4个指标acc、sen、spe、f1-score的数学表达式：
[0064]
公式一：
[0065][0066]
公式二：
[0067][0068]
公式三：
[0069][0070]
公式四：
[0071][0072]
首先，为了验证我们所选backbone的有效性，我们选用四个不同规模的resne模型在同一个验证集上进行精度比较。四个模型分别是：resnet18、resnet34、resnet50、resnet101。实验结果如表1所示：
[0073][0074]
如表1所示，表1为不同主干网络的比较图，使用resnet50能够达到最高的准确性acc、敏感性、特异性、f1-score，分别达到0.816、0.814、0.810和0.812，高于其他规模的resnet。当模型层小于50时，由于参数不足，模型拟合能力不足。当模型层数大于50时，由于模型参数太多，训练集规模不大，导致模型过拟合，准确率有一定程度的下降，因此，最终我们选取resnet50后续的backbone。
[0075]
为验证pet、ct两种模态的特征对mvi预测的有效性，我们使用resnet50分别基于单一的pet、单一的ct和pet/ct两种模态进行评估，结果如表2所示：
[0076][0077]
如表2所示，表2为不同模式的比较，在pet/ct双模态中预测的性能最好，其次是pet单一模态，其acc、pre、recall和f1-score分别达到0.805、0.819、0.759和0.788仅次于双模态的性能。而单一的ct模态所表型的性能不佳，其acc、pre、recall和f1-score分别为0.704、0.680、0.748和0.712。造成这一结果的可能原因是，pet模态的病灶区域具有异质性，更有利于对mvi的预测。为更有效的利用pet模态这种特性，我们设计了一个pet-guided attention，使网络更增加关注病灶区域，避免被ct中的无关冗余信息影响。
[0078]
为了比较并验证我们所提的pet-guided attention的有效性，我们分别使用ct-guided、pet/ct-guided、pet-guided attention进行比较，ct-guided attention即对ct模态中的特征通过空间注意力加权的形式分别作用与pet、ct模态的特征，依次类推。结果如表3所示：
[0079][0080]
由表3可见，表3为不同的注意力模块的比较，我们所设计的pet-guided attention的mvi预测性能高于ct-guided attention和pet/ct-guided，其acc达到0.846，
pre达到0.881，recall为0.793，f1-score为0.835。为进一步比较模型的性能，我们绘制了roc曲线，参见图6。
[0081]
如表4所示，表4为使用不同方法的auc结果，带有pet-guided attention的模型性能高于不带注意力模块的模型。为了更直观地比较两种模型的性能，我们计算了auc，结果如表4所示。
[0082][0083]
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

技术特征：

1.一种基于pet/ct影像的肝细胞癌微血管侵犯预测方法，其特征在于包括以下步骤：步骤1：数据集由包含n幅pet/ct影像组成，采集器为biograph 64 pet/ct显像仪，数据格式为dicom格式，肿瘤区域的手工标记图像由两位具有多年临床经验的影像科医生手工标注分割后形成，图片尺寸为224
×
224mm，从数据集中选取m幅所述pet/ct影像组成训练集，并选取s幅未参与训练的pet/ct影像组成测试集，m和s均为正整数，n＝m+s；步骤2：分别对所述训练集和所述测试集中的所有所述pet/ct影像进行预处理，得到预处理之后的训练集和测试集，将所述预处理之后的训练集和测试集中的图像分别记为第一图像和第二图像；步骤3：初始化双branch网络中的参数，并将所有所述第一图像依次输入到所述双branch网络中进行训练，不断更新所述双branch网络中的参数，得到训练完成的双branch网络；其中，使用任意一幅第一图像对所述双branch网络进行训练的具体过程为：步骤3-1：每个所述第一图像都包括pet图像和ct图像，所述双branch网络包括pet-guided branch、ct branch两个分支，将所述pet图像输入到所述pet-guided branch中，将所述ct图像输入到所述ct branch中；步骤3-2：所述pet-guided branch和所述ct branch分别包括有n个残差模块，在所述pet-guided branch中的前三个残差模块和所述ct branch中的前三个残差模块之间引入pet-guided attention，利用所述pet-guided attention凸出病灶区域；步骤3-3：在所述pet-guided branch中，经过n个残差模块后进行采样，得到pet采样特征图，在所述ct branch中，经过n个残差模块后进行采样，得到ct采样特征图，将所述pet采样特征图与所述ct采样特征图相加，并从主网络中输出预测结果；步骤3-4：将所述预测结果记为y，对所述预测结果计算损失函数，并反向传播到双branch网络中，更新双branch网络中的参数，得到一次训练之后的双branch网络中；其中，损失函数公式为：步骤4：将所述第二图像输入到所述训练完成的双branch网络中，得到预测结果。2.根据权利要求1所述的基于pet/ct影像的肝细胞癌微血管侵犯预测方法，其特征在于，所述步骤3-2中在所述pet-guided branch中的前三个残差模块和所述ct branch中的前三个残差模块之间引入pet-guided attention，包括：步骤3-2-1：所述pet图像经过第一个pet残差模块后得到pet特征，所述ct图像经过第一个ct残差模块后得到ct特征；步骤3-2-2：将所述pet特征放入maxpool模块和avgpool模块处理，得到第一处理结果；步骤3-2-3：将所述第一处理结果放入通道级联操作模块和卷积运算模块得到第二处理结果；步骤3-2-4：使用sigmoid函数模块对所述第二处理结果激活，生成特征软注意力映射mpet(fpet)；步骤3-2-5：将所述特征软注意力映射mpet(fpet)分别与所述pet特征、所述ct特征进
行相乘，得到pet引导的注意力特征，公式表示为：m
pet
(f
pet
)＝sigmoid(f7×7([avgpool(f
pet
)；maxpool(f
pet
)]))步骤3-2-6：将所述pet引导的注意力特征继续输入到第二个pet残差模块和第二个ct残差模块中，并在前三个残差模块中重复进行步骤3-2-1到步骤3-2-6；其中，所述pet-guided attention module包括：所述maxpool模块、所述avgpool模块、所述通道级联操作模块、所述卷积运算模块和所述sigmoid函数模块。

技术总结

本发明提供了一种基于PET/CT影像的肝细胞癌微血管侵犯预测方法，方法包括：步骤1，从数据集中选取m幅PET/CT影像组成训练集，并选取s幅未参与训练的PET/CT影像组成测试集；步骤2，分别对训练集和测试集中的所有PET/CT影像进行预处理；步骤3，将所有第一图像依次输入到双branch网络中进行训练，不断更新双branch网络中的参数，得到训练完成的双branch网络；步骤4，将第二图像输入到训练完成的双branch网络中，得到预测结果。本发明解决的问题是难以综合利用PET和CT各自的优势使肝细胞癌微血管侵犯的预测更加准确的技术问题，实现基于双模态PET/CT影像研究对肝细胞癌微血管侵犯的预测，并使得预测结果更加准确的技术效果。并使得预测结果更加准确的技术效果。并使得预测结果更加准确的技术效果。