乳腺癌进展分析方法、装置、设备和介质与流程

1.本发明实施例涉及医学图像处理技术领域，尤其涉及乳腺癌进展分析方法、装置、设备和介质。

背景技术：

2.乳腺癌目前的手段大都采取新辅助需要对乳腺癌进展分析。传统的方法是通过手术以及病理检查结果来进行乳腺癌进展分析，判断后的乳腺癌是否得到缓解。
3.现有的乳腺癌进展分析是医生对患者放疗前的医学影像和患者放疗后的医学影像进行分析。由于放疗前的医学影像和放疗后的医学影像不是同一时间成像，所以拍摄技师可能不同，且不同经验的医生在定位乳腺癌病灶时会产生差异，耗费大量时间且结果不够精准。

技术实现要素：

4.本发明实施例提供了一种乳腺癌进展分析方法、装置、设备和介质，解决了乳腺癌病灶定位差异的问题，可以实现乳腺癌进展分析的智能化和自动化，提高乳腺癌进展分析的准确率和效率。
5.第一方面，本发明实施例提供了一种乳腺癌进展分析方法，该方法包括：
6.获取目标对象的临床检验报告、先后两次影像学检查中的待分析乳腺癌医学图像及图像分析报告；
7.分别提取乳腺癌医学图像、图像分析报告及临床检验报告中的特征向量；
8.将各特征向量进行拼接，并将拼接得到的目标特征向量输入到经过预先训练的乳腺癌进展分析模型，得到目标分析结果。
9.第二方面，本发明实施例还提供了一种乳腺癌进展分析装置，该装置包括：
10.分析数据获取模块，用于获取目标对象的临床检验报告、先后两次影像学检查中的待分析乳腺癌医学图像及图像分析报告；
11.分析特征提取模块，用于分别提取所述乳腺癌医学图像、图像分析报告及临床检验报告中的特征向量；
12.分析结果确定模块，用于将各所述特征向量进行拼接，并将拼接得到的目标特征向量输入到经过预先训练的乳腺癌进展分析模型，得到目标分析结果。
13.第三方面，本发明实施例还提供了一种计算机设备，计算机设备包括：
14.一个或多个处理器；
15.存储器，用于存储一个或多个程序；
16.当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现任一实施例的乳腺癌进展分析方法。
17.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机
程序，该程序被处理器执行时实现如本发明任一实施例所提供的乳腺癌进展分析方法。
18.本发明实施例的技术方案，通过获取目标对象的临床检验报告、先后两次影像学检查中的待分析乳腺癌医学图像及图像分析报告；分别提取乳腺癌医学图像、图像分析报告及临床检验报告中的特征向量；将各特征向量进行拼接，并将拼接得到的目标特征向量输入到经过预先训练的乳腺癌进展分析模型，得到目标分析结果。本发明实施例的技术方案，解决了乳腺癌病灶定位差异的问题，可以实现乳腺癌进展分析的智能化和自动化，提高乳腺癌进展分析的准确率和效率。
附图说明
19.图1是本发明实施例提供的一种乳腺癌进展分析方法的流程图；
20.图2是本发明实施例提供的一种乳腺癌进展分析方法的流程图；
21.图3是本发明实施例提供的一种乳腺癌进展分析装置的结构框图；
22.图4是本发明实施例提供的一种计算机设备的结构框图。
具体实施方式
23.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
24.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”和“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
25.图1是本发明实施例提供的一种乳腺癌进展分析方法的流程图，本实施例可适用于基于医学图像的乳腺癌进展分析的场景中，特别的，本实施例更适用于基于mri(magnetic resonance imaging，磁共振成像)图像乳腺癌进展分析的情况。该方法可以由乳腺癌进展分析装置执行，该装置可以由软件和/或硬件的方式来实现，集成于具有应用开发功能的计算机设备中。
26.如图1所示，本实施例的乳腺癌进展分析方法包括以下步骤：
27.s110、获取目标对象的临床检验报告、先后两次影像学检查中的待分析乳腺癌医学图像及图像分析报告。
28.其中，目标对象指待进行乳腺癌进展分析的乳腺癌患者。
29.先后两次影像学检查是指目标对象不同时期的两次影像学检查，例如，可以是目标对象前和后的两次影像学检查。
30.临床检验报告是指目标对象在先一次影像学检查时期的临床检验报告，例如，可以是目标对象前的临床检验报告。
31.可选的，临床检验报告可以包括体格检查结果、乳腺癌肿瘤标志物检查结果、免疫
组化检查结果和组织活检结果、使用药物信息等内容。
32.体格检查用于乳腺癌的初筛，判断初诊患者是否存在乳房异常迹象，例如，可以是乳房肿块、乳房皮肤改变、乳头溢液等异常现象和淋巴结的异常情况。
33.其中，乳腺癌肿瘤标志物检查中常见检查指标包括血清癌抗原15-3(ca15-3)、血清癌胚抗原(cea)、血清癌抗原125(ca125)等能够为确诊乳腺癌提供补充依据的检查指标，可以对术后复发及转移情况进行监控。
34.其中，免疫组化检查中常见检查指标有ki-67、her-2、er、pr等，用于确诊乳腺癌的分子类型，为后期提供依据。er、pr阳性说明是激素依赖性乳腺癌，而ki-67、her-2阳性代表肿瘤的侵袭性高，容易复发转移。
35.其中，组织活检用于疑似乳腺癌患者，可以在超声引导下对肿块穿刺，取出少量肿块组织进行病理学检查。
36.使用药物信息是目标对象进行乳腺癌所使用的药物信息，具体的，包括使用药物名称、服用天数、剂量、药物规格等信息。
37.待分析乳腺癌医学图像可以是通过乳腺钼靶x线摄影检查获得的图像、通过乳腺超声获得的超声图像和通过磁共振设备扫描获得的mri图像。
38.图像分析报告包括病史、与既往检查片对比、扫描技术、乳房的纤维腺体构成和实质背景强化和任何相关的影像发现。描述病灶形态特征和动态增强曲线特征，并以形态分析为首要的判断依据，对于形态特征判断困难者，需要动态增强曲线类型进行判断。形态特征需要对增强前t1wi、t2wi上的信号特点及增强后的表现行综合分析。但病灶形态描述则根据增强后形态进行，并将病灶分为点状强化、肿块和非肿块强化三大类。
39.可以理解的是，医生根据目标对象的临床检验报告、在先影像学检查的乳腺癌医学图像、图像分析报告及，对目标对象进行，一段时间之后，例如，可以是一个月、半年等，获取目标对象后的影像学检查的乳腺癌医学图像、图像分析报告，根据目标对象两次影像学检查中的待分析乳腺癌医学图像、图像分析报告做进一步的乳腺癌进展分析。
40.s120、分别提取乳腺癌医学图像、图像分析报告及临床检验报告中的特征向量。
41.首先，提取先后两次影像学检查中的乳腺癌医学图像预设影像组学数据，并对预设影像组学数据进行编码得到第一特征向量。
42.其中，预设影像组学数据是针对先后两次影像学检查中的乳腺癌医学图像进行特征提取得到的影像组学特征数据。
43.具体的，第一特征向量是通过提取先后两次医学图像的影像组学数据的特征，并将其输入处理时序问题的深度学习模型中进行编码得到的特征向量。
44.影像组学数据的特征可以包括形状特征、一阶特征、灰度矩阵特征、灰度区域大小矩阵特征、灰度行程矩阵特征、邻域灰度差矩阵特征、灰度相关特征和小波特征等特征。
45.具体的，形状特征包括mesh volume(网格体积)、voxel volume(体素体积)、surface area(表面积)、surface area to volume ratio(表面积体积比)、sphericity(球度)、maximum 3d diameter(最大3d直径)、maximum2d diameter(slice)(最大2d直径(切片))、maximum 2d diameter(column)(最大2d直径(列))、maximum 2d diameter(row)(最大2d直径(行))、major axis length(最大轴长度)、minor axis length(第二大轴长度)、
least axis length(最短轴长度)、elongation(伸长率)和flatness(平面度)等特征。
46.一阶特征包括energy(能量)、total energy(总能量)、entropy(熵)、minimum(最小值)、10th percentile(第十百分位)、90th percentile(第九十百分位)、maximum(最大值)、mean(均值)、median(中值)、interquartile range(四分位范围)、range(极差)、mean absolute deviation(mad)(平均绝对偏差)、robust mean absolute deviation(rmad，鲁棒平均绝对偏差)、root mean squared(rms，均方根)、skewness(偏度)、kurtosis(峰度)、variance(方差)和uniformity(均匀性)等特征。
47.灰度共生矩阵特征包括autocorrelation(自相关)、joint average(联合平均)、cluster prominence(集突出)、cluster shade(集阴影)、cluster tendency(集趋势)、contrast(对比度)、correlation(相关性)、difference average(差平均)、difference entropy(差熵)、difference variance(差方差)、joint energy(联合能量)、joint entropy(联合熵)、informational measure of correlation 1(imc 1，相关信息测度1)、informational measure of correlation2(imc 2，相关信息测度2)、inverse difference moment(idm，逆差矩)、maximal correlation coefficient(mcc，最大相关系数)、inverse difference moment normalized(idmn，归一化逆差矩)、inverse difference(id，逆差)、inverse difference normalized(idn，归一化逆差)、inverse variance(逆方差)、maximum probability(最大概率)、sum average(和平均)、sum entropy(和熵)和sum of squares(和方差)等特征。
48.灰度区域大小矩阵特征包括small area emphasis(sae，小面积强调)、large area emphasis(lae，大面积强调)、gray level non-uniformity(gln，灰度不均匀性)、gray level non-uniformity normalized(glnn，归一化灰度不均匀性)、size-zone non-uniformity(szn，区域大小不均匀性)、size-zone non-uniformity normalized(sznn，归一化区域大小不均匀性)和zone percentage(zp，区域百分比)、gray level variance(glv，灰度方差)、zone variance(zv，区域方差)、zone entropy(ze，区域熵)、low gray level zone emphasis(lglze，低灰度区域强调)、high gray level zone emphasis(hglze，高灰度区域强调)、small area low gray level emphasis(salgle，小区域低灰度强调)、small area high gray level emphasis(sahgle，小区域高灰度强调)、large area low gray level emphasis(lalgle，大区域低灰度强调)和large area high gray level emphasis(lahgle，大区域高灰度强调)等特征。
49.灰度行程矩阵特征包括short run emphasis(sre，短行程强调)、long run emphasis(lre，长行程强调)、gray level non-uniformity(gln，灰度不均匀性)、gray level non-uniformity normalized(glnn，归一化灰度不均匀性)、run length non-uniformity(rln，行程不均匀性)、run length non-uniformity normalized(rlnn，归一化行程不均匀性)、run percentage(rp，行程百分比)、gray level variance(glv，灰度方差)、run variance(rv，行程方差)、run entropy(re，行程熵)、low gray level run emphasis(lglre，低灰度行程强调)、high gray level run emphasis(hglre，高灰度行程强调)、short run low gray level emphasis(srlgle，短行程低灰度强调)、short run high gray level emphasis(srhgle，短行程高灰度强调)、long run low gray level emphasis(lrlgle，长行程低灰度强调)和long run high gray level emphasis(lrhgle，
长行程高灰度强调)等特征。
50.邻域灰度差矩阵特征包括coarseness(粗糙度)、contrast(对比度)、busyness(繁忙度)、complexity(复杂度)和strength(强度)等特征。
51.灰度相关矩阵特征包括small dependence emphasis(sde，小依赖强调)、large dependence emphasis(lde，大依赖强调)、gray level non-uniformity(gln，灰度不均匀性)、dependence non-uniformity(dn，依赖不均匀性)、dependence non-uniformity normalized(dnn，归一化依赖不均匀性)、gray level variance(glv，灰度方差)、dependence variance(dv，依赖方差)和dependence entropy(de，依赖熵)、low gray level emphasis(lgle，低灰度强调)、high gray level emphasis(hgle，高灰度强调)、small dependence low gray level emphasis(sdlgle，小依赖低灰度强调)、small dependence high gray level emphasis(sdhgle，小依赖高灰度强调)、large dependence low gray level emphasis(ldlgle，大依赖低灰度强调)和large dependence high gray level emphasis(ldhgle，大依赖高灰度强调)等特征。
52.小波特征是通过小波分解计算获得乳腺癌医学图像的强度和纹理特征，并将其集中在肿瘤体积内的不同频率范围。
53.然后，将先后两次影像学检查中的图像分析报告输入到预设编码模型中，得到第二特征向量。
54.其中，第二特征向量是通过对图像分析报告的文字内容进行处理，使用分句模型提取图像分析报告中的信息，输入到预设编码模型中并进行编码得到的特征向量。
55.进一步的，对先后两次图像分析报告的内容进行文字识别与预处理，并将预处理后的文字内容输入到预设编码模型中，得到第二特征向量，其中，预设编码模型为预训练语言表征模型。
56.其中，预训练语言表征模型(bidirectional encoder representation from transformers，bert)是一个典型的双向编码模型，bert仍然使用的是transformer算法，transformer算法基于多头注意力(multi-head attention)机制，而bert又堆叠了多个transfromer模型，并通过调节所有层中的双向transformer来预先训练双向深度表示，而且预训练的bert模型可以通过一个额外的输出层来进行微调，适用性更广，并且不需要做更多重复性的模型训练工作。
57.bert模型的基本步骤：首先，随机遮盖或替换文字的内容中的一句话里面任意字或词，然后在预训练中让模型通过上下文的理解预测那一个被遮盖或替换的部分，之后做的时候只对遮盖部分的内容进行预测；然后在报告的内容中选出连续的上下文语句，并使用transformer模型识别语句的连续性，实现通过上下文进行双向预测的bert模型；载入预训练好的bert模型，在图像分析报告的文字内容上再继续训练。
58.transformer模型可以实现并行计算，是一个编码模块-解码模块的结构。其中，编码组件由多层编码器组成，解码组件也是由相同层数的解码器(decoder)组成，每个编码器由两个子层组成：self-attention层(自注意力层)和ffn(前馈网络，position-wise feed forward network)。编码器的输入会先流入self-attention层。它可以让编码器在对特定词进行编码时使用输入句子中的其他词的信息，然后，self-attention层的输出会流入前馈网络；解码器也有self-attention层和fnn，但是它们之间还有一个注意力层，用于使解
码器关注输入句子的相关部分。
59.最后，将临床检验报告输入到预设编码模型中，得到第三特征向量。
60.其中，第三特征向量是通过对临床检验报告使用分句模型，对临床检验报告的文字内容进行处理，提取临床检验报告中的信息，输入到预设编码模型中并进行编码得到的特征向量。
61.具体的，对临床检验报告的内容进行文字识别与预处理，并将预处理后的文字内容输入到预设编码模型中，得到第三特征向量，其中，预设编码模型为预训练语言表征模型。
62.可以理解的是，采用预训练语言表征模型对患者的临床检验报告的内容进行文本数据特征提取，进一步将影像特征与文本特征进行拼接，实现文字特征与影像特征的融合，有利于乳腺癌进展分析。
63.s130、将各特征向量进行拼接，并将拼接得到的目标特征向量输入到经过预先训练的乳腺癌进展分析模型，得到目标分析结果。
64.可以理解的是，“第一特征向量”、“第二特征向量”和“第三特征向量”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
65.具体的，首先将第一特征向量、第二特征向量和第三特征向量进行拼接融合，且拼接的顺序没有要求，拼接后的向量为目标特征向量，通过拼接各特征向量，能够将特征向量总和起来进行全面分析，有助于特征提取；然后将目标特征向量作为输入，输入到经过预先训练的乳腺癌进展分析模型中，得到目标分析结果。
66.可以理解的是，需要先对乳腺癌进展分析模型进行训练，再使用训练过的乳腺癌进展分析模型对进行分析，得到目标分析结果。
67.目标分析结果用于描述乳腺癌进展分析结果，例如，可以是未缓解、部分缓解、完全缓解等乳腺癌进展分析结果。
68.其中，乳腺癌进展分析模型包括全连接层、dropout层、归一化和结果输出层。
69.全连接层(fully connected layer，fcn)是每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。在cnn(convolutional neural networks，卷积神经网络)结构中，经多个卷积层和池化层后，连接着1个或1个以上的全连接层.全连接层中的每个神经元与其前一层的所有神经元进行全连接.全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息.为了提升cnn网络性能，全连接层每个神经元的激励函数一般采用relu函数(linear rectification function，线性整流函数)。最后一层全连接层的输出值被传递给一个输出，可以是softmax层，采用softmax逻辑回归进行分类。
70.dropout层用于减少神经网络过拟合，抛弃网络中隐藏层的节点，一旦某个节点被选定为抛弃的节点，那么对于神经网络的推理过程这个节点的输出就被置为0；对于反馈调节网络中各个节点的权重的过程，这个节点的权重和偏置不参与更新。也就是说，在某次迭代中，网络中有部分节点不参与这一次的训练。
71.归一化指数函数，或称softmax函数，是有限项离散概率分布的梯度对数归一化。
softmax函数在包括多项逻辑回归，多项线性判别分析，朴素贝叶斯分类器和人工神经网络等的多种基于概率的多分类问题方法中都有着广泛应用，多用于多分类问题中，该函数能够把数据库中的数据纪录映射到给定类别中的某一个，从而可以应用于数据预测。
72.具体的，将乳腺癌医学图像、图像分析报告及临床检验报告中的特征向量进行拼接，把拼接后的特征向量输入到预先训练的乳腺癌进展分析模型，经过全连接层、dropout层、归一化和结果输出层，输出分类结果，完成乳腺癌进展分析。
73.本发明实施例的技术方案，通过获取目标对象的临床检验报告、先后两次影像学检查中的待分析乳腺癌医学图像及图像分析报告；分别提取乳腺癌医学图像、图像分析报告及临床检验报告中的特征向量；将各特征向量进行拼接，并将拼接得到的目标特征向量输入到经过预先训练的乳腺癌进展分析模型，得到目标分析结果，解决了乳腺癌病灶定位差异的问题，可以实现乳腺癌进展分析的智能化和自动化，提高乳腺癌进展分析的准确率和效率。
74.图2是本发明实施例提供的一种乳腺癌进展分析方法的流程图，本实施例与上述实施例中的乳腺癌进展分析方法属于同一个发明构思，在上述实施例的基础上进一步的描述了特征向量的提取。该方法可以由乳腺癌进展分析装置执行，该装置可以由软件和/或硬件的方式来实现，集成于具有应用开发功能的计算机设备中。
75.如图2所示，乳腺癌进展分析方法包括以下步骤：
76.s210、获取目标对象的临床检验报告、先后两次影像学检查中的待分析乳腺癌医学图像及图像分析报告。
77.具体的，获取目标对象的先后两次影像学检查中的待分析的mri图像、图像分析报告及临床检验报告。
78.s220、分别在先后两次影像学检查中的乳腺癌医学图像中提取磁共振动态增强扫描成像的影像组学数据和磁共振的表观弥散系数图像的影像组学数据。
79.其中，乳腺磁共振动态增强扫描是通过注射磁共振顺磁性对比剂前t1w1梯度回波序列连续快速多时相采集，实时记录对比剂进入和排出组织的动力学过程，获得病灶的动态增强时间曲线(dynamic contrast enhancement-time intensity curve，dce-tic)及相应参数值，用于观察乳腺肿瘤组织微血管生物学特性的磁共振检查。
80.磁共振的表观扩散系数(apparent diffusion coefficient，adc)图像是利用磁共振弥散加权成像(diffusion weighted imaging，dwi)计算出adc值的分布图。adc是影响dwi的主要因素之一，dwi的信号与adc呈负指数关系,即adc值增大，dwi信号下降。在活体内，dwi的信号除受adc的影响外，还对一些生理活动，例如，心脏搏动、呼吸、灌注、肢体移动等敏感，所测得的adc并不仅仅反映水分子的弥散状况。dwi已经在乳腺、肝脏等处的疾病诊断中得到越来越广泛的应用，可以提供不同于常规mri图像的组织对比，能对脑组织的生存和发育提供潜在的信息。在显示急性脑梗死和与其他脑急性病变的鉴别上非常敏感，同时，对肿瘤、感染、外伤和脱髓鞘等病变也能提供一些信息。
81.进一步的，分别在先后两次影像学检查中的乳腺癌医学图像中提取磁共振动态增强扫描成像的影像组学数据和磁共振的表观弥散系数图像的影像组学数据包括：
82.首先，对在先一次影像学检查中磁共振动态增强扫描模态的乳腺癌医学图像进行图像分割，得到磁共振动态增强扫描模态下的目标病灶区域图像，并将磁共振动态增强扫
描模态下的目标病灶区域图像和先后两次磁共振动态增强扫描模态的乳腺癌医学图像输入到第一预设特征提取算法中得到先后两次影像学检查中的乳腺癌医学图像中提取磁共振动态增强扫描成像的影像组学数据。
83.可以理解的是，需要对在先一次影像学检查中dce模态的乳腺癌医学图像进行图像分割，得到dce模态的目标病灶区域的图像，然后分别将dce模态的目标病灶区域图像和先后两次dce模态的乳腺癌医学图像进行叠加，得到先后两次影像学检查的dce模态叠加图像，将先后两次影像学检查的dce模态叠加图像输入到第一预设特征提取算法中得到前后两次检查中的乳腺癌医学图像中提取包括目标病灶区域的dce模态的乳腺癌医学图像的影像组学数据。
84.其中，第一预设特征提取算法是pyradiomics，是一个开源的python包，可以指定用于提取特征的图像类型，支持二维和三维的特征提取。首先，可以选择各种过滤器对原始图像进行处理，可以使用原始图像及经过各种滤波器之后的图像进行特征提取。
85.经过小波滤波、高斯滤波器的拉普拉斯算子等处理之后的图像，默认情况下对原始图像进行处理；然后，指定要提取的特征；还可以对特征提取器进行设置，如图像归一化和图像重采样等设置。
86.然后，对在先一次影像学检查中磁共振弥散加权成像模态的图像进行图像分割，得到磁共振弥散加权成像模态下的目标病灶区域图像，并将磁共振弥散加权成像模态下的目标病灶区域图像和先后两次磁共振弥散加权成像模态的乳腺癌医学图像输入到第二预设特征提取算法中，得到先后两次影像学检查中的乳腺癌医学图像中提取磁共振的表观弥散系数图像的影像组学数据。
87.可以理解的是，需要对在先一次影像学检查中dwi模态的乳腺癌医学图像进行图像分割，得到dwi模态的目标病灶区域的图像，然后将dwi模态的目标病灶区域图像和先后两次影像学检查中磁共振的dwi模态的adc图像输入到第二预设特征提取算法中，将dwi模态的目标病灶区域图像分别和先后两次影像学检查中磁共振的adc图像进行叠加，得到先后两次影像学检查的dwi模态目标病灶区域的adc叠加图像，并提取先后两次影像学检查的adc叠加图像的影像组学数据，得到先后两次影像学检查的乳腺癌医学图像中包括目标病灶区域的adc图像的影像组学数据。
88.s230、将在先一次影像学检查中的乳腺癌医学图像中的磁共振动态增强扫描成像的影像组学数据和磁共振的表观弥散系数图像的影像组学数据输入到预设长短期记忆网络中，得到初始特征向量。
89.其中，预设长短期记忆网络(long short-term memory，lstm)是一种时间循环神经网络，含有lstm区块(blocks)或其他的一种类神经网络，是为了解决一般的循环神经网络(recurrent neural network，rnn)存在的长期依赖问题而专门设计出来的，适合于处理和预测时间序列中间隔和延迟非常长的重要事件，lstm可作为复杂的非线性单元用于构造更大型深度神经网络。所有的rnn都具有一种重复神经网络模块的链式形式。
90.预设lstm网络是基于原始的lstm进行结构优化的结果，其中包括：双向循环神经网络和深层循环神经网络。双向循环神经网络的主体结构是由两个单向循环神经网络组成的。在每一个时刻，输入会同时提供给这两个方向相反的循环神经网络，而输出则是由这两个单向循环神经网络共同决定；深层循环神经网络是为了增强模型的表达能力，在每一个
时刻上将循环体结构复制多次，每一层的循环体中参数是一致的，而不同层中的参数可以不同。
91.可以理解的是，根据在先一次影像学检查中的磁共振动态增强扫描乳腺癌的dce模态图像提取dce模态图像的影像数据及其影像特征，根据在先影像学检查中的磁共振弥散加权成像的dwi模态图像得到adc图像的影像组学数据及其影像特征，将上述影像特征同时输入到预设lstm中，进行时序特征处理，得到初始特征向量。
92.s240、将初始特征向量和在后一次影像学检查的乳腺癌医学图像中的磁共振动态增强扫描成像的影像组学数据和磁共振的表观弥散系数图像的影像组学数据同时输入到预设长短期记忆网络中，得到第一特征向量。
93.可以理解的是，获取在后一次的影像学检查中的磁共振动态增强扫描乳腺癌的dce模态图像提取dce模态图像的影像数据及其影像特征，根据在后一次影像学检查中的磁共振弥散加权成像的dwi模态图像提取adc图像的影像组学数据及其影像特征。
94.具体的，根据在先影像学检查中的磁共振动态增强扫描乳腺癌的dce模态图像提取dce模态图像的影像数据及其影像特征，根据在先影像学检查中的磁共振弥散加权成像的dwi模态图像提取adc图像的影像组学数据及其影像特征，将上述影像特征同时输入到预设lstm中，进行时序特征处理，得到初始特征向量；获取在后一次的影像学检查中的磁共振动态增强扫描乳腺癌的dce模态图像提取dce模态图像的影像数据及其影像特征，根据在后一次影像学检查中的磁共振弥散加权成像的dwi模态图像提取adc图像的影像组学数据及其影像特征；然后将上述影像特征同时输入到预设lstm中，进行时序特征处理，得到第一特征向量。
95.s250、将先后两次影像学检查中的图像分析报告输入到预设编码模型中，得到第二特征向量。
96.s260、将临床检验报告输入到预设编码模型中，得到第三特征向量。
97.s270、将各特征向量进行拼接，并将拼接得到的目标特征向量输入到经过预先训练的乳腺癌进展分析模型，得到目标分析结果。
98.本发明实施例的技术方案，通过获取目标对象的临床检验报告、先后两次影像学检查中的待分析乳腺癌医学图像及图像分析报告，提取先后两次影像学检查中的乳腺癌医学图像预设影像组学数据，并对预设影像组学数据进行编码得到第一特征向量，提取图像分析报告和临床检验报告的特征向量得到第二特征向量和第三特征向量，解决了乳腺癌病灶定位差异的问题，可以实现乳腺癌进展分析的智能化和自动化，提高乳腺癌进展分析的准确率和效率。
99.图3是本发明实施例提供的一种乳腺癌进展分析装置的结构框图，本实施例可适用于基于mri图像的乳腺癌进展分析的情况。该装置可以由软件和/或硬件的方式来实现，集成于具有应用开发功能的计算机设备中。
100.如图3所示，乳腺癌进展分析装置包括：分析数据获取模块310、分析特征提取模块320和分析结果确定模块330。
101.其中，分析数据获取模块310，用于获取目标对象的临床检验报告、先后两次影像学检查中的待分析乳腺癌医学图像及图像分析报告；分析特征提取模块320，用于分别提取乳腺癌医学图像、图像分析报告及临床检验报告中的特征向量；分析结果确定模块330，用
于将各特征向量进行拼接，并将拼接得到的目标特征向量输入到经过预先训练的乳腺癌进展分析模型，得到目标分析结果。
102.本发明实施例的技术方案，通过获取目标对象的临床检验报告、先后两次影像学检查中的待分析乳腺癌医学图像及图像分析报告；分别提取乳腺癌医学图像、图像分析报告及临床检验报告中的特征向量；将各特征向量进行拼接，并将拼接得到的目标特征向量输入到经过预先训练的乳腺癌进展分析模型，得到目标分析结果，解决了乳腺癌病灶定位差异的问题，可以实现乳腺癌进展分析的智能化和自动化，提高乳腺癌进展分析的准确率和效率。
103.可选的，分析特征提取模块320还用于：
104.提取先后两次影像学检查中的乳腺癌医学图像预设影像组学数据，并对所述预设影像组学数据进行编码得到第一特征向量；
105.将先后两次影像学检查中的图像分析报告输入到预设编码模型中，得到第二特征向量；
106.将临床检验报告输入到预设编码模型中，得到第三特征向量。
107.可选的，分析特征提取模块320还用于：
108.分别在先后两次影像学检查中的乳腺癌医学图像中提取磁共振动态增强扫描成像的影像组学数据和磁共振的表观弥散系数图像的影像组学数据；
109.将在先一次影像学检查中的乳腺癌医学图像中的磁共振动态增强扫描成像的影像组学数据和磁共振的表观弥散系数图像的影像组学数据输入到预设长短期记忆网络中，得到初始特征向量；
110.将初始特征向量和在后一次影像学检查的乳腺癌医学图像中的磁共振动态增强扫描影像组学数据和磁共振的表观弥散系数图像的影像组学数据同时输入到预设长短期记忆网络中，得到第一特征向量。
111.可选的，分析特征提取模块320还用于：
112.对在先一次影像学检查中磁共振动态增强扫描模态的乳腺癌医学图像进行图像分割，得到磁共振动态增强扫描模态下的目标病灶区域图像，并将磁共振动态增强扫描模态下的目标病灶区域图像和先后两次磁共振动态增强扫描模态的乳腺癌医学图像输入到第一预设特征提取算法中得到先后两次影像学检查中的乳腺癌医学图像中提取磁共振动态增强扫描成像的影像组学数据；
113.对在先一次影像学检查中磁共振弥散加权成像模态的乳腺癌医学图像进行图像分割，得到磁共振弥散加权成像模态下的目标病灶区域图像，并将磁共振弥散加权成像模态下的目标病灶区域图像和先后两次磁共振弥散加权成像模态的表观弥散系数图像输入到第二预设特征提取算法中，得到前后两次影像学检查中的乳腺癌医学图像中提取磁共振的表观弥散系数图像的影像组学数据。
114.可选的，分析特征提取模块320还用于：对先后两次图像分析报告的内容进行文字识别与预处理，并将预处理后的文字内容输入到预设编码模型中，得到第二特征向量，其中，预设编码模型为预训练语言表征模型。
115.可选的，分析特征提取模块320还用于：
116.对临床检验报告的内容进行文字识别与预处理，并将预处理后的文字内容输入到
预设编码模型中，得到第三特征向量，其中，预设编码模型为预训练语言表征模型。
117.本发明实施例所提供的乳腺癌进展分析装置可执行本发明任一实施例所提供的乳腺癌进展分析方法，具备执行方法相应的功能模块和有益效果。
118.图4是本发明实施例提供的一种计算机设备的结构框图。图4示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图4显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。计算机设备12可以任意具有计算能力的终端设备，可以配置于乳腺癌进展分析设备中。
119.如图4所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
120.总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
121.计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
122.系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom，dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
123.具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
124.计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图4中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
125.处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及
数据处理，例如实现本发明实施例所提供的乳腺癌进展分析方法，该方法包括：
126.获取目标对象的临床检验报告、先后两次影像学检查中的待分析乳腺癌医学图像及图像分析报告；
127.分别提取乳腺癌医学图像、图像分析报告及临床检验报告中的特征向量；
128.将各特征向量进行拼接，并将拼接得到的目标特征向量输入到经过预先训练的乳腺癌进展分析模型，得到目标分析结果。
129.本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所提供的乳腺癌进展分析方法，该方法包括：
130.获取目标对象的临床检验报告、先后两次影像学检查中的待分析乳腺癌医学图像及图像分析报告；
131.分别提取乳腺癌医学图像、图像分析报告及临床检验报告中的特征向量；
132.将各特征向量进行拼接，并将拼接得到的目标特征向量输入到经过预先训练的乳腺癌进展分析模型，得到目标分析结果。
133.本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
134.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
135.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
136.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如java、smalltalk、c++，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(lan，local area network)或广域网(wan，wide area network)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
137.本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络
上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
138.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

技术特征：

1.一种乳腺癌进展分析方法，其特征在于，包括：获取目标对象的临床检验报告、先后两次影像学检查中的待分析乳腺癌医学图像及图像分析报告；分别提取所述乳腺癌医学图像、图像分析报告及临床检验报告中的特征向量；将各所述特征向量进行拼接，并将拼接得到的目标特征向量输入到经过预先训练的乳腺癌进展分析模型，得到目标分析结果。2.根据权利要求1所述的方法，其特征在于，所述分别提取所述乳腺癌医学图像、图像分析报告及临床检验报告中的特征向量，所述方法还包括：提取先后两次影像学检查中的所述乳腺癌医学图像预设影像组学数据，并对所述预设影像组学数据进行编码得到第一特征向量；将先后两次影像学检查中的所述图像分析报告输入到预设编码模型中，得到第二特征向量；将所述临床检验报告输入到所述预设编码模型中，得到第三特征向量。3.根据权利要求2所述的方法，其特征在于，所述提取先后两次影像学检查中的所述乳腺癌医学图像预设影像组学数据，并对所述预设影像组学数据进行编码得到第一特征向量，包括：分别在先后两次影像学检查中的所述乳腺癌医学图像中提取磁共振动态增强扫描成像的影像组学数据和磁共振的表观弥散系数图像的影像组学数据；将在先一次影像学检查中的乳腺癌医学图像中的磁共振动态增强扫描成像的影像组学数据和磁共振的表观弥散系数图像的影像组学数据输入到预设长短期记忆网络中，得到初始特征向量；将所述初始特征向量和在后一次影像学检查的乳腺癌医学图像中的磁共振动态增强扫描成像的影像组学数据和磁共振的表观弥散系数图像的影像组学数据同时输入到所述预设长短期记忆网络中，得到所述第一特征向量。4.根据权利要求3所述的方法，其特征在于，所述分别在先后两次影像学检查中的所述乳腺癌医学图像中提取磁共振动态增强扫描成像的影像组学数据和磁共振的表观弥散系数图像的影像组学数据，包括：对在先一次影像学检查中磁共振动态增强扫描模态的乳腺癌医学图像进行图像分割，得到磁共振动态增强扫描模态下的目标病灶区域图像，并将所述磁共振动态增强扫描模态下的目标病灶区域图像和先后两次磁共振动态增强扫描模态的乳腺癌医学图像输入到第一预设特征提取算法中得到先后两次影像学检查中的所述乳腺癌医学图像中提取磁共振动态增强扫描成像的影像组学数据；对在先一次影像学检查中磁共振弥散加权成像模态的乳腺癌医学图像进行图像分割，得到磁共振弥散加权成像模态下的目标病灶区域图像，并将所述磁共振弥散加权成像模态下的目标病灶区域图像和先后两次磁共振弥散加权成像模态的表观弥散系数图像输入到第二预设特征提取算法中，得到先后两次影像学检查中的所述乳腺癌医学图像中提取磁共振的表观弥散系数图像的影像组学数据。5.根据权利要求2所述的方法，其特征在于，所述将先后两次影像学检查中的所述图像分析报告输入到预设编码模型中，得到第二特征向量，包括：
对先后两次图像分析报告的内容进行文字识别与预处理，并将预处理后的文字内容输入到预设编码模型中，得到第二特征向量，其中，所述预设编码模型为预训练语言表征模型。6.根据权利要求2所述的方法，其特征在于，所述将所述临床检验报告输入到所述预设编码模型中，得到第三特征向量，包括：对临床检验报告的内容进行文字识别与预处理，并将预处理后的文字内容输入到预设编码模型中，得到第三特征向量，其中，所述预设编码模型为预训练语言表征模型。7.根据权利要求1-6中任一所述的方法，其特征在于，所述乳腺癌进展分析模型包括全连接层、dropout层、归一化和结果输出层。8.一种乳腺癌进展分析装置，其特征在于，包括：分析数据获取模块，用于获取目标对象的临床检验报告、先后两次影像学检查中的待分析乳腺癌医学图像及图像分析报告；分析特征提取模块，用于分别提取所述乳腺癌医学图像、图像分析报告及临床检验报告中的特征向量；分析结果确定模块，用于将各所述特征向量进行拼接，并将拼接得到的目标特征向量输入到经过预先训练的乳腺癌进展分析模型，得到目标分析结果。9.一种计算机设备，其特征在于，所述计算机设备包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的乳腺癌进展分析方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的乳腺癌进展分析方法。

技术总结

本发明实施例公开了一种乳腺癌进展分析方法、装置、设备和介质，其中，方法包括：获取目标对象的临床检验报告、先后两次影像学检查中的待分析乳腺癌医学图像及图像分析报告；分别提取乳腺癌医学图像、图像分析报告及临床检验报告中的特征向量；将各特征向量进行拼接，并将拼接得到的目标特征向量输入到经过预先训练的乳腺癌进展分析模型，得到目标分析结果。本发明实施例，解决了乳腺癌病灶定位差异的问题，可以实现乳腺癌进展分析的智能化和自动化，提高乳腺癌进展分析的准确率和效率。提高乳腺癌进展分析的准确率和效率。提高乳腺癌进展分析的准确率和效率。