(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202011606836.8
(22)申请日 2020.12.30
(71)申请人 中国科学院自动化研究所
地址 100190 北京市海淀区中关村东路95
号
(72)发明人 田捷 杜洋 边畅 王宇 安羽
王瀚帆
(74)专利代理机构 北京市恒有知识产权代理事
务所(普通合伙) 11576
代理人 郭文浩 尹文会
(51)Int.Cl.
G06T 7/00(2017.01)
G06T 7/11(2017.01)
G16H 50/30(2018.01)
(54)发明名称基于数字病理图像的细胞靶点表达预测方法、系统及装置(57)摘要本发明属于医学图像处理领域，具体涉及了一种基于数字病理图像的细胞靶点表达预测方法、系统及装置，旨在解决现有细胞靶点表达观测分析方法成本高昂、周期长以及需要专家进行人工判读，因而效率低、客观性较弱的问题。本发明包括：获取H&E染数字扫描图像，并通过滑窗裁剪成设定大小的H&E图像切片；进行域 归一化以及图像对比度增强的预处理，获得预处理H&E图像切片；通过细胞靶点表达预测模型获取不同细胞荧光表达的概率分布图；对于任一像素点，以其对应于概率分布图的概率最大的类别作为预测类别。本发明预测效率高、客观性强、预测
结果准确率和精度高。权利要求书3页 说明书9页 附图5页CN 112669288 A 2021.04.16
C N 112669288
A
1.一种基于数字病理图像的细胞靶点表达预测方法，其特征在于，该预测方法包括：
步骤S10，获取H&E染数字扫描图像作为待预测图像；
步骤S20，通过滑窗将所述待预测图像裁剪成设定大小的H&E图像切片，并对所述H&E图像切片进行域归一化以及图像对比度增强的预处理，获得预处理H&E图像切片；
步骤S30，通过训练好的细胞靶点表达预测模型获取所述预处理H&E图像切片对应的不同细胞荧光表达的概率分布图；
步骤S40，对于任一像素点，以其对应于所述概率分布图的概率最大的类别作为预测类别；
其中，所述细胞靶点表达预测模型以编码器‑解码器网络结构作为深度学习的基本架构，并引入多尺度卷积模块将编码器中的单分支卷积通道替换为多分支、不同尺度的卷积通道。
2.根据权利要求1所述的基于数字病理图像的细胞靶点表达预测方法，其特征在于，所述细胞靶点表达预测模型，其训练方法为：
步骤B10，获取同组织样本的H&E染数字扫描图像和mIHC染扫描图像对集作为模型的训练样本对集；
步骤B20，对于所述训练样本对集中每一个训练样本对，分别执行：
进行训练样本对的噪点去除，并通过滑窗将所述训练样本对裁剪成设定大小的H&E图像切片和mIHC图像切片对；
在所述H&E图像切片上分别进行所述mIHC图像切片各通道的全局刚性配准和弹性配准，并进行各通道配准图像切片融合，获得配准H&E图像切片和配准mIHC图像切片对；
对所述配准H&E图像切片进行基于光谱的域归一化以及直方图均衡化的图像对比度增强，获得预处理H&E图像切片；
基于所述配准mIHC图像切片进行所述预处理H&E图像切片的标注，获得H&E图像切片标注；
步骤B30，通过步骤B20获得的预处理H&E图像切片和H&E图像切片标注对的集合，通过最小化交叉熵的方法迭代进行所述细胞靶点表达预测模型的训练，直至达到预设训练次数，获得训练好的细胞靶点表达预测模型。
3.根据权利要求2所述的基于数字病理图像的细胞靶点表达预测方法，其特征在于，步骤B20中进行训练样本对的噪点去除，并通过滑窗将所述训练样本对裁剪成设定大小的H&E 图像切片和mIHC图像切片对，其方法为：
分别通过N×N的中值滤波器进行所述训练样本对的噪点去除，获得滤波H&E图像和滤波mIHC图像对；
通过滑窗在所述滤波mIHC图像中选择设定大小的mIHC图像，获得mIHC图像切片；
计算所述滤波H&E图像中与滤波mIHC图像切片尺寸相同的各区域各通道的相关性系数，并以相关性系数最大的H&E图像区域作为H&E图像切片。
4.根据权利要求2所述的基于数字病理图像的细胞靶点表达预测方法，其特征在于，所述全局刚性配准包括图像旋转、平移和缩放。
5.根据权利要求2所述的基于数字病理图像的细胞靶点表达预测方法，其特征在于，步骤B20中对所述配准H&E图像切片进行基于光谱的域归一化，其方法为：
保留所述配准H&E图像切片的结构信息，以无监督的方式将所述配准H&E图像切片分解为非负、稀疏的染强度矩阵；
选取标准H&E染图像作为模板图像，通过融合所述非负、稀疏的染强度矩阵与所述模板图像的彩偏差进行所述配准H&E图像切片的域分布的标准化，获得域归一化后的配准H&E图像切片。
6.根据权利要求2所述的基于数字病理图像的细胞靶点表达预测方法，其特征在于，步骤B20中基于所述配准mIHC图像切片进行所述预处理H&E图像切片的标注，其方法为：
基于所述配准mIHC图像切片各通道的荧光靶点表达信号对所述预处理H&E图像切片进行除DAPI外的其余细胞靶点标注；
利用基于细胞核分割数据集的预训练分割模型进行所述预处理H&E图像切片表征细胞核的DAPI荧光分布的粗分割，获得粗分割结果；
基于所述配准mIHC图像切片中的DAPI分布对所述粗分割结果进行手动精分割，获得所述预处理H&E图像切片的DAPI荧光的分布标签；
融合所述预处理H&E图像切片的DAPI荧光的分布标签以及除DAPI外的其余细胞靶点标注，获得H&E图像切片标注。
7.根据权利要求2所述的基于数字病理图像的细胞靶点表达预测方法，其特征在于，所述交叉熵，其计算方法为：
其中，X n 表示输入的预处理H&E图像切片，Y n 为预处理H&E图像切片对应的H&E图像切片标注，S(X n )为模型针对输入的预处理H&E图像切片的预测结果，h ,w ,c分别表示预处理H&E 图像切片的高度，宽度以及类别，C代表总类别数。
8.一种基于数字病理图像的细胞靶点表达预测系统，其特征在于，该预测系统包括：图像获取模块，配置为获取H&E染数字扫描图像作为待预测图像；
预处理模块，配置为通过滑窗将所述待预测图像裁剪成设定大小的H&E图像切片，并对所述H&E图像切片进行域归一化以及图像对比度增强的预处理，获得预处理H&E图像切片；
预测模块，配置为通过训练好的细胞靶点表达预测模型获取所述预处理H&E图像切片对应的不同细胞荧光表达的概率分布图；
输出模块，配置为对于任一像素点，以其对应于所述概率分布图的概率最大的类别作为预测类别并输出；
其中，所述细胞靶点表达预测模型以编码器‑解码器网络结构作为深度学习的基本架构，并引入多尺度卷积模块将编码器中的单分支卷积通道替换为多分支、不同尺度的卷积通道。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1‑7任一项所述的基于数字病理图像的细胞靶点表达预测方法。
10.一种处理装置，包括：
存储装置，适于存储多条程序；
以及处理器，适于执行多条程序；
其特征在于，所述多条程序适于由处理器加载并执行以实现权利要求1‑7任一项所述的基于数字病理图像的细胞靶点表达预测方法。
基于数字病理图像的细胞靶点表达预测方法、系统及装置
技术领域
[0001]本发明属于医学图像处理领域，具体涉及了一种基于数字病理图像的细胞靶点表达预测方法、系统及装置。
背景技术
[0002]近年来，肿瘤免疫在基础和临床研究中均取得长足发展。肿瘤微环境(TME，Tumor microenvironment)是指导肿瘤免疫的重要因素，由肿瘤细胞以及多种免疫细胞构成。更好地了解肿瘤微环境，观测肿瘤微环境中多种细胞类型的相互作用关系，对指导肿瘤免疫具有重要意义。
[0003]目前对TME的研究一般是对离体肿瘤样本进行检测，对肿瘤细胞、多种免疫细胞和靶点在显微层次定性和定量分析。通常使用多光谱免疫荧光染(mIHC，multiplexed immunohistochemistry)技术来对肿瘤样本中TME的多种细胞表达蛋白同时进行显微荧光成像检测。
[0004]然而mIHC方法存在成本高昂，实验周期长等局限性，并且多种染之间易出现串，影响表征的准确性。此外，多光谱染结果通常需要病理学家进行人工判读，很大程度上依赖于判读人员的专业性，存在一定的主观性。
[0005]总的来说，本领域还急需一种数据驱动的计算方法，利用深度神经网络挖掘病理图像中的深层语义信息，以实现从病理H&E染图像中预测细胞靶点的荧光表达的方法。发明内容
[0006]为了解决现有技术中的上述问题，即现有细胞靶点表达观测分析方法成本高昂、周期长以及需要专家进行人工判读，因而效率低、客观性较弱的问题，本发明提供了一种基于数字病理图像的细胞靶点表达预测方法，该预测方法包括：
[0007]步骤S10，获取H&E染数字扫描图像作为待预测图像；
[0008]步骤S20，通过滑窗将所述待预测图像裁剪成设定大小的H&E图像切片，并对所述H&E图像切片进行域归一化以及图像对比度增强的预处理，获得预处理H&E图像切片；
[0009]步骤S30，通过训练好的细胞靶点表达预测模型获取所述预处理H&E图像切片对应的不同细胞荧光表达的概率分布图；
[0010]步骤S40，对于任一像素点，以其对应于所述概率分布图的概率最大的类别作为预测类别；
[0011]其中，所述细胞靶点表达预测模型以编码器‑解码器网络结构作为深度学习的基本架构，并引入多尺度卷积模块将编码器中的单分支卷积通道替换为多分支、不同尺度的卷积通道。
[0012]在一些优选的实施例中，所述细胞靶点表达预测模型，其训练方法为：
[0013]步骤B10，获取同组织样本的H&E染数字扫描图像和mIHC染扫描图像对集作为模型的训练样本对集；
说 明 书1/9页CN 112669288 A
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议