低分辨率成像的病理切片数字化方法及系统

1.本发明涉及病理成像技术领域，尤其涉及一种低分辨率成像的病理切片数字化方法及系统。

背景技术：

2.病理切片的数字化是数字病理的基础，其原理是光学成像技术。现有的切片数字化过程是通过高放大倍率的镜头，例如40倍镜头，精确对焦并且放大病理切片，将放大后的切片投射到感光器件，经过模数转换，获取数字信号。通过量化处理，得到高分辨率的病理全片图像。
3.然而，高分辨率成像的切片数字化技术的主要瓶颈有：第一，高放大倍率镜头的景深极小，因此对切片上人体组织的平整性要求很高，容易造成局部失焦和模糊。第二，由于切片批量制作难以确保每张切片都是平整的。为了得到清晰的全片图像，需要对切片多个局部位置对焦或者重复扫描，因此扫描时间很长。第三，高放大倍率的镜头更可能出现几何畸变，造成图像上的细胞形态发生改变。第四，基于高放大倍率镜头以及配套的感光器件的成像装置价格昂贵，造成一台病理扫描仪价格超过百万，难以为医疗单位所接受。总之，当前的高分辨率成像的病理数字化技术价格昂贵，对标本要求高，扫描速度慢以及容易失焦，难以经济并且可靠地将病理切片转换为病理全片图像。

技术实现要素：

4.本技术提供了一种低分辨率成像的病理切片数字化方法及系统，改善成像的效果。
5.第一方面，本技术提供了一种低分辨率成像的病理切片数字化方法，该低分辨率成像的病理切片数字化方法包括以下步骤：
6.使用低分辨率成像系统和高分辨率成像系统分别对多分辨率定标模板成像；获取所述多分辨率定标模板的病理组织、彩、几何形态以及定位信息的低分辨率图像以及高分辨率图像；
7.根据所述多分辨率定标模板的彩、几何形态以及定位信息，对所述病理组织的低分辨率图像和高分辨率图像进行预处理图像校正，获得彩标准化、几何畸变校正以及像素对齐的高/低分辨率的病理组织的图像对；
8.用多个高/低分辨率图像对以有监督的方式训练超分辨率图像重建算法，建立可将病理组织的低分辨率图像重建为高分辨率图像的计算模型；
9.运用低分辨率成像系统对病理切片成像，再利用所述计算模型，将低分辨率图像转换为高分辨率图像。
10.在上述技术方案中，通过采用多分辨率定标模板，获得了校正彩和几何畸变，以及像素精确对齐的高/低分辨率图像对，达到了精确训练计算模型的进步。通过低分辨率成像和计算模型转换，建立了基于低分辨率成像的数字化病理切片新技术，解决了当前高分
辨率成像数字化切片的速度慢、局部失焦以及几何畸变的问题，节省了数字化时间，提高了图像质量。
11.在一个具体的可实施方案中，所述定标模板包括：彩定标区、多分辨率几何畸变定标区、多分辨率平移定标区、多分辨率旋转定标区以及切片区；其中：
12.所述彩定标区和所述多分辨率几何畸变定标区用于提供高分辨率成像系统和低分辨率成像系统的彩分布、几何畸变量；所述多分辨率平移定标区和所述多分辨率旋转定标区提供高/低分辨率图像的相对平移旋转量；所述切片区用于放置不同的病理切片。
13.在一个具体的可实施方案中，所述使用低分辨率成像系统和高分辨率成像系统分别对多分辨率定标模板成像，具体为：
14.所述低分辨率成像系统通过扫描所述多分辨率定标模板的一定量的图像块，拼接得到的所述多分辨率定标模板的低分辨率图像；
15.所述高分辨率成像系统通过扫描所述多分辨率定标模板的一定量的图像块，拼接得到的所述多分辨率定标模板的高分辨率图像。
16.在一个具体的可实施方案中，所述多分辨率定标模板图像上的几何畸变、平移和旋转标志信息为多分辨率线段组合，特定分辨率线段在高/低分辨率图像呈现单像素宽度，且多分辨率线段的中心线重合，获取亚像素级定位精度。
17.在一个具体的可实施方案中，根据所述多分辨率定标模板的彩、几何形态以及定位信息，对所述病理组织的低分辨率图像和高分辨率图像进行预处理图像校正，获得彩标准化、几何畸变校正以及像素对齐的高/低分辨率的病理组织的图像对；具体为：
18.利用所述多分辨率定标模板上图像上的几何畸变、彩、平移和旋转标志信息，建立切片区上病理组织的高/低分辨率图像的像素关系。
19.在一个具体的可实施方案中，所述彩定标区用于提供成像系统的彩分布，具体包括：
20.通过所述彩定标区的彩变化，获取低分辨率图像和高分辨率图像的彩分布以及和真实彩的对应关系，实现彩标准化。
21.在一个具体的可实施方案中，所述获得几何畸变校正以及像素对齐的高/低分辨率的病理组织的图像对；具体包括：
22.通过多分辨率几何畸变定标区获取高分辨图像和低分辨率图像的像素的变形量；
23.通过多分辨率旋转定标区获取高分辨图像和低分辨率图像的像素的相对旋转角度；
24.通过多分辨率平移定标区获取高分辨图像和低分辨率图像的像素的相对平移量。
25.在一个具体的可实施方案中，所述通过多分辨率旋转定标区获取高分辨图像和低分辨率图像的像素的相对旋转角度；通过多分辨率平移定标区获取高分辨图像和低分辨率图像的像素的相对平移量，具体为：
26.通过所述通过多分辨率几何畸变定标区的多分辨率特定标志获取高分辨图像和低分辨率图像的像素的变形量；通过多分辨率平移定标区和多分辨率旋转定标区的多分辨率特定标志获取高分辨率图像和低分辨率图像的像素的平移量和旋转量，构建非线性刚体变换矩阵，实现高/低分辨率图像的像素位置对齐；通过所述的彩标准化、几何畸变校正和像素对齐，建立高/低分辨率的图像对。
27.在一个具体的可实施方案中，所述用多个高/低分辨率图像对以有监督的方式训练超分辨率图像重建算法，具体包括：
28.训练目标函数使得从低分辨率图像生成的高分辨率图像，和成对的高分辨率图像具有高度相似性，所述高度相似性包括像素、彩、纹理以及感知特征的相似性。
29.第二方面，提供了一种低分辨率成像的病理切片数字化系统，该系统包括低分辨率成像系统包括：低放大倍率镜头、光电器件、信号处理单元、图像校正单元和并行计算单元；
30.所述低放大倍率镜头用于扫描病理切片得到相应的低倍率光学放大像；所述光电器件用于将所述光学放大像转换为模拟电信号，所述信号处理单元用于对所述模拟电信号进行模数转换，得到低分辨率图像；所述图像校正单元用于校正图像彩以及像素变形；所述并行计算单元用于根据建立的可将病理组织的低分辨率图像重建为高分辨率图像的计算模型，将所述低分辨率图像转换成高分辨率图像。
31.在上述技术方案中，通过采用多分辨率定标模板，获得了校正彩和几何畸变，以及像素精确对齐的高/低分辨率图像对，达到了精确训练计算模型的进步。通过低分辨率成像和计算模型转换，建立了基于低分辨率成像的数字化病理切片新技术，解决了当前高分辨率成像数字化切片的速度慢、局部失焦以及几何畸变的问题，节省了数字化时间，提高了图像质量。
附图说明
32.图1为本发明提供的低分辨率成像的病理切片数字化方法的流程图。
33.图2为本发明提供的低分辨率成像系统的结构框图。
34.图3为本发明提供的高分辨率成像系统的结构框图。
35.图4为本技术实施例提供的多分辨率定标模板的结构框图。
36.图5为本发明提供的多分辨率定标模板的各部分的结构示意图。
37.图6为本发明提供的多分辨率几何畸变定标区的图像反映成像变形量的示意图。
38.图7为本发明提供的彩变换查询表。
39.图8为本发明提供的多分辨率几何畸变定标区的多分辨率标志信息示意图。
40.图9为本发明提供的多分辨率平移和多分辨率旋转定标区的多分辨率标志信息示意图。
具体实施方式
41.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述。
42.需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包
括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
43.本发明提出的低分辨率成像的数字化技术的原理是采用低放大倍率的镜头放大病理切片，然后投射到低分辨率的感光器件，经过模数转换后，量化得到低分辨率的病理全片图像，最后通过计算模型转换为高分辨率的病理全片图像。低分辨率镜头具有景深大的优点，因此降低了对切片人体组织平整性的高要求，更适合制片能力不高的基层医疗单位使用。其次，不需要多次重复对焦，极大地加快了扫描速度。第三，低分辨率镜头加工容易，几何畸变小。第四，基于低分辨率成像的病理切片技术以及装置的成本低廉，扫描速度快，对切片质量要求低，可以取得经济和效益的平衡，具有更广阔的应用前景。
44.尽管低分辨率成像的数字化技术以及方法具有很多优点，但其主要的技术瓶颈在于如何得到从低分辨率病理全片图像精确重建为高分辨率病理全片图像的计算模型。当前重建高分辨率图像的技术以超分辨率图像处理为代表，已经在许多领域取得了极好的进展。这类技术主要基于有监督学习的深度神经网络，其重建质量严重依赖于配对的低分辨率图像和高分辨率图像的数量以及质量。
45.然而，使用不同放大倍率镜头分别对切片两次成像，得到的低分辨率图像和高分辨率图像的彩存在差异，像素坐标不是精确对齐的。一种技术是通过图像配准将低分辨率图像坐标变换到高分辨率图像坐标。由于两种图像的彩和分辨率不同，且存在几何畸变，图像配准难以从两幅图像精确提取对应空间位置的图像特征，因此配准误差大。另外一种技术是先获取高分辨率图像，然后降采样到低分辨率图像，从而得到了高/低分辨率图像对。这种方法的缺点是训练模型应用的低分辨率图像不是成像方法获取的，对真实成像的低分辨率图像重建时，图像质量将显著下降。病理诊断严重依赖于细胞形态和组织结构的精确还原，如果重建的高分辨率图像质量不佳，则不具有临床应用价值。为此本技术实施例提供了一种低分辨率成像的病理切片数字化方法，以改善成像效果。下面结合具体的附图以及实施例对其进行详细说明。
46.参考图1，图1示出了本技术实施例提供的低分辨率成像的病理切片数字化方法的流程图。
47.本技术实施例提供的方法包括以下步骤：
48.步骤001：使用低分辨率成像系统和高分辨率成像系统分别对多分辨率定标模板成像；获取多分辨率定标模板的病理组织、彩、几何形态以及定位信息的低分辨率图像以及高分辨率图像：
49.具体的，本技术实施例提供的低分辨率成像系统和高分辨率成像系统为不同分辨率的系统。如图2中所示，本技术实施例提供的低分辨率成像系统的结构框图，其具体包括：低放大倍率镜头、光电器件、信号处理单元、图像校正单元和并行计算单元，其输出病理切片的低分辨率图像。在使用时，使用低放大倍率镜头扫描病理切片得到相应的低倍率光学放大像，光电器件将光学放大像转换为模拟电信号，信号处理单元对电信号进行模数转换、量化等处理步骤，得到低分辨率的原始图像图像校正单元用于校正图像彩以及几何畸变；并行计算单元从低分辨率图像重建高分辨率图像。
50.作为一个可选的方案，低放大倍率设定为5倍，以适应病理诊断最小细胞在图像中的像素尺寸。
51.如图3所示，高分辨率成像系统包括高放大倍率镜头、光电器件、信号处理单元和图像校正。使用高放大倍率镜头扫描病理切片得到相应的高倍率光学放大像，光电器件将光学放大像转换为模拟电信号，信号处理单元对电信号进行模数转换、量化等处理步骤，得到高分辨率图像在采用高分辨率成像系统进行成像时，还包括通过聚焦算法，对多分辨率定标模板对焦，以获取清晰的高分辨率图像。图像校正用于校正图像彩以及几何畸变。
52.作为一个可选的方案，高放大倍率设定为40倍，以高清晰度显示病理切片的细胞和组织结构细节。
53.参考图4所示，多分辨率定标模板设计为一个定标信息区域组合，包括切片区、多分辨率几何畸变定标区、彩定标区、多分辨率平移定标区、多分辨率旋转定标区。各定标区放置了几何畸变、彩、平移和旋转评估的标志信息，提供对高/低分辨率图像进行图像校正所需定标信息。示例性的多分辨率定标模板包括：彩定标区、多分辨率几何畸变定标区、多分辨率平移定标区、多分辨率旋转定标区以及切片区；其中，彩定标区和多分辨率几何畸变定标区用于提供成像系统的彩分布、几何畸变量；多分辨率平移定标区和多分辨率旋转定标区提供高分辨率图像和低分辨图像的相对平移量和相对旋转量；切片区用于放置不同的病理切片。
54.在使用低分辨率成像系统和高分辨率成像系统分别对多分辨率定标模板成像时，具体为：低分辨率成像系统通过扫描多分辨率定标模板的一定量的图像块，拼接得到的低分辨率图像；高分辨率成像系统通过扫描多分辨率定标模板的一定量的图像块，拼接得到的高分辨率图像。
55.作为一个可选的方案，多分辨率几何畸变定标区为透明材质，覆盖于切片区上方，以便和切片在同一空间坐标成像。
56.步骤002：根据多分辨率定标模板的彩、几何形态以及定位信息，对病理组织的低分辨率图像和高分辨率图像进行预处理图像校正，获得彩标准化、几何畸变校正以及像素对齐的高/低分辨率的病理组织的图像对；
57.具体的，在形成图像对时，利用定标模板图像上的几何畸变、彩、平移和旋转标志信息，建立切片区上病理组织的高/低分辨率图像的像素关系。具体的：获取高分辨图像和低分辨率图像的像素的变形量；获取高分辨图像和低分辨率图像的像素相对旋转角度；获取高分辨图像和低分辨率图像的像素的相对平移量；从而根据像素的变形量、相对旋转角度、相对平移量确定几何畸变校正以及像素对齐的高/低分辨率的病理组织的图像对。其中，通过多分辨率几何畸变定标区的多分辨率特定标志获取高分辨图像和低分辨率图像的像素的变形量；通过多分辨率平移定标区和多分辨率旋转定标区的多分辨率特定标志获取高分辨率图像和低分辨率图像的像素的平移量和旋转量，构建非线性刚体变换矩阵，实现高/低分辨率图像的像素位置对齐。
58.另外，通过彩定标区的彩变化，获取低分辨率图像和高分辨率图像的彩分布以及和真实彩的对应关系。从而获取彩标准化、几何畸变校正以及像素对齐的高/低分辨率的病理组织的图像对。
59.步骤003：用多个高/低分辨率图像对以有监督的方式训练超分辨率图像重建算法，建立可将病理组织的低分辨率图像重建为高分辨率图像的计算模型；
60.具体的，计算模型在训练时满足：从低分辨率图像生成的高分辨率图像，和成对的高分辨率图像具有高度相似性，高度相似性包括像素、彩、纹理以及感知特征的相似性。
61.步骤004：运用低分辨率成像系统对病理切片成像，再利用计算模型，将低分辨率图像转换为高分辨率图像。
62.在上述技术方案中，通过采用多分辨率定标模板，获得了校正彩和几何畸变，以及像素精确对齐的高/低分辨率图像对，达到了精确训练计算模型的进步。通过低分辨率成像和计算模型转换，建立了基于低分辨率成像的数字化病理切片新技术，解决了当前高分辨率成像数字化切片的速度慢、局部失焦以及几何畸变的问题，节省了数字化时间，提高了图像质量。
63.为方便理解本技术实施例提供的上述方案，下面详细说明上述方法中的各个步骤。
64.首先介绍本技术涉及的低分辨率成像的病理切片数字化方法中应用的系统。该系统包括一个低分辨率成像系统以及一个定标系统。低分辨率成像系统包括低放大倍率镜头、光电器件、信号处理单元、图像校正单元和并行计算单元，该低分辨率成像系统输出病理切片的低分辨率图像和高分辨率图像。
65.首先，使用低放大倍率镜头扫描病理切片得到相应的低倍率光学放大像，光电器件将光学放大像转换为模拟电信号，信号处理单元对电信号进行模数转换、量化等处理步骤，得到低分辨率的原始图像经过彩、几何畸变、平移旋转的图像校正后，得到校正后的低分辨率图像i
lr
。
66.优选的，低放大倍率设定为5倍，以适应病理切片上最小细胞在图像中的像素尺寸。
67.上述的定标系统包括高分辨率成像系统和多分辨率定标模板。其中高分辨率成像系统包括高放大倍率镜头、光电器件、信号处理单元和图像校正单元。
68.优选的，高放大倍率镜头采用20倍或者更高的放大倍率。
69.优选的，信号处理单元对电信号进行模数转换、量化等处理步骤。
70.优选的，信号处理单元还包括聚焦算法，以实现镜头对多分辨率定标模板对焦获取清晰的高分辨率图像。
71.优选的，聚焦算法分析图像边缘的清晰度，根据清晰度微调镜头到多分辨率定标模板的物距，以获取理想的清晰度。
72.使用高放大倍率镜头扫描病理切片得到相应的高倍率光学放大像，光电器件将光学放大像转换为模拟电信号，信号处理单元对电信号进行模数转换、量化等处理步骤，得到高分辨率图像经过彩校正、几何畸变校正、平移旋转的图像校正，得到校正后的高分辨率图像i
hr
。
73.上述的多分辨率定标模板设计为一个定标信息区域组合，包括切片区、多分辨率几何畸变定标区、彩定标区、多分辨率平移定标区、多分辨率旋转定标区。各定标区放置了几何畸变、彩、平移和旋转评估的标志信息，提供对高/低分辨率图像进行图像校正所需定标信息。
74.优选的，多分辨率定标模板各区域均为活动设计，可以移动位置。各定标区域可以
放置1个或者多个。
75.优选的，切片区为病理切片安放位置，可以取下和放置不同的病理切片。其他定标区在更换切片和成像时，位置保持不变。
76.优选的，多分辨率定标模板上各区的标志信息如图5所示。
77.优选的，多分辨率几何畸变定标区是平行线网格，每个网格交叉点用于反映网格点所在图像位置的几何畸变位移量。
78.优选的，多分辨率几何畸变定标区使用透明材料制作，可以覆盖到切片区上方，以便反映切片成像的图像各像素几何畸变位移量。
79.优选的，彩定标区为红绿蓝三种单的彩条，每种彩条包括颜深度不同的单，从左到右，颜深度逐渐增大。
80.优选的，多分辨率定标模板的彩条的真实彩用度计测量获得。
81.优选的，多分辨率平移定标区为十字线组合，其每个十字线交点为一个平移量检测的位置。
82.优选的，多分辨率旋转定标区为放射线，其放射线指出了切片的旋转方向。
83.优选的，多分辨率几何畸变定标区、多分辨率平移定标区和多分辨率旋转定标区的线段宽度为多种分辨率(0.25微米到2微米)，分别对应40倍、20倍、10倍和5倍放大图像的单个像素大小；0.25-2微米的线段在对应的40倍-5倍的图像上成像为单像素宽线段；多分辨率线段的中心线重合，如图8和9所示。
84.在具体使用时，包括以下步骤：
85.步骤01：在切片区放上病理切片，用高分辨率成像系统和低分辨率成像系统对多分辨率定标模板成像，获得含有定标信息的病理切片的高/低分辨率图像：和
86.步骤02：高/低分辨率图像的亚像素级的几何畸变量检测
87.依据几何畸变的网格的变形量，获取或者的网络交叉点处像素点p
xy
的变形量(dx，dy)
lr
，(dx，dy)
hr
。具体的图像成像变形量参考图6所示，多分辨率网格标志信息的细节如图8所示。
88.具体步骤为：分别处理或者图像。
89.s021：提取模板几何中心坐标。边缘检测单像素宽的多分辨率平移定标区最下一排中心位置模板几何中心的红水平线和蓝垂直线，如图5和图9。用hough变换检测垂直线和水平线的方程，解析其交点坐标，作为模板几何中心坐标。
90.s022：边缘检测单像素宽的几何畸变区变形的红水平线和绿垂直线条，获取线条交叉点的网格点的任意像素点p
xy
像素坐标，如图6。减去模板几何中心坐标，获取其相对于模板几何中心的坐标。
91.s023：由已知的定标区域网格点p
xy
的位置，减去模板几何中心坐标，获取未发生畸变的网格点相对于模板几何中心的坐标。
92.s024：用s022和s023所获得的坐标相减，获得像素点p
xy
的变形量。
93.s025：重复s022、s023、s024，直到获取网格交叉点处所有的像素点的变形量。
94.s026：对非网格交叉点的像素点的变形量，用已知的网格交叉点上像素点变形量插值得到。
95.优选的，5倍低分辨率成像时，模板几何中心标志信息的2微米的水平线和垂直线用于确定模板几何中心坐标。40倍高分辨率成像时，模板几何中心标志信息的0.25微米的水平线和垂直线用于确定模板几何中心坐标，如图5和图9。
96.优选的，用单黄和绿线条进行边缘检测，提取多分辨率几何畸变定标区的网格线条。5倍低分辨率成像时，2微米的水平线(或者同一行水平线)和垂直线(或者同一行垂直线)的交叉点用于确定网格交叉点坐标。40倍高分辨率成像时，0.25微米的水平线(或者同一行水平线)和垂直线(或者同一行垂直线)的交叉点用于确定网格点交叉点坐标，如图8。
97.优选的，用hough变换确定网格线的方程，进而确定网格线的交叉点坐标。
98.步骤03：高/低分辨率图像的彩标准化。
99.依据彩定标区的彩变化，获得或者的彩分布以及和真实彩的对应关系。参考图7所示，为或者的红绿蓝三分别构建一个彩变换的查询表，表格的第一列是彩条经度计测量的真实彩值，同行的第二列是彩定标区图像上彩条的彩值。
100.步骤04：高/低分辨率图像的亚像素级相对平移量检测。
101.从高/低分辨率图像的多分辨率平移定标区，到第j个十字线中心点坐标f
lr，j
(x，y)和f
hr，j
(x，y)，计算两幅图像的相对平移量。
102.具体步骤为：
103.s041：提取的多分辨率平移定标区的十字线位置。
104.边缘检测单像素宽的多分辨率平移定标区的红水平线和蓝垂直线，如图9。用hough变换检测垂直线和水平线的方程，解析其交点坐标，作为各十字线中心坐标，如第j个中心点坐标为f
lr，j
(x，y)。
105.s042：对所有的中心点坐标做平均，获取几何中心其中f
lr，j
(x，y)为平移定标区的第j个中心点坐标，n为中心点的数量。
106.s043：类似于s041，提取处理的多分辨率平移定标区的十字线位置。
107.s044：对所有的中心点坐标做平均，获取几何中心其中f
hr，j
(x，y)为平移定标区的第j个中心点坐标，n为中心点的数量。
108.s045：计算相对位置：其中ρ为高分辨率图像相对低分辨率图像的放大系数。
109.优选的，5倍低分辨率成像时，多分辨率平移定标区的2微米的水平线和垂直线用于确定十字线中心坐标。40倍高分辨率成像时，多分辨率平移定标区的0.25微米的水平线和垂直线用于确定十字线中心坐标。
110.优选的，当选择40倍高分辨率图像，5倍的低分辨率图像，放大系数ρ为8。
111.步骤05：高/低分辨率图像的亚像素级相对旋转角度检测。
112.将低分辨率图像平移[δx，δy]，然后从高/低分辨率图像的多分辨率旋转定标区，到放射线的旋转角θ，作为两幅图像的相对旋转角度δθ。
[0113]
具体步骤为：
[0114]
s051：提取的多分辨率旋转定标区的放射线位置。
[0115]
边缘检测单像素宽的多分辨率旋转定标区的红水平线、蓝垂直线和绿45度/135度线，如图5和图9。用hough变换检测各线条的方程，得到其旋转角，如第j个放射线的旋转角为θ
lr，j，水平
、θ
lr，j，垂直
、θ
lr，j，45
、θ
lr，j，135
。
[0116]
s052：提取的多分辨率旋转定标区的放射线位置。
[0117]
边缘检测单像素宽的多分辨率旋转定标区的红水平线、蓝垂直线和绿45度/135度线，如图5和图9。用hough变换检测各线条的方程，得到其旋转角，如第j个放射线的旋转角为θ
hr，j，水平
、θ
hr，j，垂直
、θ
hr，j，45
、θ
hr，j，135
。
[0118]
s053：计算相对旋转角度：s053：计算相对旋转角度：n为放射线的数量。
[0119]
优选的，5倍低分辨率成像时，多分辨率旋转定标区的2微米的水平线和垂直线用于确定放射线角度。40倍高分辨率成像时，多分辨率旋转定标区的0.25微米的水平线和垂直线用于确定放射线角度。
[0120]
步骤06：将高/低分辨率图像之间的变换视为非线性刚体变换，利用步骤04-步骤05的定标获得的平移量和旋转量，构建平移矩阵f和旋转矩阵g，两者合并为刚体变换矩阵a。同时由多分辨率几何畸变定标区获得的像素变形场，构建非线性变换矩阵。将低分辨率图像上所有像素的坐标和高分辨率图像所有像素的坐标对齐，如下所示：
[0121][0122][0123][0124]
步骤07：将像素对齐后的图像分别进行彩校正，通过彩变换查询表(图7)，得到和彩条真实彩值一致的高/低分辨率图像。
[0125]
具体步骤为：分别处理或者使用各自的彩变换查询表。
[0126]
s071：读取或者图像中任一像素点p
xy
的彩值rgb。
[0127]
s072：从彩变换查询表查彩值中r值(第二列)对应的真实r值(第一列)；查
g值(第二列)对应的真实g值(第一列)；查b值(第二列)对应的真实b值(第一列)。
[0128]
s073：得到像素点p
xy
的真实彩值rgb，用真实彩值替换原彩值。
[0129]
s074：对或者所有像素点，重复实施s071-s073。
[0130]
s075：取出多分辨率定标模板的切片区域的病理组织的高/低分辨率图像，作为校正后的，用于训练计算模型的高/低分辨率图像对i
lr
和i
hr
。
[0131]
步骤08：更换不同的病理切片，重复步骤01-步骤07，得到经过校正后的高/低分辨率图像对的数据集合{i
lr
，i
hr
}。
[0132]
优选的，固定定标区的位置不变，可重复利用以前计算的高/低分辨率图像的相对平移量、旋转量、几何畸变量以及彩查询表，执行步骤06和步骤07，以简化处理。
[0133]
步骤09：使用高/低分辨率图像对的数据集合{i
lr
，i
hr
}，利用有监督的端对端的方式训练一个计算模型，实现输入低分辨率图像i
lr
，输出生成的高分辨率图像i
sr
。
[0134]
优选的，计算模型可以采用生成对抗网络，编码-解码网络等超分辨生成模型所设计。
[0135]
优选的，训练过程中高/低分辨率图像对数据集合{i
lr
，i
hr
}的60％作为训练集，20％的数据作为验证集，剩余的20％作为测试集。采用反向传播的神经网络训练算法，训练过程中不断优化模型权值，实现从i
lr
生成的i
sr
和成对的i
hr
的图像特征具有高度相似性的训练目标。
[0136]
优选的，训练目标函数限定生成的i
sr
和i
hr
具有高度相似性，包括像素、彩、纹理以及感知特征的相似性。
[0137]
步骤10：完成计算模型的训练后，将模型保存到并行计算单元，用于在低分辨率成像过程中，从i
lr
生成高分辨率图像i
sr
。
[0138]
步骤11：在实施低分辨率病理切片成像时，利用低分辨率成像系统对病理切片成像，获得经过图像校正得到低分辨率图像i
lr
。
[0139]
优选的，由于不需要对高分辨率图像做像素对齐，此处的校正只需做几何畸变校正，不需要做选择平移和旋转校正，如下所示。
[0140][0141]
优选的，进一步做彩校正，对的彩进行标准化。
[0142]
优选的，几何畸变校正和彩校正所需的像素变形量和彩校正的查询表，由步骤02和步骤03获得。
[0143]
优选的，低分辨率成像时，移除多分辨率定标模板的各定标区，只对病理切片成像，以简化成像系统。
[0144]
步骤12：并行计算单元运行完成训练的计算模型，实现由i
lr
(低分辨率图像)生成i
sr
(高分辨率图像)。
[0145]
优选的，定标系统在完成计算模型构建后，对病理切片低分辨率成像时放弃不用，以节约成本。
[0146]
优选的，低分辨率成像时，同时输出低分辨率图像i
lr
和高分辨率图像i
sr
，以满足高/低分辨率图像的多分辨率的病理诊断应用。
[0147]
优选的，并行计算单元可以是gpu等高性能计算模块，包括数千个计算核心，可实现并行高速运算。
[0148]
优选的，每个低分辨率成像系统可装备多个并行处理单元，使得并行计算速度和光学扫描成像速度达到平衡，取得最大成像速度。
[0149]
优选的，可将并行计算单元和计算模型移到并行服务器系统，以便并行服务器系统同时服务于多个低分辨率成像系统，以降低低分辨率成像系统的经济成本。
[0150]
通过上述描述可看出，在本技术实施例中，通过采用多分辨率定标模板，获得了校正彩和几何畸变，以及像素精确对齐的高/低分辨率图像对，达到了精确训练计算模型的进步。通过低分辨率成像和计算模型转换，建立了基于低分辨率成像的数字化病理切片新技术，解决了当前高分辨率成像数字化切片的速度慢、局部失焦以及几何畸变的问题，节省了数字化时间，提高了图像质量。
[0151]
另外，本技术实施例还提供了一种低分辨率成像的病理切片数字化系统，该系统包括低分辨率成像系统包括：低放大倍率镜头、光电器件、信号处理单元、图像校正单元和并行计算单元；其中，低放大倍率镜头用于扫描病理切片得到相应的低倍率光学放大像；光电器件用于将光学放大像转换为模拟电信号，信号处理单元用于对模拟电信号进行模数转换，得到低分辨率图像；图像校正单元处理图像彩和几何变形；并行计算单元用于根据建立的可将病理组织的低分辨率图像重建为高分辨率图像的计算模型，将低分辨率图像转换成高分辨率图像。具体的可参考上述方法中的详细描述，在此不再赘述。
[0152]
在上述技术方案中，通过采用多分辨率定标模板，获得了校正彩和几何畸变，以及像素精确对齐的高/低分辨率图像对，达到了精确训练计算模型的进步。通过低分辨率成像和计算模型转换，建立了基于低分辨率成像的数字化病理切片新技术，解决了当前高分辨率成像数字化切片的速度慢、局部失焦以及几何畸变的问题，节省了数字化时间，提高了图像质量。
[0153]
本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。
[0154]
以上，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。

技术特征：

1.一种低分辨率成像的病理切片数字化方法，其特征在于，包括以下步骤：使用低分辨率成像系统和高分辨率成像系统分别对多分辨率定标模板成像；获取所述多分辨率定标模板的病理组织、彩、几何形态以及定位信息的低分辨率图像以及高分辨率图像；根据所述多分辨率定标模板的彩、几何形态以及定位信息，对所述病理组织的低分辨率图像和高分辨率图像进行预处理图像校正，获得彩标准化、几何畸变校正以及像素对齐的高/低分辨率的病理组织的图像对；用多个高/低分辨率图像对以有监督的方式训练超分辨率图像重建算法，建立可将病理组织的低分辨率图像重建为高分辨率图像的计算模型；运用低分辨率成像系统对病理切片成像，再利用所述计算模型，将低分辨率图像转换为高分辨率图像。2.根据权利要求1所述的低分辨率成像的病理切片数字化方法，其特征在于，所述多分辨率定标模板包括：彩定标区、多分辨率几何畸变定标区、多分辨率平移定标区、多分辨率旋转定标区以及切片区；其中：所述彩定标区和所述多分辨率几何畸变定标区用于提供高分辨率成像系统和低分辨率成像系统的彩分布、几何畸变量；所述多分辨率平移定标区和所述多分辨率旋转定标区提供高/低分辨率图像的相对平移旋转量；所述切片区用于放置不同的病理切片。3.根据权利要求2所述的低分辨率成像的病理切片数字化方法，其特征在于，所述使用低分辨率成像系统和高分辨率成像系统分别对多分辨率定标模板成像，具体为：所述低分辨率成像系统通过扫描所述多分辨率定标模板的一定量的图像块，拼接得到的所述多分辨率定标模板的低分辨率图像；所述高分辨率成像系统通过扫描所述多分辨率定标模板的一定量的图像块，拼接得到的所述多分辨率定标模板的高分辨率图像。4.根据权利要求3所述的低分辨率成像的病理切片数字化方法，其特征在于，所述多分辨率定标模板图像上的几何畸变、平移和旋转标志信息为多分辨率线段组合，特定分辨率线段在高/低分辨率图像呈现单像素宽度，且多分辨率线段的中心线重合，获取亚像素级定位精度。5.根据权利要求3所述的低分辨率成像的病理切片数字化方法，其特征在于，所述多分辨率定标模板图像上的彩定标区用于提供成像系统的彩分布，具体包括：通过所述彩定标区的彩变化，获取低分辨率图像和高分辨率图像的彩分布以及和真实彩的对应关系，实现彩标准化。6.根据权利要求4所述的低分辨率成像的病理切片数字化方法，其特征在于，所述获得几何畸变校正以及像素对齐的高/低分辨率的病理组织的图像对；具体包括：通过多分辨率几何畸变定标区获取高分辨图像和低分辨率图像的像素的变形量；通过多分辨率旋转定标区获取高分辨图像和低分辨率图像的像素的相对旋转角度；通过多分辨率平移定标区获取高分辨图像和低分辨率图像的像素的相对平移量。7.根据权利要求6所述的低分辨率成像的病理切片数字化方法，其特征在于，所述通过多分辨率旋转定标区获取高分辨图像和低分辨率图像的像素的相对旋转角度；通过多分辨率平移定标区获取高分辨图像和低分辨率图像的像素的相对平移量；具体为：
通过所述多分辨率几何畸变定标区的多分辨率特定标志获取高分辨图像和低分辨率图像的像素的变形量；通过多分辨率平移定标区和多分辨率旋转定标区的多分辨率特定标志获取高分辨率图像和低分辨率图像的像素的平移量和旋转量，构建非线性刚体变换矩阵，实现高/低分辨率图像的像素位置对齐；通过所述的彩标准化、几何畸变校正和像素对齐，建立高/低分辨率的图像对。8.根据权利要求7所述的低分辨率成像的病理切片数字化方法，其特征在于，所述用多个高/低分辨率图像对以有监督的方式训练超分辨率图像重建算法的计算模型，具体包括：训练目标函数使得从低分辨率图像生成的高分辨率图像，和成对的高分辨率图像具有高度相似性，所述高度相似性包括像素、彩、纹理以及感知特征的相似性。9.一种低分辨率成像的病理切片数字化系统，其特征在于，包括低分辨率成像系统：低放大倍率镜头、光电器件、信号处理单元、图像校正单元和并行计算单元；所述低放大倍率镜头用于扫描病理切片得到相应的低倍率光学放大像；所述光电器件用于将所述光学放大像转换为模拟电信号，所述信号处理单元用于对所述模拟电信号进行模数转换，得到低分辨率图像；所述图像校正单元用于校正图像彩以及像素变形；所述并行计算单元用于根据建立的可将病理组织的低分辨率图像重建为高分辨率图像的计算模型，将所述低分辨率图像转换成高分辨率图像。

技术总结

本申请提供了一种低分辨率成像的病理切片数字化方法及系统，该方法包括以下步骤：使用低分辨率和高分辨率成像系统分别对多分辨率定标模板成像，获取低分辨率及高分辨率图像；利用多分辨率定标模板提供的信息，构造高/低分辨率的病理组织的图像对；用多个高/低分辨率图像对以有监督的方式训练超分辨率图像重建算法，建立计算模型；运用低分辨率成像系统对病理切片成像，再利用计算模型，将低分辨率图像转换为高分辨率图像。通过低分辨率成像和计算模型转换，建立了基于低分辨率成像的数字化病理切片新技术，解决了当前高分辨率成像数字化切片的速度慢、局部失焦以及几何畸变的问题，节省了数字化时间，提高了图像质量。提高了图像质量。提高了图像质量。