内窥镜下病灶绝对尺寸测量系统及方法与流程

1.本技术涉及内窥镜领域，特别涉及一种内窥镜下病灶绝对尺寸测量系统及方法技术。

背景技术：

2.现有技术中传统的内镜前端主要包括送气送水喷嘴、物镜、照明透镜、器械工作通道。其中照明透镜用来照明，物镜用来采集图像。一般胃镜具有两个照明点，肠镜具有三个照明点。光源由灯箱产生，通过光箱到光纤束耦合器，再由导光束传导至内镜前端照明透镜进行照明。
3.在内窥镜检测息肉的应用中,息肉大小的准确测量对于结直肠癌(colorectal cancer,crc)的筛选及监测十分重要。腺瘤大小是crc重要的远期预测因素，主观性的息肉大小测量对crc危险分层和随访间期时间有重要意义，大于或等于1cm的腺瘤随访间期更短。并且，结肠镜下肿瘤大小对于肿瘤的性质的判断及方案的选择密切相关。对于大于3cm的息肉，内镜下切除风险较大，需要进行肠段切除；但对于小于3cm结肠息肉，可以通过内镜黏膜下切除术(emr)或内镜黏膜下剥离术(esd)完全切除，且并发症发生率较低。即便对于小于3cm的息肉，息肉不同大小的内镜方式亦不尽相同。因此，许多指南在制定结肠息肉内镜下时均将息肉大小作为一个重要适应证指标。但是，内镜下判断息肉大小目前尚没有统一的标准，在临床工作中，息肉的大小常常仅靠医师根据自己的经验进行目测判断，其与实际息肉大小有时相差甚远。eichenseer等比较了15位内镜专家对10～25mm的息肉在内镜下估计的大小与切除后的组织标本直接测量的大小进行对比，发现平均变异率为73.6％(13％～127％)，错误率为62.6％(0～91％)，以过大估计更为多见，从而导致为部分患者提供了不合适的结直肠肿瘤筛查建议。
4.另外在2016年发表于gastroenterology期刊上的一项研究中，纳入了同时有直接通过内镜判断及切除后病理测量的数据且完整切除的息肉。作者比较了内镜医师和病理科医师的息肉测量方法，并同时分析了引起错误测量的内镜或者息肉方面的相关因素。此研究中，切除术后的息肉马上浸入福尔马林液并送往病理科进行下一步处理。由最小刻度为mm的尺子所测量的病理大小为金标准。息肉被分为两组，分别为大于1cm和小于1cm。息肉也同样被分为高估(内镜估测值偏高)和低估(内镜估测值偏低)两组，根据患者性别、息肉形态、组织学以及息肉位置等进行。研究期间，50名内镜医师与12名内镜助手共完成了9146例结肠镜，共切除6067枚息肉，其中1422例患者的1528例病变符合纳入标准。这些内镜医师平均有15年的内镜经验。研究者发现内镜下息肉估测值多集中于1cm和2cm，与病理测值相比，大部分估测值偏高。上述发现提示内镜医师们更倾向于将息肉大小四舍五入地估计为偏大的测量值，这一现象在大息肉中更为常见，偏大的估测值将会缩短随访间期。内镜估测值直径大于1cm的息肉中约半数(46％)实际大小不足1cm，这些患者的随访时间可能从较为合适的5～10年缩短为3年。相反，估测值偏低的小部分患者则接受了不恰当的随访时间延长。研究者指出如果息肉的估测大小作为评估腺瘤进展期的唯一标准，则约10％的患者会接受不
合理的随访。
5.目前的一些内镜下息肉大小测量的方法主要包括内镜医师直接目测，或者利用一些器械作为参考进行估计。比如将活检钳的开口大小作为参考，或者通过一些器械连接线上的刻度进行测量估计。但是这可能由于工具和病灶离开镜头的距离并不一样、病灶在不同距离和不同角度显示的大小和形状不同导致测量准确性不高。
6.亟需一种能准确测量息肉大小的内窥镜系统。

技术实现要素：

7.本技术的目的在于提供一种内窥镜下病灶绝对尺寸测量系统，能够自动而准确地测量内窥镜中的息肉大小。
8.本技术的实施方式提供了一种内窥镜下病灶绝对尺寸测量系统，包括：光箱，照明通路和结构光通路；
9.所述光箱中设置有光源；
10.所述照明通路包括遮挡镜片、第一耦合器、第一光纤和照明透镜；所述第一耦合器被配置为实现所述光箱和所述第一光纤之间的耦合；所述遮挡镜片被配置为在所述第一耦合器与所述光源之间切入切出；所述第一光纤的一端连接到所述第一耦合器，另一端连接到所述照明透镜；
11.所述结构光通路包括结构光发生器、第二耦合器、第二光纤和结构光投影器；所述第二耦合器被配置为实现所述光箱和所述第二光纤之间的耦合；所述结构光发生器被配置在所述第二耦合器与所述光源之间切入切出；所述第二光纤的一端连接到所述第二耦合器，另一端连接到所述结构光投影器；
12.所述照明透镜和所述结构光投影器被配置在内窥镜的端部。
13.在一个优选例中，所述结构光发生器与所述遮挡镜片同时切入切出。
14.在一个优选例中，当切换到结构光模式，所述遮挡镜片切入所述第一耦合器与所述光源之间，遮挡所述照明通路；所述结构光发生器切入所述第二耦合器与所述光源之间产生结构光；
15.当切换到白光模式时，所述遮挡镜片和所述结构光发生器同时切出，所述第一光纤和所述第二光纤均传导照明光。
16.在一个优选例中，所述结构光发生器产生波长在400-700nm之间的可见光。
17.在一个优选例中，所述结构光发生器产生的光的通带宽度是中心波长值的5％以下。
18.在一个优选例中，所述内窥镜的端部还配置有喷嘴、物镜和器械出口。
19.在一个优选例中，所述光源为氙灯、激光或者led。
20.本技术还公开了一种内窥镜下病灶绝对尺寸测量方法包括以下步骤：
21.如前文描述的内窥镜下病灶绝对尺寸测量系统在白光模式进行拍摄，将拍摄图像输入经过训练的目标检测模型，以实时检测息肉是否出现；
22.如果检测到息肉，使用基于编码器-解码器结构的深度神经网络对息肉区域进行实时自动分割；
23.切换所述内窥镜下病灶绝对尺寸测量系统至结构光模式，进行结构光成像；
24.使用图像处理系统对采集到的结构光图像进行分析，结合息肉分割结果计算息肉尺寸。
25.在一个优选例中，所述目标检测模型包括第一编码器和检测器；
26.所述第一编码器被配置为对白光模式下获得的图像进行特征提取，得到特征图；
27.所述检测器被配置为对输入的所述特征图进行回归，得到息肉所在位置的坐标。
28.在一个优选例中，所述基于编码器-解码器结构的深度神经网络包括：
29.用于输入图像的第二编码器，包括卷积层、激活层、池化层；
30.用于输出结果的解码器，包括卷积层、激活层、串联层、上采样层；
31.所述第二编码器和所述解码器之间通过跨层特征融合将尺寸差异小于预定阈值的特征图融合在一起。
32.本技术的内窥镜下病灶绝对尺寸测量系统及方法有如下技术效果：
33.本技术的内窥镜下病灶绝对尺寸测量系统及方法能准确测量息肉大小，以便于使用者对患者的crc危险合理分层并合理安排随访间期时间、提供合适的结直肠肿瘤筛查建议。
34.本技术的说明书中记载了大量的技术特征，分布在各个技术方案中，如果要罗列出本技术所有可能的技术特征的组合(即技术方案)的话，会使得说明书过于冗长。为了避免这个问题，本技术上述发明内容中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案(这些技术方案均应该视为在本说明书中已经记载)，除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征a+b+c，在另一个例子中公开了特征a+b+d+e，而特征c和d是起到相同作用的等同技术手段，技术上只要择一使用即可，不可能同时采用，特征e技术上可以与特征c相组合，则，a+b+c+d的方案因技术不可行而应当不被视为已经记载，而a+b+c+e的方案应当视为已经被记载。
附图说明
35.图1是根据本技术的内窥镜下病灶绝对尺寸测量系统的结构示意图；
36.图2是根据本技术的内窥镜下病灶绝对尺寸测量方法的流程示意图；
37.图3是根据本技术的内窥镜下病灶绝对尺寸测量方法的目标检测模型的结构示意图；
38.图4是根据本技术的内窥镜下病灶绝对尺寸测量方法的基于编码器-解码器结构的u-net网络的结构示意图；
39.图5是根据本技术的内窥镜下病灶绝对尺寸测量方法的病灶尺寸计算模型的示意图；
40.附图标记说明:
41.1.光源、
42.2.结构光通路、
43.3.照明通路、
44.4.遮挡镜片、
45.5.第一耦合器、
46.6.第一光纤、
47.7.照明透镜、
48.8.结构光发生器、
49.9.第二耦合器、
50.10.第二光纤、
51.11.结构光投影器、
52.12.喷嘴、
53.13.物镜、
54.14.器械出口、
55.15.光箱。
具体实施方式
56.在以下的叙述中，为了使读者更好地理解本技术而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本技术所要求保护的技术方案。
57.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术的实施方式作进一步地详细描述。
58.本技术的第一实施方式涉及一种内窥镜下病灶绝对尺寸测量系统，如图1所示，该内窥镜下病灶绝对尺寸测量系统，包括：光箱，照明通路和结构光通路；
59.光箱中设置有光源；
60.照明通路包括遮挡镜片、第一耦合器、第一光纤和照明透镜；第一耦合器被配置为实现光箱和第一光纤之间的耦合；遮挡镜片被配置为在第一耦合器与光源之间切入切出；第一光纤的一端连接到第一耦合器，另一端连接到照明透镜；
61.结构光通路包括结构光发生器、第二耦合器、第二光纤和结构光投影器；第二耦合器被配置为实现光箱和第二光纤之间的耦合；结构光发生器被配置在第二耦合器与光源之间切入切出；第二光纤的一端连接到第二耦合器，另一端连接到结构光投影器；
62.照明透镜和结构光投影器被配置在内窥镜的端部。
63.可选的，在一个实施例中，结构光经耦合器及结构光光纤后，由结构光投影器投射至组织表面。结构光投射到待测物表面后被待测物的高度调制，被调制的结构光经摄像系统采集，传送至计算机内分析计算后可得出被测物的三维数据。
64.结构光发生器与遮挡镜片同时切入切出。
65.当切换到结构光模式，遮挡镜片切入第一耦合器与光源之间，遮挡照明通路；结构光发生器切入第二耦合器与光源之间产生结构光；
66.当切换到白光模式时，遮挡镜片和结构光发生器同时切出，第一光纤和第二光纤均传导照明光。
67.可选的，在一个实施例中，此结构光发生器可以通过按键或系统控制切换。如果切入结构光发生器，则照明导光束后端遮挡镜片同时切入，阻止照明光源通过，仅由结构光投射器投射结构光。采集到的结构光图像被送至主机处理，分析其包含的三维数据；若切出结构光发生器，则照明导光束后端遮挡镜片同时切出，使得照明光源通过，进行白光照明，同
时该结构光通路作为一般的照明通路进行白光照明。
68.结构光发生器产生波长在400-700nm之间的可见光或者产生的光的通带宽度是中心波长值的5％以下，实际选取会通过实验确定，以尽量减少反射得到最清晰的结构光图像。
69.可选的，在一个实施例中，内窥镜的端部还配置有喷嘴、物镜和器械出口。
70.可选的，在一个实施例中，光源为氙灯、激光或者led。
71.本技术的第二实施方式涉及一种内窥镜下病灶绝对尺寸测量方法，包括以下步骤，如图2所示：
72.在步骤202中，使用如第一实施方式所述的内窥镜下病灶绝对尺寸测量系统在白光模式进行拍摄，将拍摄图像输入经过训练的目标检测模型，以实时检测息肉是否出现。
73.如果检测到息肉则进入步骤204，使用基于编码器-解码器结构的深度神经网络对息肉区域进行实时自动分割。
74.此后进入步骤206，切换内窥镜下病灶绝对尺寸测量系统至结构光模式，进行结构光成像。
75.此后进入步骤208，使用图像处理系统对采集到的结构光图像进行分析，结合息肉分割结果计算息肉尺寸。
76.在一个优选例中，目标检测模型包括第一编码器和检测器；第一编码器被配置为对白光模式下获得的图像进行特征提取，得到特征图；检测器被配置为对输入的特征图进行回归，得到息肉所在位置的坐标。
77.在一个优选例中，基于编码器-解码器结构的深度神经网络包括：
78.用于输入图像的第二编码器，包括卷积层、激活层、池化层；
79.用于输出结果的解码器，包括卷积层、激活层、串联层、上采样层；
80.第二编码器和解码器之间通过跨层特征融合将尺寸差异小于预定阈值的特征图融合在一起。
81.可选的，在一个实施例中，如图3所示的目标检测模型，白光下的图像x作为输入，输入一个编码器进行特征提取，特征提取后得到的特征图再经由一个检测器回归得到息肉所在位置的坐标y。其中编码器和检测器由深度神经网络构成，包括卷积层、下采样层、上采样层、池化层、批归一化层、激活层等。通过上述目标检测模型，当系统检测到息肉存在时，系统会在监视器上用红框提示医生息肉所在的矩形区域，并发出警报声。随后系统对息肉区域进行精细分割。
82.对息肉区域的精细分割基于编码器-解码器结构的深度神经网络进行。左半部分为编码器，包括卷积层、激活层、池化层。右半部分为解码器，包括卷积层、激活层、串联层、上采样层。编码器和解码器之间直接通过跨层特征融合将具有相近尺寸的特征图融合在一起，可以更好的提取上下文信息与全局信息。如图4所示是一个基于编码器-解码器结构的u-net网络。
83.一旦病灶被分割出来之后，系统自动切换或手动为结构光成像模式，同时照明通路后端通过遮挡镜片关闭，阻止照明光源的通过。通过上述结构光通路将结构光投影至组织表面，结构光图像的变形将被内窥镜摄像头采集，并传送至图像处理中心处理。采集到的结构光图像传送至图像处理中心后，图像处理中心结合分割结果与结构光图像的变形，通
过相移法计算出病灶的三维轮廓，并且给出病灶尺寸。
84.可选的，在一个实施例中，如图5所示，一种病灶尺寸计算模型。p为投影仪光心，c为相机光心。o为相机光轴和投影仪光轴的交点。设通过o点的水平平面为计算中基准x轴。l1和l2分别为相机光心和投影仪光心到x轴的距离。d为相机光心到投影仪光心沿x轴方向的距离。a-b-o平面为假设的虚平面，所假设的虚平面平行于投影仪光心和相机光心的连接线pc。对于物体表面某一点q，由三角关系可以解得q点相对于参考平面的高度z:
[0085][0086]
由于平面至平面的投影为线性映射，故投影仪图案映射在虚平面abo上也具有固定的周期，ab与成线性关系。
[0087]
再计算q点的绝对相位当将正弦条纹图像投射到三维漫反射表面时，从相机中观测到的某点q(x,y)的像可表示为：
[0088][0089]
其中a(x,y)是背景光强度，b(x,y)/a(x,y)表示光栅条纹的对比度，是相位值。对于n步相移法，每一步正弦光栅相移与上一步正弦光栅相移的投影相位相差2π/n的相位，即以下方程组：
[0090][0091]
其中i＝1,2,
…
,n。方程组共有n个方程，三个未知量，当n》＝3时即可求解。解得：
[0092][0093][0094]
通过相位展开，可以得到q点(x,y)的绝对相位值将带入上式即可得到q点距虚平面abo的高度z。
[0095]
通过对相机参数的标定，可以根据z计算得出q点在真实世界中的绝对坐标(x,y,z)，通过计算采集到的结构光图像上每一点的绝对坐标(x,y,z)，结合上述息肉分割的结果，即可求得息肉的三维尺寸。
[0096]
需要说明的是，在本专利的申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本专利的申请文件中，如果提到根据某要素执行某行为，则是指至少根据该要素执行该行为的意思，其中
包括了两种情况：仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。多个、多次、多种等表达包括2个、2次、2种以及2个以上、2次以上、2种以上。
[0097]
本说明书包括本文所描述的各种实施例的组合。对“一个实施例”或特定实施例等的单独提及不一定是指相同的实施例；然而，除非指示为是互斥的或者本领域技术人员很清楚是互斥的，否则这些实施例并不互斥。应当注意的是，除非上下文另外明确指示或者要求，否则在本说明书中以非排他性的意义使用“或者”一词。
[0098]
在本技术提及的所有文献都被认为是整体性地包括在本技术的公开内容中，以便在必要时可以作为修改的依据。此外应理解，在阅读了本技术的上述公开内容之后，本领域技术人员可以对本技术作各种改动或修改，这些等价形式同样落于本技术所要求保护的范围。

技术特征：

1.一种内窥镜下病灶绝对尺寸测量系统，其特征在于，包括：光箱、照明通路和结构光通路；所述光箱中设置有光源；所述照明通路包括遮挡镜片、第一耦合器、第一光纤和照明透镜；所述第一耦合器被配置为实现所述光箱和所述第一光纤之间的耦合；所述遮挡镜片被配置为在所述第一耦合器与所述光源之间切入切出；所述第一光纤的一端连接到所述第一耦合器，另一端连接到所述照明透镜；所述结构光通路包括结构光发生器、第二耦合器、第二光纤和结构光投影器；所述第二耦合器被配置为实现所述光箱和所述第二光纤之间的耦合；所述结构光发生器被配置在所述第二耦合器与所述光源之间切入切出；所述第二光纤的一端连接到所述第二耦合器，另一端连接到所述结构光投影器；所述照明透镜和所述结构光投影器被配置在内窥镜的端部。2.如权利要求1所述的内窥镜下病灶绝对尺寸测量系统，其特征在于，所述结构光发生器与所述遮挡镜片同时切入切出。3.如权利要求2所述的内窥镜下病灶绝对尺寸测量系统，其特征在于，当切换到结构光模式，所述遮挡镜片切入所述第一耦合器与所述光源之间，遮挡所述照明通路；所述结构光发生器切入所述第二耦合器与所述光源之间产生结构光；当切换到白光模式时，所述遮挡镜片和所述结构光发生器同时切出，所述第一光纤和所述第二光纤均传导照明光。4.如权利要求1所述的内窥镜下病灶绝对尺寸测量系统，其特征在于，所述结构光发生器产生波长在400-700nm之间的可见光。5.如权利要求1所述的内窥镜下病灶绝对尺寸测量系统，其特征在于，所述结构光发生器产生的光的通带宽度是中心波长值的5％以下。6.如权利要求1所述的内窥镜下病灶绝对尺寸测量系统，其特征在于，所述内窥镜的端部还配置有喷嘴、物镜和器械出口。7.如权利要求1所述的内窥镜下病灶绝对尺寸测量系统，其特征在于，所述光源为氙灯、激光或者led。8.一种内窥镜下病灶绝对尺寸测量方法，其特征在于，包括以下步骤：如权利要求1-7中任意一项所述的内窥镜下病灶绝对尺寸测量系统在白光模式进行拍摄，将拍摄图像输入经过训练的目标检测模型，以实时检测息肉是否出现；如果检测到息肉，使用基于编码器-解码器结构的深度神经网络对息肉区域进行实时自动分割；切换所述内窥镜下病灶绝对尺寸测量系统至结构光模式，进行结构光成像；使用图像处理系统对采集到的结构光图像进行分析，结合息肉分割结果计算息肉尺寸。9.如权利要求8所述的内窥镜下病灶绝对尺寸测量方法，其特征在于，所述目标检测模型包括第一编码器和检测器；所述第一编码器被配置为对白光模式下获得的图像进行特征提取，得到特征图；所述检测器被配置为对输入的所述特征图进行回归，得到息肉所在位置的坐标。
10.如权利要求8所述的内窥镜下病灶绝对尺寸测量方法，其特征在于，所述基于编码器-解码器结构的深度神经网络包括：用于输入图像的第二编码器，包括卷积层、激活层、池化层；用于输出结果的解码器，包括卷积层、激活层、串联层、上采样层；所述第二编码器和所述解码器之间通过跨层特征融合将尺寸差异小于预定阈值的特征图融合在一起。

技术总结

本申请涉及内窥镜领域，公开了一种内窥镜下病灶绝对尺寸测量系统及方法，包括：光箱、照明通路和结构光通路；所述光箱中设置有光源；所述照明通路包括遮挡镜片、第一耦合器、第一光纤和照明透镜；所述遮挡镜片被配置为在所述第一耦合器与所述光源之间切入切出；所述第一光纤的一端连接到所述第一耦合器，另一端连接到所述照明透镜；所述结构光通路包括结构光发生器、第二耦合器、第二光纤和结构光投影器；所述结构光发生器被配置在所述第二耦合器与所述光源之间切入切出；所述第二光纤的一端连接到所述第二耦合器，另一端连接到所述结构光投影器。影器。影器。