截骨长度测量设备的制作方法

1.本技术涉及智慧医疗领域，且更为具体的涉及一种截骨长度测量设备。

背景技术：

2.随着影像学、化疗及外科学的进步，保留肢体手术逐渐成为恶性骨肿瘤外科的主流趋势，长骨肿瘤截除，采用特制肿瘤型人工关节假体置换，恢复患者运动功能，术中准确测量肿瘤骨截骨长度是重要的环节，因手术术野范围、周围血管神经以及韧带限制，不能将肿瘤骨完全分离测量，即使完全分离，术中采用直尺测量肿瘤骨的不规则三维结构的长度，常常需要借助临时工具辅助测量，误差不可避免。
3.因此，期待一种优化的截骨长度测量设备。

技术实现要素：

4.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种截骨长度测量设备，其采用基于图像的截图长度测量方式来进行截骨的长度测量，以确保特制肿瘤型人工关节假体与患者的截骨长度尺寸适配的精准度。也就是，基于截骨对象与参考对象在经具有相同网络结构的编码器和解码器得到用于表示长度特征的解码值后，基于解码值之间的比例来作为待测量截骨尺寸与参考对象之间的尺寸比值，以此来基于图像来构建截骨尺寸测量方案。这样，提高对于所述待测量截骨的长度尺寸测量的精准度。
5.根据本技术的一个方面，提供了一种截骨长度测量设备，其包括：
6.拍摄单元，用于获取待测量截骨和参考对象的检测图像，所述参考对象具有已知长度；
7.图像降噪单元，用于对所述检测图像进行降噪处理以得到降噪后检测图像；
8.第一目标检测单元，用于将所述降噪后检测图像通过截骨对象检测网络以得到第一感兴趣区域；
9.第二目标检测单元，用于将所述降噪后检测图像通过参考图像检测网络以得到第二感兴趣区域；
10.双重编码单元，用于将所述第一感兴趣区域和所述第二感兴趣区域通过包含第一图像编码器和第二图像编码器的双重编码网络模型以得到截骨对象特征向量和参考对象特征向量；
11.特征校正单元，用于对所述截骨对象特征向量和所述参考对象特征向量进行特征分布校正以得到校正后截骨对象特征向量和校正后参考对象特征向量；
12.双重解码单元，用于将所述校正后截骨对象特征向量和所述校正后参考对象特征向量通过包含第一解码器和第二解码器的双重解码网络模型以得到第一解码值和第二解码值；以及
13.长度测量结果生成单元，用于基于所述第一解码值和所述第二解码值之间的比值和所述参考对象的已知长度尺寸，生成所述待测量截骨的长度尺寸。
14.在上述截骨长度测量设备中，所述图像降噪单元，进一步用于将所述检测图像输入基于自动编解码器的降噪器以得到所述降噪后检测图像。
15.在上述截骨长度测量设备中，所述图像降噪单元，包括：图像特征提取子单元，用于将所述检测图像输入所述基于自动编码器的降噪器中的编码器，其中，所述编码器使用卷积层对所述检测图像进行显式空间编码以得到检测图像特征；以及，图像特征解码子单元，用于将所述检测图像特征输入所述基于自动编码器的降噪器中的解码器，其中，所述解码器使用反卷积层对所述检测图像特征进行反卷积处理以得到所述降噪后检测图像。
16.在上述截骨长度测量设备中，所述截骨对象检测网络和所述参考图像检测网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为fast r-cnn、faster r-cnn或retinanet。
17.在上述截骨长度测量设备中，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。
18.在上述截骨长度测量设备中，所述第一图像编码器和所述第二图像编码器为包含多个混合卷积层的深度卷积神经网络模型。
19.在上述截骨长度测量设备中，所述特征校正单元，包括：第一校正因子生成子单元，以如下公式计算所述截骨对象特征向量的多分布解码回归连续性因数作为第一因数；其中，所述公式为：
[0020][0021]
其中v1是所述截骨对象特征向量，vr是基于所述截骨对象特征向量的参考向量，decodev(
·
)表示特征向量通过解码器所获得的解码值，log表示以2为底的对数函数值；第二校正因子生成子单元，以如下公式计算所述参考对象特征向量的多分布解码回归连续性因数作为第二因数；其中，所述公式为：
[0022][0023]
其中v2是所述参考对象特征向量，vr是基于所述参考对象特征向量的参考向量，decodev(
·
)表示特征向量通过解码器所获得的解码值，log表示以2为底的对数函数值；以及，校正因子作用子单元，用于以所述第一因数和所述第二因数分别对于所述截骨对象特征向量和所述参考对象特征向量进行加权校正以得到所述校正后截骨对象特征向量和所述校正后参考对象特征向量。
[0024]
在上述截骨长度测量设备中，所述双重解码单元，进一步用于：使用所述第一解码器的多个全连接层以如下公式对所述校正后截骨对象特征向量进行解码回归以获得所述第一解码值，其中，所述公式为：第一解码值，其中，所述公式为：其中x1是所述校正后截骨对象特征向量，y1是所述第一解码值，w1是权重矩阵，b1是偏置向量，表示矩阵乘，h(
·
)为激活函数；以及，使用所述第二解码器的多个全连接层以如下公式对所述校正后参考对象特征向量进行解码回归以获得所述第二解码值，其中，所述公式为：特征向量进行解码回归以获得所述第二解码值，其中，所述公式为：其中x2是所述校正后参考对象特征向量，y2是所述第二解码值，w2是
权重矩阵，b2是偏置向量，表示矩阵乘，h(
·
)为激活函数。
[0025]
在上述截骨长度测量设备中，所述长度测量结果生成单元，包括：比值计算子单元，用于计算所述第一解码值和所述第二解码值之间的比值；以及，尺寸计算子单元，用于将所述比值乘以所述参考对象的已知长度尺寸以得到所述待测量截骨的长度尺寸。
[0026]
根据本技术的另一方面，还提供了一种截骨长度测量方法，其包括：
[0027]
获取待测量截骨和参考对象的检测图像，所述参考对象具有已知长度；
[0028]
对所述检测图像进行降噪处理以得到降噪后检测图像；
[0029]
将所述降噪后检测图像通过截骨对象检测网络以得到第一感兴趣区域；
[0030]
将所述降噪后检测图像通过参考图像检测网络以得到第二感兴趣区域；
[0031]
将所述第一感兴趣区域和所述第二感兴趣区域通过包含第一图像编码器和第二图像编码器的双重编码网络模型以得到截骨对象特征向量和参考对象特征向量；
[0032]
对所述截骨对象特征向量和所述参考对象特征向量进行特征分布校正以得到校正后截骨对象特征向量和校正后参考对象特征向量；
[0033]
将所述校正后截骨对象特征向量和所述校正后参考对象特征向量通过包含第一解码器和第二解码器的双重解码网络模型以得到第一解码值和第二解码值；以及
[0034]
基于所述第一解码值和所述第二解码值之间的比值和所述参考对象的已知长度尺寸，生成所述待测量截骨的长度尺寸。
[0035]
在上述截骨长度测量方法中，所述对所述检测图像进行降噪处理以得到降噪后检测图像，包括：将所述检测图像输入基于自动编解码器的降噪器以得到所述降噪后检测图像。
[0036]
在上述截骨长度测量方法中，所述对所述检测图像进行降噪处理以得到降噪后检测图像，包括：将所述检测图像输入所述基于自动编码器的降噪器中的编码器，其中，所述编码器使用卷积层对所述检测图像进行显式空间编码以得到检测图像特征；以及，将所述检测图像特征输入所述基于自动编码器的降噪器中的解码器，其中，所述解码器使用反卷积层对所述检测图像特征进行反卷积处理以得到所述降噪后检测图像。
[0037]
在上述截骨长度测量方法中，所述截骨对象检测网络和所述参考图像检测网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为fast r-cnn、faster r-cnn或retinanet。
[0038]
在上述截骨长度测量方法中，所述基于所述第一解码值和所述第二解码值之间的比值和所述参考对象的已知长度尺寸，生成所述待测量截骨的长度尺寸，包括：计算所述第一解码值和所述第二解码值之间的比值；以及，将所述比值乘以所述参考对象的已知长度尺寸以得到所述待测量截骨的长度尺寸。
[0039]
与现有技术相比，本技术提供的截骨长度测量设备，其采用基于图像的截图长度测量方式来进行截骨的长度测量，以确保特制肿瘤型人工关节假体与患者的截骨长度尺寸适配的精准度。也就是，基于截骨对象与参考对象在经具有相同网络结构的编码器和解码器得到用于表示长度特征的解码值后，基于解码值之间的比例来作为待测量截骨尺寸与参考对象之间的尺寸比值，以此来基于图像来构建截骨尺寸测量方案。这样，提高对于所述待测量截骨的长度尺寸测量的精准度。
附图说明
[0040]
通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0041]
图1为根据本技术实施例的截骨长度测量设备的应用场景图。
[0042]
图2为根据本技术实施例的截骨长度测量设备的框图。
[0043]
图3为根据本技术实施例的截骨长度测量设备的架构示意图。
[0044]
图4为根据本技术实施例的截骨长度测量设备中特征校正单元的框图。
[0045]
图5为根据本技术实施例的截骨长度测量方法的流程图。
具体实施方式
[0046]
下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
[0047]
申请概述
[0048]
如上所述，随着影像学、化疗及外科学的进步，保留肢体手术逐渐成为恶性骨肿瘤外科的主流趋势，长骨肿瘤截除，采用特制肿瘤型人工关节假体置换，恢复患者运动功能，术中准确测量肿瘤骨截骨长度是重要的环节，因手术术野范围、周围血管神经以及韧带限制，不能将肿瘤骨完全分离测量，即使完全分离，术中采用直尺测量肿瘤骨的不规则三维结构的长度，常常需要借助临时工具辅助测量，误差不可避免。因此，期待一种优化的截骨长度测量设备。
[0049]
目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
[0050]
近年来，深度学习以及神经网络的发展为截骨长度的智能测量提供了新的解决思路和方案。
[0051]
相应地，由于准确测量肿瘤骨截骨长度是保留肢体手术的重要环节，但是由于手术术野范围、周围血管神经以及韧带限制，不能将肿瘤骨完全分离测量。随着基于深度学习的人工智能技术的不断成熟，在本技术的技术方案中，期望采用基于图像的截图长度测量方式来进行截骨的长度测量，以确保特制肿瘤型人工关节假体与患者的截骨长度尺寸适配的精准度。但是，由于图像中的截骨对象难以直接获取其长度尺寸，需要一个参照对象以得到比例尺，基于此，在本技术的技术方案中，进一步基于截骨对象与参考对象在经具有相同网络结构的编码器和解码器得到用于表示长度特征的解码值后，基于解码值之间的比例来作为待测量截骨尺寸与参考对象之间的尺寸比值，以此来基于图像来构建截骨尺寸测量方案。
[0052]
具体地，在本技术的技术方案中，首先，获取待测量截骨和参考对象的检测图像，这里，为了能够得到所述检测图像中的待测量截骨在实际中的长度尺寸，所述参考对象具有已知长度。相应地，在一个具体示例中，所述参考对象为具有预定长度的长方体。
[0053]
接着，考虑到由于在手术的术野范围中，截骨周围会存在血管神经以及韧带等各种对于截骨长度尺寸判断无关的干扰特征，这会对于所述检测图像中的截骨长度检测带来影响。因此，进一步还需要对于所述检测图像进行降噪处理以得到降噪后检测图像。也就是，具体地，使用基于自动编解码器的降噪器来对于所述检测图像以进行降噪处理，以得到所述降噪后检测图像。
[0054]
然后，对于降噪后的检测图像来说，所述降噪后检测图像中具有着截骨对象和参考对象两个与截骨长度尺寸检测有关的特征信息，并且还具有其他无用的干扰特征信息。因此，为了能够准确地测量所述待测量截骨的长度尺寸，进一步对于所述降噪后检测图像施加感兴趣区域来得到截骨对象的感兴趣区域和参考对象的感兴趣区域。也就是，具体地，将所述降噪后检测图像通过截骨对象检测网络以得到第一感兴趣区域，并且将所述降噪后检测图像通过参考图像检测网络以得到第二感兴趣区域。相应地，在一个具体示例中，所述截骨对象检测网络和所述参考图像检测网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为fast r-cnn、fasterr-cnn或retinanet。
[0055]
进一步地，将所述第一感兴趣区域和所述第二感兴趣区域通过包含第一图像编码器和第二图像编码器的双重编码网络模型来进行图像编码，以得到截骨对象特征向量和参考对象特征向量。也就是，使用双重编码网络模型的第一图像编码器来对于所述第一感兴趣区域进行特征提取，以提取出所述第一感兴趣区域中聚焦于所述截骨对象长度尺寸的特征分布信息，从而得到所述截骨对象特征向量；并且，使用双重编码网络模型的第二图像编码器来对于所述第二感兴趣区域进行特征提取，以提取出所述第二感兴趣区域中聚焦于所述参考对象长度尺寸的特征分布信息，从而得到所述参考对象特征向量。特别地，这里，所述第一图像编码器和所述第二图像编码器具有相同的网络结构，使用具有相同网络结构的图像编码器来进行两个感兴趣区域的图像编码能够提取出源域的图像中关于所述截骨对象和所述参考对象的长度尺寸特征差异，有利于提高对于两者尺寸比值的精准度。
[0056]
具体地，在本技术的技术方案中，所述第一图像编码器和所述第二图像编码器为包含多个混合卷积层的深度卷积神经网络模型。也就是，所述第一图像编码器和所述第二图像编码器使用包含多个混合卷积层的深度卷积神经网络模型来分别对于所述第一感兴趣区域和所述第二感兴趣区域进行编码，以分别提取出所述第一感兴趣区域和所述第二感兴趣区域中关于所述待测量截骨尺寸与所述参考对象尺寸的多尺度隐含特征分布信息，从而得到截骨对象特征向量和参考对象特征向量。这样，能够在扩大感受野的同时，又避免了下采样损失信息，进而提高了对于所述待测量截骨尺寸特征与所述参考对象尺寸特征提取的充分性，有利于提高两者尺寸比值的精准度。
[0057]
然后，将所述校正后截骨对象特征向量和所述校正后参考对象特征向量通过包含第一解码器和第二解码器的双重解码网络模型以得到第一解码值和第二解码值。接着，再基于所述第一解码值和所述第二解码值之间的比值和所述参考对象的已知长度尺寸，生成所述待测量截骨的长度尺寸。也就是，具体地，在计算所述第一解码值和所述第二解码值之间的比值以得到所述待测量截骨尺寸与所述参考对象尺寸之间的尺寸比值后，进一步再将所述比值乘以所述参考对象的已知长度尺寸以得到所述待测量截骨的长度尺寸。这样，基于所述截骨对象与所述参考对象在经具有相同网络结构的编码器和解码器得到用于表示长度特征的解码值后，基于所述解码值之间的比例来作为所述待测量截骨尺寸与所述参考
对象尺寸之间的尺寸比值，以此与所述参考对象的已知长度相乘来进行所述截骨长度尺寸的测量，进而有利于提高对于所述待测量截骨长度尺寸检测的精准度。
[0058]
特别地，在本技术的技术方案中，这里，为了提高所述第一解码值和所述第二解码值之间的比值的准确性，期望提高所述截骨对象特征向量和所述参考对象特征向量通过解码器所获得的第一解码值和第二解码值的相关性，也就是，期望提高所述截骨对象特征向量和所述参考对象特征向量作为单独的特征分布，在预定解码回归任务中的回归相关性。因此，期望所述截骨对象特征向量和所述参考对象特征向量作为单独的特征分布，在预定解码回归任务中具有高的分布连续性。
[0059]
这可以对所述截骨对象特征向量和所述参考对象特征向量分别设置作为超参数的权重来提高所述截骨对象特征向量和所述参考对象特征向量在解码回归任务下的回归相关性，但是，由于作为超参数的权重需要在模型训练过程中得到，这将增大了模型的训练负担。因此，在本技术的技术方案中，分别计算所述截骨对象特征向量和所述参考对象特征向量的多分布解码回归连续性因数，表示为：
[0060][0061][0062]
其中，v1是所述截骨对象特征向量，v2是所述参考对象特征向量，vr是基于所述截骨对象特征向量和所述参考对象特征向量的参考向量，例如可以设置为所述截骨对象特征向量和所述参考对象特征向量的均值向量，decodev(
·
)表示特征向量通过解码器所获得的解码值。
[0063]
这里，为了避免所述截骨对象特征向量和所述参考对象特征向量在预定解码回归任务下，由于所述截骨对象特征向量和所述参考对象特征向量的单独特征分布对应的决策边界的过度碎片化而使得向着目标回归域的收敛困难，通过计算每个单独特征分布相对于全局平均特征分布的解码回归的回归值偏移分布模信息，来预测每个单独特征分布相对于全局特征分布的回归连续性因数。这样，通过以其作为权重对所述截骨对象特征向量和所述参考对象特征向量进行加权，就可以将超参数在训练中的优化从反向传播转换为基于多分布各自的解码回归的回归问题，并提高了所述第一解码值和所述第二解码值之间的比值的计算准确性。这样，能够提高对于所述待测量截骨的长度尺寸测量的精准度。
[0064]
基于此，本技术提出了一种截骨长度测量设备，其包括：拍摄单元，用于获取待测量截骨和参考对象的检测图像，所述参考对象具有已知长度；图像降噪单元，用于对所述检测图像进行降噪处理以得到降噪后检测图像；第一目标检测单元，用于将所述降噪后检测图像通过截骨对象检测网络以得到第一感兴趣区域；第二目标检测单元，用于将所述降噪后检测图像通过参考图像检测网络以得到第二感兴趣区域；双重编码单元，用于将所述第一感兴趣区域和所述第二感兴趣区域通过包含第一图像编码器和第二图像编码器的双重编码网络模型以得到截骨对象特征向量和参考对象特征向量；特征校正单元，用于对所述截骨对象特征向量和所述参考对象特征向量进行特征分布校正以得到校正后截骨对象特征向量和校正后参考对象特征向量；双重解码单元，用于将所述校正后截骨对象特征向量
和所述校正后参考对象特征向量通过包含第一解码器和第二解码器的双重解码网络模型以得到第一解码值和第二解码值；以及，长度测量结果生成单元，用于基于所述第一解码值和所述第二解码值之间的比值和所述参考对象的已知长度尺寸，生成所述待测量截骨的长度尺寸。
[0065]
图1为根据本技术实施例的截骨长度测量设备的应用场景图。如图1所示，在该应用场景中，首先获取由摄像头(例如，如图1中所示意的c)采集的待测量截骨(例如，如图1中所示意的o)和参考对象(例如，如图1中所示意的r)的检测图像，其中，所述参考对象具有已知长度。进而，将所述待测量截骨和参考对象的检测图像输入至部署有截骨长度测量算法的服务器(例如，如图1中所示意的s)中，其中，所述服务器能够以所述截骨长度测量算法对输入的所述待测量截骨和参考对象的检测图像进行处理以得到待测量截骨的长度尺寸。
[0066]
在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
[0067]
示例性系统
[0068]
图2为根据本技术实施例的截骨长度测量设备的框图。如图2所示，根据本技术实施例的截骨长度测量设备100，包括：拍摄单元110，用于获取待测量截骨和参考对象的检测图像，所述参考对象具有已知长度；图像降噪单元120，用于对所述检测图像进行降噪处理以得到降噪后检测图像；第一目标检测单元130，用于将所述降噪后检测图像通过截骨对象检测网络以得到第一感兴趣区域；第二目标检测单元140，用于将所述降噪后检测图像通过参考图像检测网络以得到第二感兴趣区域；双重编码单元150，用于将所述第一感兴趣区域和所述第二感兴趣区域通过包含第一图像编码器和第二图像编码器的双重编码网络模型以得到截骨对象特征向量和参考对象特征向量；特征校正单元160，用于对所述截骨对象特征向量和所述参考对象特征向量进行特征分布校正以得到校正后截骨对象特征向量和校正后参考对象特征向量；双重解码单元170，用于将所述校正后截骨对象特征向量和所述校正后参考对象特征向量通过包含第一解码器和第二解码器的双重解码网络模型以得到第一解码值和第二解码值；以及，长度测量结果生成单元180，用于基于所述第一解码值和所述第二解码值之间的比值和所述参考对象的已知长度尺寸，生成所述待测量截骨的长度尺寸。
[0069]
图3为根据本技术实施例的截骨长度测量设备的架构示意图。如图3所示，在该架构示意图中，首先获取待测量截骨和参考对象的检测图像，所述参考对象具有已知长度。接着，对所述检测图像进行降噪处理以得到降噪后检测图像。然后，将所述降噪后检测图像通过截骨对象检测网络以得到第一感兴趣区域，并将所述降噪后检测图像通过参考图像检测网络以得到第二感兴趣区域。进而，将所述第一感兴趣区域和所述第二感兴趣区域通过包含第一图像编码器和第二图像编码器的双重编码网络模型以得到截骨对象特征向量和参考对象特征向量。接着，对所述截骨对象特征向量和所述参考对象特征向量进行特征分布校正以得到校正后截骨对象特征向量和校正后参考对象特征向量。然后，将所述校正后截骨对象特征向量和所述校正后参考对象特征向量通过包含第一解码器和第二解码器的双重解码网络模型以得到第一解码值和第二解码值。进而，基于所述第一解码值和所述第二解码值之间的比值和所述参考对象的已知长度尺寸，生成所述待测量截骨的长度尺寸。
[0070]
在上述截骨长度测量设备100中，所述拍摄单元110，用于获取待测量截骨和参考
对象的检测图像，所述参考对象具有已知长度。如上所述，随着影像学、化疗及外科学的进步，保留肢体手术逐渐成为恶性骨肿瘤外科的主流趋势，长骨肿瘤截除，采用特制肿瘤型人工关节假体置换，恢复患者运动功能，术中准确测量肿瘤骨截骨长度是重要的环节，因手术术野范围、周围血管神经以及韧带限制，不能将肿瘤骨完全分离测量，即使完全分离，术中采用直尺测量肿瘤骨的不规则三维结构的长度，常常需要借助临时工具辅助测量，误差不可避免。因此，期待一种优化的截骨长度测量设备。
[0071]
目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。近年来，深度学习以及神经网络的发展为截骨长度的智能测量提供了新的解决思路和方案。
[0072]
相应地，由于准确测量肿瘤骨截骨长度是保留肢体手术的重要环节，但是由于手术术野范围、周围血管神经以及韧带限制，不能将肿瘤骨完全分离测量。随着基于深度学习的人工智能技术的不断成熟，在本技术的技术方案中，期望采用基于图像的截图长度测量方式来进行截骨的长度测量，以确保特制肿瘤型人工关节假体与患者的截骨长度尺寸适配的精准度。但是，由于图像中的截骨对象难以直接获取其长度尺寸，需要一个参照对象以得到比例尺，基于此，在本技术的技术方案中，进一步基于截骨对象与参考对象在经具有相同网络结构的编码器和解码器得到用于表示长度特征的解码值后，基于解码值之间的比例来作为待测量截骨尺寸与参考对象之间的尺寸比值，以此来基于图像来构建截骨尺寸测量方案。具体地，在本技术的技术方案中，首先，获取待测量截骨和参考对象的检测图像，这里，为了能够得到所述检测图像中的待测量截骨在实际中的长度尺寸，所述参考对象具有已知长度。相应地，在一个具体示例中，所述参考对象为具有预定长度的长方体。并且，可以使用部署于截骨长度测量设备上的摄像头来采集所述待测量截骨和参考对象的检测图像。
[0073]
在上述截骨长度测量设备100中，所述图像降噪单元120，用于对所述检测图像进行降噪处理以得到降噪后检测图像。考虑到由于在手术的术野范围中，截骨周围会存在血管神经以及韧带等各种对于截骨长度尺寸判断无关的干扰特征，这会对于所述检测图像中的截骨长度检测带来影响。因此，进一步还需要对于所述检测图像进行降噪处理以得到降噪后检测图像。也就是，具体地，使用基于自动编解码器的降噪器来对于所述检测图像以进行降噪处理，以得到所述降噪后检测图像。
[0074]
具体地，在本技术实施例中，所述图像降噪单元120，进一步用于将所述检测图像输入基于自动编解码器的降噪器以得到所述降噪后检测图像。
[0075]
更具体地，所述图像降噪单元120，进一步用于：通过图像特征提取子单元将所述检测图像输入所述基于自动编码器的降噪器中的编码器，其中，所述编码器使用卷积层对所述检测图像进行显式空间编码以得到检测图像特征；以及，通过图像特征解码子单元将所述检测图像特征输入所述基于自动编码器的降噪器中的解码器，其中，所述解码器使用反卷积层对所述检测图像特征进行反卷积处理以得到所述降噪后检测图像。
[0076]
在上述截骨长度测量设备100中，所述第一目标检测单元130，用于将所述降噪后检测图像通过截骨对象检测网络以得到第一感兴趣区域。对于降噪后的检测图像来说，所述降噪后检测图像中具有着截骨对象和参考对象两个与截骨长度尺寸检测有关的特征信息，并且还具有其他无用的干扰特征信息。因此，为了能够准确地测量所述待测量截骨的长
度尺寸，进一步对于所述降噪后检测图像施加感兴趣区域来得到截骨对象的感兴趣区域。也就是，具体地，将所述降噪后检测图像通过截骨对象检测网络以得到第一感兴趣区域。
[0077]
在上述截骨长度测量设备100中，所述第二目标检测单元140，用于将所述降噪后检测图像通过参考图像检测网络以得到第二感兴趣区域。同样地，为了提高测量所述待测量截骨的长度尺寸的准确性，对于所述降噪后检测图像施加感兴趣区域来得到参考对象的感兴趣区域。也就是，具体地，将所述降噪后检测图像通过参考图像检测网络以得到第二感兴趣区域。
[0078]
相应地，在一个具体示例中，所述截骨对象检测网络和所述参考图像检测网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为fast r-cnn、faster r-cnn或retinanet。
[0079]
在上述截骨长度测量设备100中，所述双重编码单元150，用于将所述第一感兴趣区域和所述第二感兴趣区域通过包含第一图像编码器和第二图像编码器的双重编码网络模型以得到截骨对象特征向量和参考对象特征向量。在得到所述第一感兴趣区域和所述第二感兴趣区域之后，将其通过包含第一图像编码器和第二图像编码器的双重编码网络模型来进行图像编码，以得到截骨对象特征向量和参考对象特征向量。也就是，使用双重编码网络模型的第一图像编码器来对于所述第一感兴趣区域进行特征提取，以提取出所述第一感兴趣区域中聚焦于所述截骨对象长度尺寸的特征分布信息，从而得到所述截骨对象特征向量；并且，使用双重编码网络模型的第二图像编码器来对于所述第二感兴趣区域进行特征提取，以提取出所述第二感兴趣区域中聚焦于所述参考对象长度尺寸的特征分布信息，从而得到所述参考对象特征向量。
[0080]
特别地，这里，所述第一图像编码器和所述第二图像编码器具有相同的网络结构，使用具有相同网络结构的图像编码器来进行两个感兴趣区域的图像编码能够提取出源域的图像中关于所述截骨对象和所述参考对象的长度尺寸特征差异，有利于提高对于两者尺寸比值的精准度。
[0081]
具体地，在本技术实施例中，所述第一图像编码器和所述第二图像编码器为包含多个混合卷积层的深度卷积神经网络模型。也就是，所述第一图像编码器和所述第二图像编码器使用包含多个混合卷积层的深度卷积神经网络模型来分别对于所述第一感兴趣区域和所述第二感兴趣区域进行编码，以分别提取出所述第一感兴趣区域和所述第二感兴趣区域中关于所述待测量截骨尺寸与所述参考对象尺寸的多尺度隐含特征分布信息，从而得到截骨对象特征向量和参考对象特征向量。
[0082]
本领域普通技术人员应知晓，卷积神经网络利用卷积核作为特征滤波因子来进行特征提取，其卷积核既使得所述卷积神经网络具有强大的特征提取能力，但也受限于卷积核的参数而使得特征提取的尺度和感受野受到局限。因此，在本技术的技术方案中，将所述卷积神经网络模型的各层从传统的层结构替换为混合卷积层。特别地，混合卷积层(mixed convolution layer，mcl)中，此层结构的设计包括并联的四个分支，由一个卷积核大小为3
×
3的普通卷积层以及三个卷积核大小为3
×
3的空洞卷积层构成，分别对输入特征图进行操作，将空洞卷积三个分支的扩张率分别设置为2、3、4，通过不同扩张率的设置可获得不同感受域的图像信息，即可得到不同尺度的特征图，在扩大感受野的同时，又避免了下采样损失信息，接着将4个分支特征图进行融合，使得采样更为密集，既拥有了高层特征，也没有增
加额外的参数量。这样，提高了对于所述待测量截骨尺寸特征与所述参考对象尺寸特征提取的充分性，有利于提高两者尺寸比值的精准度。
[0083]
更具体地，所述包含多个混合卷积层的深度卷积神经网络模型中的各个混合卷积层在层的正向传递中分别对输入数据进行：基于第一卷积核对所述输入数据进行卷积处理以得到第一尺度特征图；基于第二卷积核对所述输入数据进行卷积处理以得到第二尺度特征图，其中，所述第二卷积核为具有第一空洞率的空洞卷积核；基于第三卷积核对所述输入数据进行卷积处理以得到第三尺度特征图，其中，所述第三卷积核为具有第二空洞率的空洞卷积核；基于第四卷积核对所述输入数据进行卷积处理以得到第四尺度特征图，其中，所述第四卷积核为具有第三空洞率的空洞卷积核；将所述第一尺度特征图、所述第二尺度特征图、所述第三尺度特征图和所述第四尺度特征图进行级联以得到多尺度特征图；对所述多尺度特征图进行池化处理以得到池化特征图；以及，对所述池化特征图进行激活处理以得到激活特征图；其中，所述深度卷积神经网络模型的最后一个混合卷积层的输出为所述截骨对象特征向量或参考对象特征向量。
[0084]
在上述截骨长度测量设备100中，所述特征校正单元160，用于对所述截骨对象特征向量和所述参考对象特征向量进行特征分布校正以得到校正后截骨对象特征向量和校正后参考对象特征向量。这里，为了提高后续的操作中所述第一解码值和所述第二解码值之间的比值的准确性，期望提高所述截骨对象特征向量和所述参考对象特征向量通过解码器所获得的第一解码值和第二解码值的相关性，也就是，期望提高所述截骨对象特征向量和所述参考对象特征向量作为单独的特征分布，在预定解码回归任务中的回归相关性。因此，期望所述截骨对象特征向量和所述参考对象特征向量作为单独的特征分布，在预定解码回归任务中具有高的分布连续性。
[0085]
这可以对所述截骨对象特征向量和所述参考对象特征向量分别设置作为超参数的权重来提高所述截骨对象特征向量和所述参考对象特征向量在解码回归任务下的回归相关性，但是，由于作为超参数的权重需要在模型训练过程中得到，这将增大了模型的训练负担。因此，在本技术的技术方案中，分别计算所述截骨对象特征向量和所述参考对象特征向量的多分布解码回归连续性因数，表示为：
[0086][0087][0088]
其中，v1是所述截骨对象特征向量，v2是所述参考对象特征向量，vr是基于所述截骨对象特征向量和所述参考对象特征向量的参考向量，例如可以设置为所述截骨对象特征向量和所述参考对象特征向量的均值向量，decodev(
·
)表示特征向量通过解码器所获得的解码值。
[0089]
这里，为了避免所述截骨对象特征向量和所述参考对象特征向量在预定解码回归任务下，由于所述截骨对象特征向量和所述参考对象特征向量的单独特征分布对应的决策边界的过度碎片化而使得向着目标回归域的收敛困难，通过计算每个单独特征分布相对于全局平均特征分布的解码回归的回归值偏移分布模信息，来预测每个单独特征分布相对于
全局特征分布的回归连续性因数。这样，通过以其作为权重对所述截骨对象特征向量和所述参考对象特征向量进行加权，就可以将超参数在训练中的优化从反向传播转换为基于多分布各自的解码回归的回归问题，并提高了所述第一解码值和所述第二解码值之间的比值的计算准确性。这样，能够提高对于所述待测量截骨的长度尺寸测量的精准度。
[0090]
图4为根据本技术实施例的截骨长度测量设备中特征校正单元的框图。如图4所示，所述特征校正单元160，包括：第一校正因子生成子单元161，以如下公式计算所述截骨对象特征向量的多分布解码回归连续性因数作为第一因数；其中，所述公式为：
[0091][0092]
其中v1是所述截骨对象特征向量，vr是基于所述截骨对象特征向量的参考向量，decodev(
·
)表示特征向量通过解码器所获得的解码值，log表示以2为底的对数函数值；第二校正因子生成子单元162，以如下公式计算所述参考对象特征向量的多分布解码回归连续性因数作为第二因数；其中，所述公式为：
[0093][0094]
其中v2是所述参考对象特征向量，vr是基于所述参考对象特征向量的参考向量，decodev(
·
)表示特征向量通过解码器所获得的解码值，log表示以2为底的对数函数值；以及，校正因子作用子单元163，用于以所述第一因数和所述第二因数分别对于所述截骨对象特征向量和所述参考对象特征向量进行加权校正以得到所述校正后截骨对象特征向量和所述校正后参考对象特征向量。
[0095]
在上述截骨长度测量设备100中，所述双重解码单元170，用于将所述校正后截骨对象特征向量和所述校正后参考对象特征向量通过包含第一解码器和第二解码器的双重解码网络模型以得到第一解码值和第二解码值。
[0096]
具体地，在本技术实施例中，所述双重解码单元170，进一步用于：使用所述第一解码器的多个全连接层以如下公式对所述校正后截骨对象特征向量进行解码回归以获得所述第一解码值，其中，所述公式为：述第一解码值，其中，所述公式为：其中x1是所述校正后截骨对象特征向量，y1是所述第一解码值，w1是权重矩阵，b1是偏置向量，表示矩阵乘，h(
·
)为激活函数；以及，使用所述第二解码器的多个全连接层以如下公式对所述校正后参考对象特征向量进行解码回归以获得所述第二解码值，其中，所述公式为：特征向量进行解码回归以获得所述第二解码值，其中，所述公式为：其中x2是所述校正后参考对象特征向量，y2是所述第二解码值，w2是权重矩阵，b2是偏置向量，表示矩阵乘，h(
·
)为激活函数。
[0097]
在上述截骨长度测量设备100中，所述长度测量结果生成单元180，用于基于所述第一解码值和所述第二解码值之间的比值和所述参考对象的已知长度尺寸，生成所述待测量截骨的长度尺寸。也就是，具体地，在计算所述第一解码值和所述第二解码值之间的比值以得到所述待测量截骨尺寸与所述参考对象尺寸之间的尺寸比值后，进一步再将所述比值乘以所述参考对象的已知长度尺寸以得到所述待测量截骨的长度尺寸。
[0098]
具体地，在本技术实施例中，所述长度测量结果生成单元180，包括：比值计算子单
元，用于计算所述第一解码值和所述第二解码值之间的比值；以及，尺寸计算子单元，用于将所述比值乘以所述参考对象的已知长度尺寸以得到所述待测量截骨的长度尺寸。这样，基于所述截骨对象与所述参考对象在经具有相同网络结构的编码器和解码器得到用于表示长度特征的解码值后，基于所述解码值之间的比例来作为所述待测量截骨尺寸与所述参考对象尺寸之间的尺寸比值，以此与所述参考对象的已知长度相乘来进行所述截骨长度尺寸的测量，进而有利于提高对于所述待测量截骨长度尺寸检测的精准度。
[0099]
综上，根据本技术实施例的所述截骨长度测量设备100被阐明，其采用基于图像的截图长度测量方式来进行截骨的长度测量，以确保特制肿瘤型人工关节假体与患者的截骨长度尺寸适配的精准度。也就是，基于截骨对象与参考对象在经具有相同网络结构的编码器和解码器得到用于表示长度特征的解码值后，基于解码值之间的比例来作为待测量截骨尺寸与参考对象之间的尺寸比值，以此来基于图像来构建截骨尺寸测量方案。这样，提高对于所述待测量截骨的长度尺寸测量的精准度。
[0100]
示例性方法
[0101]
图5为根据本技术实施例的截骨长度测量方法的流程图。如图5所示，根据本技术实施例的所述截骨长度测量方法，包括步骤：s110，获取待测量截骨和参考对象的检测图像，所述参考对象具有已知长度；s120，对所述检测图像进行降噪处理以得到降噪后检测图像；s130，将所述降噪后检测图像通过截骨对象检测网络以得到第一感兴趣区域；s140，将所述降噪后检测图像通过参考图像检测网络以得到第二感兴趣区域；s150，将所述第一感兴趣区域和所述第二感兴趣区域通过包含第一图像编码器和第二图像编码器的双重编码网络模型以得到截骨对象特征向量和参考对象特征向量；s160，对所述截骨对象特征向量和所述参考对象特征向量进行特征分布校正以得到校正后截骨对象特征向量和校正后参考对象特征向量；s170，将所述校正后截骨对象特征向量和所述校正后参考对象特征向量通过包含第一解码器和第二解码器的双重解码网络模型以得到第一解码值和第二解码值；以及，s180，基于所述第一解码值和所述第二解码值之间的比值和所述参考对象的已知长度尺寸，生成所述待测量截骨的长度尺寸。
[0102]
在一个示例中，在上述截骨长度测量方法中，所述对所述检测图像进行降噪处理以得到降噪后检测图像，包括：将所述检测图像输入基于自动编解码器的降噪器以得到所述降噪后检测图像。
[0103]
在一个示例中，在上述截骨长度测量方法中，所述对所述检测图像进行降噪处理以得到降噪后检测图像，包括：将所述检测图像输入所述基于自动编码器的降噪器中的编码器，其中，所述编码器使用卷积层对所述检测图像进行显式空间编码以得到检测图像特征；以及，将所述检测图像特征输入所述基于自动编码器的降噪器中的解码器，其中，所述解码器使用反卷积层对所述检测图像特征进行反卷积处理以得到所述降噪后检测图像。
[0104]
在一个示例中，在上述截骨长度测量方法中，所述截骨对象检测网络和所述参考图像检测网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为fast r-cnn、faster r-cnn或retinanet。
[0105]
在一个示例中，在上述截骨长度测量方法中，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。
[0106]
在一个示例中，在上述截骨长度测量方法中，所述第一图像编码器和所述第二图
像编码器为包含多个混合卷积层的深度卷积神经网络模型。
[0107]
在一个示例中，在上述截骨长度测量方法中，所述对所述截骨对象特征向量和所述参考对象特征向量进行特征分布校正以得到校正后截骨对象特征向量和校正后参考对象特征向量，包括：以如下公式计算所述截骨对象特征向量的多分布解码回归连续性因数作为第一因数；其中，所述公式为：
[0108][0109]
其中v1是所述截骨对象特征向量，vr是基于所述截骨对象特征向量的参考向量，decodev(
·
)表示特征向量通过解码器所获得的解码值，log表示以2为底的对数函数值；以如下公式计算所述参考对象特征向量的多分布解码回归连续性因数作为第二因数；其中，所述公式为：
[0110][0111]
其中v2是所述参考对象特征向量，vr是基于所述参考对象特征向量的参考向量，decodev(
·
)表示特征向量通过解码器所获得的解码值，log表示以2为底的对数函数值；以及，以所述第一因数和所述第二因数分别对于所述截骨对象特征向量和所述参考对象特征向量进行加权校正以得到所述校正后截骨对象特征向量和所述校正后参考对象特征向量。
[0112]
在一个示例中，在上述截骨长度测量方法中，所述将所述校正后截骨对象特征向量和所述校正后参考对象特征向量通过包含第一解码器和第二解码器的双重解码网络模型以得到第一解码值和第二解码值，包括：使用所述第一解码器的多个全连接层以如下公式对所述校正后截骨对象特征向量进行解码回归以获得所述第一解码值，其中，所述公式为：为：其中x1是所述校正后截骨对象特征向量，y1是所述第一解码值，w1是权重矩阵，b1是偏置向量，表示矩阵乘，h(
·
)为激活函数；以及，使用所述第二解码器的多个全连接层以如下公式对所述校正后参考对象特征向量进行解码回归以获得所述第二解码值，其中，所述公式为：所述第二解码值，其中，所述公式为：其中x2是所述校正后参考对象特征向量，y2是所述第二解码值，w2是权重矩阵，b2是偏置向量，表示矩阵乘，h(
·
)为激活函数。
[0113]
在一个示例中，在上述截骨长度测量方法中，所述基于所述第一解码值和所述第二解码值之间的比值和所述参考对象的已知长度尺寸，生成所述待测量截骨的长度尺寸，包括：计算所述第一解码值和所述第二解码值之间的比值；以及，将所述比值乘以所述参考对象的已知长度尺寸以得到所述待测量截骨的长度尺寸。
[0114]
综上，根据本技术实施例的所述截骨长度测量方法被阐明，其采用基于图像的截图长度测量方式来进行截骨的长度测量，以确保特制肿瘤型人工关节假体与患者的截骨长度尺寸适配的精准度。也就是，基于截骨对象与参考对象在经具有相同网络结构的编码器和解码器得到用于表示长度特征的解码值后，基于解码值之间的比例来作为待测量截骨尺寸与参考对象之间的尺寸比值，以此来基于图像来构建截骨尺寸测量方案。这样，提高对于所述待测量截骨的长度尺寸测量的精准度。

技术特征：

1.一种截骨长度测量设备，其特征在于，包括：拍摄单元，用于获取待测量截骨和参考对象的检测图像，所述参考对象具有已知长度；图像降噪单元，用于对所述检测图像进行降噪处理以得到降噪后检测图像；第一目标检测单元，用于将所述降噪后检测图像通过截骨对象检测网络以得到第一感兴趣区域；第二目标检测单元，用于将所述降噪后检测图像通过参考图像检测网络以得到第二感兴趣区域；双重编码单元，用于将所述第一感兴趣区域和所述第二感兴趣区域通过包含第一图像编码器和第二图像编码器的双重编码网络模型以得到截骨对象特征向量和参考对象特征向量；特征校正单元，用于对所述截骨对象特征向量和所述参考对象特征向量进行特征分布校正以得到校正后截骨对象特征向量和校正后参考对象特征向量；双重解码单元，用于将所述校正后截骨对象特征向量和所述校正后参考对象特征向量通过包含第一解码器和第二解码器的双重解码网络模型以得到第一解码值和第二解码值；以及长度测量结果生成单元，用于基于所述第一解码值和所述第二解码值之间的比值和所述参考对象的已知长度尺寸，生成所述待测量截骨的长度尺寸。2.根据权利要求1所述的截骨长度测量设备，其特征在于，所述图像降噪单元，进一步用于将所述检测图像输入基于自动编解码器的降噪器以得到所述降噪后检测图像。3.根据权利要求2所述的截骨长度测量设备，其特征在于，所述图像降噪单元，包括：图像特征提取子单元，用于将所述检测图像输入所述基于自动编码器的降噪器中的编码器，其中，所述编码器使用卷积层对所述检测图像进行显式空间编码以得到检测图像特征；以及图像特征解码子单元，用于将所述检测图像特征输入所述基于自动编码器的降噪器中的解码器，其中，所述解码器使用反卷积层对所述检测图像特征进行反卷积处理以得到所述降噪后检测图像。4.根据权利要求3所述的截骨长度测量设备，其特征在于，所述截骨对象检测网络和所述参考图像检测网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为fast r-cnn、faster r-cnn或retinanet。5.根据权利要求4所述的截骨长度测量设备，其特征在于，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。6.根据权利要求5所述的截骨长度测量设备，其特征在于，所述第一图像编码器和所述第二图像编码器为包含多个混合卷积层的深度卷积神经网络模型。7.根据权利要求6所述的截骨长度测量设备，其特征在于，所述特征校正单元，包括：第一校正因子生成子单元，以如下公式计算所述截骨对象特征向量的多分布解码回归连续性因数作为第一因数；其中，所述公式为：
其中v1是所述截骨对象特征向量，v
r
是基于所述截骨对象特征向量的参考向量，decodev(
·
)表示特征向量通过解码器所获得的解码值，log表示以2为底的对数函数值；第二校正因子生成子单元，以如下公式计算所述参考对象特征向量的多分布解码回归连续性因数作为第二因数；其中，所述公式为：其中v2是所述参考对象特征向量，v
r
是基于所述参考对象特征向量的参考向量，decodev(
·
)表示特征向量通过解码器所获得的解码值，log表示以2为底的对数函数值；以及校正因子作用子单元，用于以所述第一因数和所述第二因数分别对于所述截骨对象特征向量和所述参考对象特征向量进行加权校正以得到所述校正后截骨对象特征向量和所述校正后参考对象特征向量。8.根据权利要求7所述的截骨长度测量设备，其特征在于，所述双重解码单元，进一步用于：使用所述第一解码器的多个全连接层以如下公式对所述校正后截骨对象特征向量进行解码回归以获得所述第一解码值，其中，所述公式为：行解码回归以获得所述第一解码值，其中，所述公式为：其中x1是所述校正后截骨对象特征向量，y1是所述第一解码值，w1是权重矩阵，b1是偏置向量，表示矩阵乘，h(
·
)为激活函数；以及使用所述第二解码器的多个全连接层以如下公式对所述校正后参考对象特征向量进行解码回归以获得所述第二解码值，其中，所述公式为：行解码回归以获得所述第二解码值，其中，所述公式为：其中x2是所述校正后参考对象特征向量，y2是所述第二解码值，w2是权重矩阵，b2是偏置向量，表示矩阵乘，h(
·
)为激活函数。9.根据权利要求8所述的截骨长度测量设备，其特征在于，所述长度测量结果生成单元，包括：比值计算子单元，用于计算所述第一解码值和所述第二解码值之间的比值；以及尺寸计算子单元，用于将所述比值乘以所述参考对象的已知长度尺寸以得到所述待测量截骨的长度尺寸。

技术总结

公开了一种截骨长度测量设备，其采用基于图像的截图长度测量方式来进行截骨的长度测量，以确保特制肿瘤型人工关节假体与患者的截骨长度尺寸适配的精准度。也就是，基于截骨对象与参考对象在经具有相同网络结构的编码器和解码器得到用于表示长度特征的解码值后，基于解码值之间的比例来作为待测量截骨尺寸与参考对象之间的尺寸比值，以此来基于图像来构建截骨尺寸测量方案。这样，提高对于所述待测量截骨的长度尺寸测量的精准度。量截骨的长度尺寸测量的精准度。量截骨的长度尺寸测量的精准度。