基于二维医学图像的脊柱手术规划设备和方法与流程

1.本公开涉及一种用于规划脊柱手术的设备和方法，更具体地，涉及一种用于基于二维(2d)脊柱医学图像为导航手术或机器人手术进行规划的设备和方法。

背景技术：

2.对于使用导航系统或手术机器人的脊柱手术，要执行规划步骤，以基于患者的医学图像制定手术规划。例如，在通过椎弓根将椎弓根螺钉植入并固定到椎体的椎弓根螺钉固定手术之前，需要根据患者和手术部位适当确定椎弓根螺钉的长度、直径等并制定植入位置和植入路径的规划。
3.当针对椎弓根螺钉固定手术进行规划时，脊柱的轴视图是最有利的。因此，根据相关技术，向操作人员提供术前计算机断层扫描(ct)轴向图像，以便基于所述轴向图像执行术前规划。
4.基于所述ct图像的常规规划方法的优点在于可以在轴向图像上进行规划，但缺点是在ct扫描期间长时间暴露于辐射对人体是有害的。尤其是，在脊柱手术的情况下，即使在实际手术过程中，也使用移动c形臂或类似成像设备来拍摄图像，以便实时验证手术是否遵循手术规划或对手术工具进行导航，从而加剧了辐射暴露的问题。
5.此外，需要将术前规划的ct图像配准到由c形臂或类似设备在手术期间拍摄的图像上，这不仅是繁琐的(因为每当患者或成像设备移动时就需要再次进行配准)，而且还会引起手术过程延迟的问题。此外，二维(2d)图像和三维(3d)图像之间的配准需要高水平的配准技术，并且根据图像质量以高精度进行配准在技术上是非常困难的。此外，由于脊柱的性质，术前图像和术中图像之间的相对脊柱关系会因患者的姿势而有很大变化，因此对于将要接受外科手术的每个脊柱重复多次配准是很麻烦的。
6.因此，如果基于c形臂图像或类似2d医学图像进行规划，则减少了因ct扫描而引起的辐射暴露，并且无需2d图像和3d图像之间的配准，从而解决了上述问题。然而，由于采用2d医学图像无法获知轴视图，因此将2d医学图像用作规划的基础实际上是困难的。

技术实现要素：

7.本公开旨在解决传统脊柱手术规划技术的上述问题，并且本公开的一个方面是提供一种用于基于诸如c形臂图像之类的二维(2d)医学图像为脊柱手术进行规划的设备和方法。
8.本公开的方面可通过脊柱手术规划方法来实现，所述方法包括：通过医学成像设备获取患者的二维(2d)脊柱图像；通过对针对脊柱图像的图像空间以及对患者进行脊柱手术的手术空间进行配准，计算图像空间中的坐标和手术空间中的坐标之间的配准关系；在所述手术空间中生成虚拟三维(3d)图形；基于配准关系将3d图形投影到脊柱图像上；调整所述3d图形，使得所述3d图形与脊柱图像上的预定地标相对应；以及基于脊柱图像和3d图形设置脊柱假体的植入位置和植入路径。
9.在本公开中，所述调整3d图形可以包括：基于针对投影在所述脊柱图像上的所述3d图形的用户输入，来调整所述3d图形的形状、尺寸和位置中的至少一者。
10.同时，所述设置脊柱假体的植入位置和植入路径是基于分别对应于不同视角方向的多个脊柱图像的。
11.此外，分别对应于不同视角方向的所述多个脊柱图像可以包括前-后(ap)图像和侧(lateral)-侧(ll)图像。
12.此外，所述设置脊柱假体的植入位置和植入路径可包括基于使用用户输入单元的用户输入来设置所述脊柱假体的植入位置和植入路径。
13.此外，所述调整3d图形可包括调整所述3d图形，使得通过将所述3d图形投影在所述脊柱图像上而形成的图形的边界可以对应于脊柱图像上椎体的边界。
14.在本公开中，所述3d图形具有柱状形状。
15.此外，所述调整3d图形可包括调整所述3d图形，使得柱状形状的侧向上的第一线能够与脊柱图像上的脊柱棘突的中心线对齐，其中所述第一线垂直于所述柱状形状的底座上穿过底座中心的第一轴线。
16.同时，所述脊柱手术规划方法进一步包括设置参考点作为在脊柱图像上植入脊柱假体的参考，其中，所述设置脊柱假体的植入位置和植入路径可包括根据参考点限制脊柱假体的植入位置或植入路径的容许范围。
17.此外，所述生成3d图形可包括：检测脊柱图像上椎体的位置，以及在检测到的与椎体对应的位置生成3d图形。
18.此外，所述生成3d图形可以包括：基于库生成与在脊柱图像中识别的椎体的特征相对应的3d图形，其中在所述库中，根据椎体的特征定义3d图形的尺寸、形状和高度中的至少一个属性。
19.此外，本公开的方面可通过脊柱手术规划设备实现，所述设备包括：存储器，用于存储由医学成像设备拍摄的患者的二维(2d)脊柱图像；配准器，用于通过对针对脊柱图像的图像空间以及对患者进行脊柱手术的手术空间进行配准，计算图像空间中的坐标和手术空间中的坐标之间的配准关系；图形生成器，用于在手术空间中生成虚拟3d图形，并基于配准关系将3d图形投影到脊柱图像上；图形调整器，用于调整所述3d图形，使得所述3d图形与脊柱图像上的预定地标相对应；以及规划器，用于基于脊柱图像和3d图形设置脊柱假体的植入位置和植入路径。
20.在本公开中，脊柱手术规划设备可进一步包括显示器，所述显示器用于显示脊柱图像以及投影在所述脊柱图像上的3d图形。
21.进一步地，所述脊柱手术规划设备可进一步包括3d视图生成器，所述3d视图生成器用于根据配准关系为所述3d图形生成3d图像，其中，所述规划器基于配准关系控制脊柱图像和3d图像之一上脊柱假体的变化在脊柱图像和3d图像上彼此相互反映，从而有利于提高用户的便利性。
22.根据本公开，可基于二维(2d)医学图像进行规划，从而减少了因传统计算机断层扫描(ct)而导致的辐射暴露。此外，可以省略与三维(3d)图像的配准过程，从而增加了手术的便利性。
23.此外，根据本公开，在基于2d医学图像进行规划的同时，生成并提供用于在用户所
需的视角上掌握椎体与椎弓根螺钉之间的位置关系的三维(3d)视图图像，从而有效取代了ct图像并保证了导航手术和机器人手术的准确性。
附图说明
24.图1是示意性地示出根据本公开实施方式的具有脊柱手术规划设备的脊柱手术系统的图；
25.图2是根据本公开实施方式的脊柱手术规划设备的框图；
26.图3和图4是根据本公开实施方式的将由图形生成器生成的虚拟三维(3d)图形投影到二维(2d)脊柱图像上的示意图；
27.图5和图6是根据本公开实施方式的由图形调整器调整3d图形的示例；
28.图7示出了根据本公开实施方式的由3d视图生成器生成的3d图像的示例；
29.图8示出了根据本公开实施方式的在规划人员的规划过程期间通过显示器提供的屏幕的示例；以及
30.图9是示出根据本公开实施方式的脊柱手术规划方法的流程图。
具体实施方式
31.下文中将参照附图描述本公开的具体实施方式。然而，关于众所周知的功能或配置的详细描述可能会掩盖本公开的要旨，因此将在以下描述和附图中省略。需要指出的是，如果可能的话，类似的附图标记在全文中指代类似的元件。
32.图1是示意性地示出根据本公开实施方式的具有脊柱手术规划设备的脊柱手术系统的图。
33.参照图1，放置在手术室的脊柱手术系统1包括医学成像设备100、手术机器人200、跟踪设备300和脊柱手术规划设备400。
34.所述医学成像设备100是指用于拍摄患者脊柱图像的设备，图1示出了c型臂作为医学成像设备100的示例。作为参考，c型臂是指通过在
‘
c’型框架两端设置的x射线源和检测器来拍摄二维(2d)图像的设备。然而，c型臂仅是医学成像设备100的一个示例，能够通过向人体照射x射线或类似物来拍摄2d图像的其他设备也可用作医学成像设备100。
35.所述医学成像设备100可在各种视角处(即从不同的方向或角度观察)获得多个医学图像，同时通过框架的旋转或平移使x射线源和检测器相对于患者移动。例如，可以通过从人体的前侧向后侧照射x射线来获得前-后(ap)图像，并且通过从侧边向侧边照射x射线来获得侧-侧(ll)图像。
36.所述手术机器人200是指进行椎弓根螺钉植入或类似脊柱手术的机器人，所述手术机器人200包括机器人底座201、机械臂203以及用于控制机械臂203操作的机器人控制器205，其中各种手术工具203a(如铰孔工具和驱动器)可以耦合到机械臂203的末端，即末端执行器。此外，手术机器人200可设有力/扭矩传感器(未示出)，所述力/扭矩传感器可检测施加到末端执行器上的力和扭矩。手术机器人200的底座201和手术工具203a可设有光学标记，所述光学标记可用作手术期间跟踪手术机器人200的位置的参考。
37.作为参考，图1示出了手术机器人200被用于进行脊柱手术，但可以使用医疗导航系统来代替手术机器人200。
38.所述跟踪设备300用于跟踪固定在手术部位和手术机器人200上的光学标记的位置和姿势，并且可以被实现为光学跟踪系统(ots)。作为参考，ots是指这样的系统，也即两个红外相机用于对标记进行跟踪并且这些标记的距离通过三角测量进行转换，从而实时跟踪三维(3d)空间中的位置和姿势。市售的ots不仅提供光学标记的距离、方向和高度，而且还具有在光学标记坐标系之间进行转换的功能。这种ots的跟踪原理是众所周知的，因此为了简单起见，将省略对它的详细描述。
39.针对使用导航系统或手术机器人的脊柱手术，所述脊柱手术规划设备400可以识别在脊柱手术期间要植入和要固定的各种脊柱假体(例如椎弓根螺钉或类似物)的长度、直径、尺寸等，并提供计算机模拟环境，在所述计算机模拟环境中可以对植入的位置、方向、角度、路径、深度等做出手术规划。
40.所述脊柱手术规划设备400可包括处理器和显示器。图1示出了脊柱手术规划设备400被实现为与手术机器人200物理分离的额外设备。然而，在必要时，可将脊柱手术规划设备400的处理器放置在手术机器人200内，而显示器可连接至跟踪设备300。在这种情况下，处理器和显示器可通过通信模块传输并接收各种信息。
41.图2是示出根据本公开实施方式的脊柱手术规划设备400的详细配置的框图。参照图2，根据本公开实施方式的脊柱手术规划设备400包括接收器410、用户输入单元420、显示器430、存储器440和控制器450。
42.所述接收器410用于接收来自外部的信号或各种数据，并且可以例如包括用于与外部设备连接的高清多媒体接口(hdmi)连接器和模拟接口连接器、或者用于与有线/无线网络(如互联网)连接的通信模块。所述接收器410从医学成像设备100、手术机器人200和跟踪设备300发送和接收各种信息。例如，接收器410可以接收由医学成像设备100拍摄的图像以及与从手术机器人200检测到的各种机器人状态相关的信息，并且可接收由跟踪设备300跟踪的、与手术机器人200的位置和姿势有关的信息以及与手术部位有关的信息。
43.所述用户输入单元420用于在脊柱手术规划和手术操作期间接收用户的各种输入，并将接收到的输入传送到将在后面描述的控制器450，并且所述用户输入单元420可包括各种输入设备，如键盘、鼠标和按钮。
44.所述显示器430用于在屏幕上显示各种信息，其中包括图像、图形等，并且所述显示器430可包括液晶显示器(lcd)面板、发光二极管(led)面板、有机发光二极管(oled)面板等。此外，用户输入单元420和显示器430可以被集成并实现为单一设备，如触摸屏。显示器430在进行机器人手术时显示脊柱图像、用于设置脊柱假体的植入位置和植入路径的规划图像等。
45.所述用户输入单元420和显示器430可用于与其他元件物理分离。例如，所述接收器410、存储器440和控制器450可以实现为被集成到手术机器人200的主体中，而用户输入单元420和显示器430可以实现为连接到跟踪设备300和手术机器人200并与之通信的单独设备。
46.所述存储器440可以实现为诸如随机存取存储器(ram)之类的存储设备，并且可用于存储脊柱手术规划设备400的各种操作系统(os)、中间件、平台和各种应用程序，并且存储程序代码、处理过的视频和音频信号以及各种数据。此外，所述存储器440可用于存储由医学成像设备100拍摄的患者的2d脊柱图像、脊柱手术规划期间使用的库、有关脊柱假体的
植入参考信息等。
47.所述控制器450根据通过用户输入单元420收到的用户输入或根据内部程序来控制脊柱手术规划设备400的整体操作。所述控制器450可包括用于处理和控制信号的程序代码，以及用于执行程序的处理器。所述控制器450提供规划功能，用于根据通过接收器410接收的2d脊柱图像以及从跟踪设备300接收的光学标记的位置/姿势信息，将脊柱图像的图像空间配准到进行患者脊柱手术的手术空间，并设定脊柱假体的植入位置和植入路径。
48.参照图2，所述控制器450包括配准器451、图形生成器453、图形调整器455、3d视图生成器457和规划器459。为了方便描述，所述控制器450在功能上被划分为子元件。然而，所述控制器450可通过软件程序来实现，所述软件程序具有用于执行子元件的功能的指令，所述子元件即为用于运行软件程序的、配准器451、图形生成器453、图形调整器455、3d视图生成器457和规划器459以及处理器。
49.所述配准器451通过将针对医学成像设备100拍摄的脊柱图像的图像空间与进行患者脊柱手术的手术空间进行配准，来计算图像空间坐标和手术空间坐标之间的配准关系。在这种情况下，配准器451可以将从患者的不同方向拍摄到的多个2d图像(例如，ap图像和ll图像)配准到3d手术空间。作为参考，图像空间是相对于图像坐标系定义的，而手术空间是相对于手术空间的坐标系定义的，其中，可根据手术空间中的标记来定义手术空间的坐标系，手术空间中的标记例如为附着在患者的手术部位或类似部位并由跟踪设备300检测的标记。
50.所述配准器451可基于各种已知的配准算法对手术空间和图像空间的坐标系进行配准。例如，所述配准器451通过由跟踪设备300检测附着在x射线源和检测器上的标记来计算x射线源和检测器的空间坐标以识别在拍摄2d脊柱图像时的x射线投影参数，并通过对医学成像设备100的校准来执行基于所计算参数的配准。因此，基于针对医学成像设备100的校准参数的、图像空间与手术空间的配准对于本领域技术人员来说是众所周知的，因此为了简单起见，将省略其详细描述。
51.同时，可通过韩国专利公开第2019-0028592号中公开的方法来执行配准，所述专利公开由本技术人于2019年3月13日提交给韩国知识产权局，其名称为
‘
2d图像和3d空间的c型臂医学成像系统和配准方法’。简言之，配准器451可基于投影图像来执行配准，该投影图像是将通过医学成像设备100拍摄的2d脊柱图像反投影到x射线投影路径上的另一个平面而生成的，其中，在所述另一个平面中，通过翘曲算法准确掌握空间位置。尤其是，当难以识别医学成像设备100的x射线源和检测器的位置时，上述配准方法可能是有用的。
52.因此，作为配准器451的配准结果，有可能掌握通过医学成像设备100拍摄的多个2d脊柱图像的空间与手术空间之间的匹配位置。
53.图形生成器453在手术空间中生成虚拟3d图形，并根据由配准器451计算的配准关系将3d图形投影到脊柱图像上。在这种情况下，虚拟3d图形可具有柱状形状，如椭圆柱、圆柱和多边形棱柱。图形生成器453可根据配准器451计算的配准关系在对应于脊柱图像中心的位置空间中生成3d图形。此外，图形生成器453可替代地检测脊柱图像中手术目标椎体的位置，并在对应于检测到的椎体的位置空间中生成3d图形。图形生成器453可根据通过配准器451计算的配准关系，在手术空间中的、与2d脊柱图像上的椎体相对应的位置处生成虚拟3d图形，并将该虚拟3d图形投影到脊柱图像上。
54.在这种情况下，椎体的位置检测可通过这样的方式实现，即用户通过用户输入单元420亲自输入椎体的位置，或者可通过各种公知的图像识别算法自动实现，其中，这些图像识别算法可分析脊柱图像的亮度和彩、图像对象的形状等并检测特定部分或区域。进一步地，通过基于所标记的脊柱图像训练数据执行机器学习，或者通过基于诸如卷积神经网络(cnn)和卷积深度信念网络(cdbn)之类的算法执行深度学习，可自动检测椎体的位置。
55.所述图形生成器453可根据任意形状和尺寸来生成3d图形，但是可根据存储在存储器440中的库，生成与在脊柱图像中识别的椎体的形状、尺寸以及类似独特特征相对应的3d图形。在所述库中，根据椎体特征或患者特征来定义3d图形的尺寸、形状、高度和类似属性，因此，在提供适合每个相应患者的3d图形时，可反映出患者之间在椎体的尺寸、形状等方面的差异。可根据与患者的年龄、性别、身高和类似特征所对应的椎体的形状、尺寸、高度和类似属性有关的因素、以及目前正在接受外科手术的椎体的位置，基于标准统计数据来提前建立和存储所述库。
56.所述图形生成器453可生成用户亲自从所述库中选择的3d图形，也可通过接收由用户输入单元420输入的患者信息和椎体属性信息并根据接收的信息在所述库中选择3d图形，来生成3d图形。进一步地，图形生成器453可通过基于图像识别算法处理患者的脊柱图像来识别患者椎体的形状、尺寸等，并基于识别结果从所述库中生成适合患者的3d图形。
57.所述图形生成器453可生成3d图形，所述3d图形的柱类型、柱形状、柱高度、尺寸、底座半径、椭圆的长轴与短轴之间的比率等根据椎体的具体形状、手术目标椎体的位置以及患者特征而变化。例如，当患者年轻或矮小时，以及当所述患者的椎体比对应于统计数据的椎体略小时，可生成具有相对较小尺寸或高度的匹配3d图形。
58.由图形生成器453生成并投影在2d脊柱图像上的3d图形与脊柱图像重叠显示，并通过显示器430提供给用户。
59.如上所述，所述图形生成器453根据患者特征(年龄、性别、身高等)、手术目标椎体的位置以及椎体特征自适应地选择初始生成的3d图形，从而可以最大限度地减少将在下文描述的调整3d图形的过程，从而提高用户的便利性并缩短规划所需的时间。
60.图3和图4是示出根据本公开实施方式的将由图形生成器453生成的虚拟3d图形投影到2d脊柱图像上的示意图。
61.参照图3和图4，图3是将具有椭圆圆柱形状的3d图形v投影到ap图像上的示意图，图4是将3d图形v投影到ll图像上的示意图。在本公开中，作为与患者椎体上部的中心线对应的线，第一线vd1是侧向上的两条线vd1和vd2中位于上端的线，这两条线vd1和vd2与底座v1上的第一轴线va1相垂直，第一轴线va1穿过3d图形的底座v1的中心o。作为与患者椎体下部的中心线对应的线，第二线vd2是侧向上的两条线vd1和vd2中位于下端的线，这两条线vd1和vd2与第一轴线va1相垂直。这样，vd1和vd2相对于3d图形的中心轴相互对称地布置。
62.同时，在图3中，vd1
ap
和vd2
ap
是通过将3d图形v的侧向上的线vd1和vd2投影到ap脊柱图像上而形成的线，而vd1
ll
和vd2
ll
是通过将3d图形v的侧向上的线vd1和vd2投影到ll脊柱图像上而形成的线。作为参考，vd1
ap
、vd2
ap
在ap脊柱图像上的位置和vd1
ll
和vd2
ll
在ll脊柱图像上的位置可根据医学成像设备100的x射线源xs的具体位置而变化。
63.所述图形调整器455对3d图形进行调整，以便投影在脊柱图像上的3d图形(以下称为投影图形)能够与脊柱图像上的预定地标相对应。图形调整器455可改变3d图形的形状、
尺寸、高度、位置等。在这种情况下，3d图形可根据通过用户输入单元420输入的用户输入来调整。为此，所述图形调整器455可生成可由用户调整的控制点，并将所述控制点提供给由图形生成器453投影到脊柱图像上的3d图形的一部分，以便用户可通过用户输入单元420的鼠标、键盘等移动控制点的位置，来改变投影并重叠显示到脊柱图像上的图形的形状、尺寸、高度、位置等。
64.图5和图6是示出图形调整器455响应于用户使用用户输入单元420实施的控制来调整3d图形的示例。作为参考，图5示出了三维图形在ap图像上被调整，而图6示出了三维图形在ll图像上被调整。
65.参照图5，ap脊柱图像上的投影图形v
ap
'具有四个边s
ap
、i
ap
、l
ap
和r
ap
，并且如上所述，包括与3d图形v的侧向上的两条线vd1和vd2相对应的投影线vd1
ap
和vd2
ap
。
66.用户可通过借助用户输入单元420控制在投影图形v
ap
'中提供的控制点p1、p2、p3、p4、p5和p6，来改变投影图形v
ap
'的位置、尺寸、形状等。
67.图5示出了在ap脊柱图像上改变投影图形v
ap
'的位置和尺寸的示例。例如，用户可调整投影图形v
ap
'的位置、尺寸等，以使投影图形v
ap
'的边界，即四个边s
ap
、i
ap
、l
ap
和r
ap
，对应于ap脊柱图像上手术目标椎体的边界。在这种情况下，四个边中的s
ap
边被调整为对应于椎体的上部，i
ap
边被调整为对应于椎体的下部，r
ap
边被调整为对应于椎体的右边界，而l
ap
边被调整为对应于椎体的左边界。在图5中，投影图形v
ap
'在调整前与图像上的椎体错位，但在调整后与图像上椎体的位置和形状相对应。
68.同时，用户可调整投影图形v
ap
'，以使与3d图形v的第一侧边线vd1相对应的第一投影线vd1
ap
可以与ap脊柱图像上的脊柱棘突的中心线对齐，其中，第一侧边线vd1与椎体上部的中心线相对应。以此方式，当第一投影线vd1
ap
的位置被移动时，与之对称设置的第二投影线vd2
ap
的位置也被移动。
69.图6示出了改变投影在ll脊柱图像上的投影图形v
ll
'的位置和尺寸的示例。参照图6，投影图形v
ll
'具有四个边p
ll
、s
ll
、a
ll
和i
ll
，并且包括与3d图形v的侧向上的两条线vd1和vd2相对应的投影线vd1
ll
和vd2
ll
。作为参考，在图6中，六条线，即p
ll
、s
ll
、a
ll
、i
ll
、vd1
ll
和vd2
ll
，在调整前都是肉眼可见的，但在调整后只有四条线是可见的，因为第一投影线vd1
ll
与p
ll
边重叠，看起来像一条线，第二投影线vd2
ll
与a
ll
边重叠，看起来像一条线。实际上，与调整之前一样仍然存在六条线。
70.用户可通过借助用户输入单元420调整在投影图形v
ll
'中提供的控制点p7、p8、p9、p10、p11和p12，来改变投影图形v
ll
'的位置、尺寸、形状等。例如，用户可调整投影图形v
ll
'，以使得投影图形v
ll
'的四个边p
ll
、s
ll
、a
ll
和i
ll
能够与ll脊柱图像上椎体的边界相对应。在本公开中，四条边中的s
ll
边被调整为对应于手术目标椎体的上部，i
ll
边被调整为对应于椎体的下部，p
ll
边被调整为对应于椎体的后部边界，a
ll
边被调整为对应于椎体的前部边界。此外，第一投影线vd1
ll
可以被调整为与ll脊柱图像上的脊柱棘突的中心线对齐。在这种情况下，与ap脊柱图像一样，当第一投影线vd1
ll
的位置在ll脊柱图像上被移动时，与之对称设置的第二投影线vd2
ll
的位置也将被移动。
71.以此方式，当用户改变投影在诸如ap脊柱图像和ll脊柱图像之类的2d脊柱图像上的图形的位置、尺寸、形状等时，图形调整器455通过基于配准器451的配准结果来平等地反映手术空间的3d图形中投影图形的变化，来调整3d图形的位置、尺寸、形状等。此外，当给定
多个2d脊柱图像时，其中一个脊柱图像上的投影图形的调整甚至也可以基于配准结果反映在其他脊柱图像上。例如，当用户调整ap图像上的投影图形时，ap图像的调整也会被应用于ll图像。
72.另外，图形调整器455可用于基于各种众所周知的图像识别算法来识别脊柱图像上的预定地标而无需前述的用户输入，并可以自动调整3d图形，以便3d图形的特定部分可以与所述地标对齐。所述地标可通过机器学习或深度学习来识别。同时，所述地标可包括椎体的边界、椎体边界上的点、脊柱棘突的中心线、或脊柱棘突中心线上的点。因此，正如前面的示例所述的那样，投影图形可被自动调整以与椎体的边界和脊柱棘突的中心相对应，其中，投影图形是根据用户输入来调整的。
73.以此方式，随着2d脊柱图像上的投影图形对应于椎体的改变，手术空间中的3d图形也随之变化，从而通过3d图形来逼近患者椎体在手术空间中的位置、尺寸、形状等。
74.3d视图生成器457基于配准器451的配准结果生成针对3d图形的3d图像，并提供3d图像的视图，所述视图可根据用户使用用户输入单元420实施的控制而进行变换。生成的3d图像显示在显示器430上。
75.3d视图生成器457可在通过图形调整器455完全调整图形之后生成3d图像，但是可在3d图形由图形生成器453生成之后立即生成并提供3d图像，以便用户可在调整3d图形的同时通过3d视图直观且直接地对变化进行检查。在这种情况下，2d脊柱图像上投影图形的变化可基于由配准器451计算的配准关系实时地反映在3d图像上的3d图形中。
76.图7示出了根据本公开实施方式的由3d视图生成器457生成的3d图像的示例，其中假定3d图形是椭圆柱。
77.参考图7，图7中的(a)示出了根据轴线方向的轴向视图图像，(b)示出了偏离轴线方向的3d图像。这个示例示出了3d图像的视图，所述视图可由用户通过用户输入单元420进行自由变换。
78.所述规划器459用于根据脊柱图像和3d图形为脊柱假体的长度、直径、尺寸、植入位置、植入方向、植入角度、植入路径、植入深度等制定手术规划。在这种情况下，可以使用椎弓根螺钉作为脊柱假体。然而，脊柱假体可包括在脊柱手术期间植入并固定在脊柱上的各种假体，以及椎弓根螺钉。下文中将把椎弓根螺钉作为脊柱假体的示例来描述。
79.所述规划器459在设置脊柱假体的具体植入位置、方向、角度、路径等之前，可首先在脊柱图像上设置参考特征点或位置。例如，当植入椎弓根螺钉时，可在与脊柱图像上椎弓根中心相对应的位置设置支点(pivot point)，作为植入脊柱假体的参考点。在这种情况下，用户可通过考虑3d图形以及椎弓根形状等而通过用户输入单元420亲自输入所述支点，其中3d图形是通过2d脊柱图像和由3d视图生成器457提供的3d图像而向椎体逼近，或者，规划器459可基于诸如机器学习或深度学习之类的先前训练的学习模型自动识别脊柱图像上的支点。
80.所述规划器459可根据用户输入和参考点来建立对脊柱假体的手术规划，其中该参考点是像前述支点那样进行设置并被用作植入脊柱假体的参考。为此，所述规划器459可生成并提供虚拟脊柱假体，该虚拟脊柱假体通过显示器430与2d脊柱图像和3d图形的3d图像重叠显示，以及用户可通过用户输入单元420控制虚拟脊柱假体的植入位置、角度或方向。在这种情况下，即使在用户通过用户输入单元420移动脊柱假体的位置或角度的时候，
所述规划器459仍然可以限制虚拟脊柱假体的可移动范围，以使其围绕支点旋转，并确保脊柱假体的植入路径或确保其延伸线穿过支点。
81.对于规划而言，用户可使用视角不同的多个脊柱图像，例如ap图像和ll图像、以及由3d视图生成器457生成的针对3d图形的3d图像。当用户在多个图像中的一个图像上改变脊柱假体的位置、角度等时，所述规划器459根据由配准器451计算的配准关系，控制相应的变化共同反映在具有其他视角的脊柱图像和3d图像中。如上所述，多个视图图像是相互关联的，因此，用户可建立手术规划，而无需重复每个视图图像的变化。
82.所述规划器459可相对于向椎体逼近的3d图形而预先设置针对脊柱假体的位置和角度限制的标准，从而当用户对虚拟脊柱假体的位置或角度的改变超出基于这些标准的位置或角度时提供警告消息，或者将所述改变限制为不得超出所设标准。
83.图8示出了根据本公开实施方式的在所述规划器459的规划过程期间通过显示器430提供的屏幕的示例。
84.参照图8，在屏幕的左侧显示ap脊柱图像(a)，在屏幕的右侧显示ll脊柱图像(b)，并且在两个图像(a)和(b)之间的中间上部显示针对3d图形的3d图像(c)。投影图形v
ap
'和v
ll
'可用与椎体颜不同的颜(如绿和红)进行显示，同时与2d脊柱图像(a)和(b)重叠。或者，投影图形v
ap
'和v
ll
'可基于浅灰或类似颜以不同的饱和度或亮度进行显示，从而在规划过程期间不妨碍椎体。当然，投影图形v
ap
'和v
ll
'可根据用户的选择或设置而不显示在脊柱图像上。
85.如图8所示，可在基于不同视图通过显示器430检查2d脊柱图像和3d图像中脊柱假体的植入位置、路径等的同时来进行规划，从而提高用户的便利性并促进精确规划。
86.当用户通过用户输入单元420改变三个图像(a)、(b)和(c)中的一个图像中虚拟脊柱假体601的位置、角度等时，所述规划器459将三个图像相互关联，以便相应的改变可应用于所有图像。在这种情况下，如上所述，所述规划器459使用设定的支点pe
ap
和pe
ll
作为支点中心，使脊柱假体601围绕支点旋转，并确保脊柱假体601的植入路径或其延伸线穿过支点，从而限制脊柱假体601的植入位置、移动、植入路径等的容许范围。
87.同时，所述规划器459可通过使用各种图像识别算法、机器学习和深度学习的图像识别来识别脊柱图像上脊柱的特定区域或位置、而不只是如上所述那样依赖用户输入，根据预先存储的或用户先前设置的植入标准自动植入虚拟脊柱假体，并通过显示器430显示植入的虚拟脊柱假体。
88.例如，如图8所示，当选择椎弓根螺钉601的植入位置时，所述规划器459可以使椎弓根螺钉601的植入路径或其延伸线被定位为穿过支点pe
ap
和pe
ll
，同时根据预设的植入角度自动植入所述椎弓根螺钉601。
89.除了椎弓根螺钉的植入位置和角度，椎弓根螺钉的直径、长度等可根据预先存储的标准或用户先前设置的标准来选择。为此，所述存储器440可预先存储脊柱假体的与3d图形的形状、尺寸、长度相对应的适当直径、长度或类似参考规格或产品以及手术目标脊柱位置，并选择适合调整后的3d图形的虚拟假体规格或产品。例如，当3d图形较长或较大时，可选择具有相对较大长度或直径的假体作为虚拟假体。所述规划器459可给用户一个机会以修改自动植入的虚拟脊柱假体的位置、角度、长度、直径等。
90.图9是示出根据本公开实施方式的脊柱手术规划方法的流程图。下文中，将描述脊
柱手术规划设备400的前述元件之间的有机操作。这将避免对前述实施方式的重复性描述。
91.参照图9，根据本公开实施方式的脊柱手术规划方法是基于通过医学成像设备100获得患者的2d脊柱图像(s10)这一前提。在这种情况下，可采集视角方向不同的多个图像，如ap图像和ll图像，作为2d脊柱图像。
92.然后，所述配准器451对所采集的2d脊柱图像的图像空间和手术空间进行配准，并计算图像空间坐标和手术空间坐标之间的配准关系(s20)。在这种情况下，如上所述，所述配准可基于医学成像设备100的校准参数通过众所周知的配准方法来实施，或者通过本技术人于2019年3月13日提交给韩国知识产权局的韩国专利公开第2019-0028592号中公开的方法来实施，所述专利公开的名称为“c-arm medical imaging system and registration method of 2d image and 3d space”。
93.当配准完成后，所述图形生成器453在手术空间中生成虚拟3d图形，并基于配准关系将3d图形投影到2d脊柱图像上(s30)。所述3d图形可具有柱状形状。在这种情况下，所述3d图形可根据任意的形状、尺寸和位置来生成。然而，可考虑如下的库以生成为患者定制的3d图形，也即在所述库中，根据患者椎体的独特特征或患者的特征(例如性别和年龄、手术目标脊柱数量等)来定义3d图形的尺寸、形状、高度等属性。
94.所述图形调整器455调整3d图形的形状、尺寸、高度、位置等，以便投影到脊柱图像上的3d图形能与脊柱图像上的预定地标相对应(s40)。在这种情况下，可通过基于配准关系改变投影在脊柱图像上的3d图形的形状、尺寸、高度、位置等，来调整手术空间中的3d图形。因此，患者椎体的形状、尺寸和位置由3d图形进行逼近。
95.然后，所述规划器459根据脊柱图像和向椎体逼近的3d图形来设置脊柱假体的植入位置、路径等(s50)。在这种情况下，提供手术空间中针对3d图形的3d图像，以便用户可以参照3d图像与2d脊柱图像来进行规划，从而具有与使用ct图像相类似的效果。
96.同时，所述规划器459可在设置脊柱假体的具体植入位置、路径等之前，首先如上所述那样基于用户输入、众所周知的图像识别算法或学习模型来设置参考点作为植入脊柱假体的参考。所述规划器459可自动设置脊柱假体的植入位置和路径，或者基于用户使用用户输入单元420实施的控制来限制植入位置或路径的容许范围，以满足植入条件，从而使脊柱假体可围绕如上设置的参考点旋转，例如，可围绕支点旋转，或脊柱假体的植入路径或其延伸线可以穿过支点。
97.进一步地，所述规划器459根据预先存储的位置和角度或根据用户设定的植入标准来自动植入和提供虚拟脊柱假体，从而提高用户的便利性。
98.如上所述，通过根据本公开的脊柱手术规划设备400和脊柱手术规划方法，在规划过程中一起提供了针对向患者脊柱的尺寸、形状等逼近的3d图形的3d图像，从而在没有ct扫描的情况下基于2d脊柱图像执行规划。以此方式，可以准确地进行规划，同时减少患者的辐射暴露和因ct图像配准而导致的手术复杂性，从而有效地取代ct图像。
99.尽管上面已经描述了构成本公开实施方式的所有元素被组合成单个单元或耦合成单个单元来操作，但本公开不一定限于这样的实施方式。换言之，至少两个元素可以有选择地组合和操作而不偏离本公开的范围。此外，每个元素均可作为独立的硬件来实现，但部分或所有元素可以有选择地相互结合，因此所述元素可被实现为计算机程序，所述计算机程序具有程序模块，所述程序模块用于执行组合在一个或多个硬件中的一些或全部功能。
构成计算机程序的代码和代码段可以由本公开技术领域中的普通技术人员轻易地构想出来。此类计算机程序可将本公开的实施方式实现为存储在计算机可读介质中，并由计算机读取和执行。计算机程序的介质可包括磁记录介质和光记录介质。
100.此外，诸如“包括”、“包含”或“具有”之类的术语指相应元素的存在，除非另有具体描述，并应被解释为包括一个或多个其他元素，而不排除它们的存在。除非另有定义，否则包括技术或科学术语在内的所有术语均具有与在本公开所涉及领域中具有普通知识的人所理解的含义相同的含义。词典中定义的一般术语应被解释为具有与相关技术的上下文相一致的含义，并且不会被解释为具有理想主义或过于形式化的含义，除非在本公开中另有明确定义。
101.尽管本公开的实施方式已被描述为说明性的目的，但具有本领域普通知识的人将理解到，可以在不脱离本公开基本特征的情况下进行各种修改和变化。因此，本公开中所公开的实施方式只是为了不限制而描述本公开的技术精神，本公开的技术精神不受这些实施方式的限制。此外，本公开的范围应基于所附的权利要求进行解释，相当于所附权利要求范围内的所有技术思想也应被解释为包括在本公开的范围内。

技术特征：

1.一种脊柱手术规划方法，包括：通过医学成像设备获取患者的二维(2d)脊柱图像；通过将针对所述脊柱图像的图像空间以及对所述患者进行脊柱手术的手术空间进行配准，计算所述图像空间中的坐标与所述手术空间中的坐标之间的配准关系；在所述手术空间中生成虚拟三维(3d)图形；基于所述配准关系将所述3d图形投影到所述脊柱图像上；调整所述3d图形，以便所述3d图形与所述脊柱图像上的预定地标相对应；以及基于所述脊柱图像和所述3d图形设置脊柱假体的植入位置和植入路径。2.根据权利要求1所述的脊柱手术规划方法，其中，所述调整所述3d图形包括：基于针对投影在所述脊柱图像上的所述3d图形的用户输入来调整所述3d图形的形状、尺寸和位置中的至少一者。3.根据权利要求1所述的脊柱手术规划方法，其中，所述设置脊柱假体的植入位置和植入路径是基于分别对应于不同视角方向的多个脊柱图像的。4.根据权利要求3所述的脊柱手术规划方法，其中，分别对应于不同视角方向的所述多个脊柱图像包括前-后(ap)图像和侧-侧(ll)图像。5.根据权利要求1所述的脊柱手术规划方法，其中，所述设置脊柱假体的植入位置和植入路径包括：基于使用用户输入单元的用户输入来设置所述脊柱假体的所述植入位置和所述植入路径。6.根据权利要求1所述的脊柱手术规划方法，其中，所述调整所述3d图形包括：调整所述3d图形，使得通过将所述3d图形投影在所述脊柱图像上而形成的图形的边界对应于所述脊柱图像上椎体的边界。7.根据权利要求1所述的脊柱手术规划方法，其中，所述3d图形具有柱状形状。8.根据权利要求7所述的脊柱手术规划方法，其中，所述调整所述3d图形包括：调整所述3d图形，使得所述柱状形状的侧向上的第一线与所述脊柱图像上的脊柱棘突的中心线对齐，所述第一线垂直于所述柱状形状的底座上穿过底座中心的第一轴线。9.根据权利要求1所述的脊柱手术规划方法，进一步包括设置参考点作为在所述脊柱图像上植入所述脊柱假体的参考，其中，所述设置脊柱假体的植入位置和植入路径包括根据所述参考点限制所述脊柱假体的所述植入位置或所述植入路径的容许范围。10.根据权利要求1所述的脊柱手术规划方法，其中，所述生成3d图形包括：检测所述脊柱图像上椎体的位置，以及在检测到的与所述椎体对应的位置生成所述3d图形。11.根据权利要求1所述的脊柱手术规划方法，其中，所述生成3d图形包括：基于库生成与在所述脊柱图像中识别的椎体的特征相对应的3d图形，其中在所述库中，根据所述椎体的所述特征定义了所述3d图形的尺寸、形状和高度中的至少一个属性。12.一种脊柱手术规划设备，包括：存储器，用于存储由医学成像设备拍摄的患者的二维(2d)脊柱图像；配准器，用于通过将针对所述脊柱图像的图像空间以及对所述患者进行脊柱手术的手术空间进行配准，计算所述图像空间中的坐标与所述手术空间中的坐标之间的配准关系；图形生成器，用于在所述手术空间中生成虚拟三维(3d)图形，并基于所述配准关系将所述3d图形投影到所述脊柱图像上；
图形调整器，用于调整所述3d图形，使得所述3d图形与所述脊柱图像上的预定地标相对应；以及规划器，用于基于所述脊柱图像和所述3d图形设置脊柱假体的植入位置和植入路径。13.根据权利要求12所述的脊柱手术规划设备，进一步包括显示器，所述显示器用于显示所述脊柱图像以及投影在所述脊柱图像上的所述3d图形。14.根据权利要求12所述的脊柱手术规划设备，进一步包括3d视图生成器，所述3d视图生成器用于根据所述配准关系为所述3d图形生成3d图像，其中，所述规划器基于所述配准关系控制所述脊柱图像和所述3d图像之一上所述脊柱假体的变化在所述脊柱图像和所述3d图像上彼此相互反映。

技术总结

本发明涉及脊柱手术规划设备和方法。根据本发明的脊柱手术规划方法包括：通过医学成像设备获取患者的二维脊柱图像；通过将对患者进行脊柱手术的手术空间和脊柱图像的图像空间进行配准，计算图像空间中的坐标和手术空间中的坐标之间的配准关系；在手术空间中生成虚拟三维图形；基于配准关系将三维图形投影到脊柱图像上；调整三维图形，使得3D图形与脊柱图像上的预定地标相对应；以及基于脊柱图像和三维图形设置脊柱假体的植入位置和植入路径。这能够基于二维脊柱图像执行规划而无需CT成像，减少了因CT图像配准而导致的患者的辐射暴露和手术复杂性。另外，可准确地执行规划，有效地替换CT图像。换CT图像。换CT图像。