(10)申请公布号 (43)申请公布日 2010.12.08*CN101904770A*
(21)申请号 200910052634.0
(22)申请日 2009.06.05
A61B 19/00(2006.01)
(71)申请人复旦大学
地址200433 上海市邯郸路220号
(72)发明人宋志坚 王满宁 姚德民 李文生
杜文健
(74)专利代理机构上海正旦专利代理有限公司
31200
代理人吴桂琴
(54)发明名称
及方法
(57)摘要
本发明属医疗器械领域，涉及一种基于光学
增强现实技术的手术导航系统及方法。本发明中，
计算机生成光点阵显示在光学式头盔显示器显示
计算机识别所摄数字图像中的光点阵和彩标定
点并获取其二维坐标；计算标定点三维空间到光
学式头盔显示器成像面二维空间的映射，完成标
定；根据所需映射绘制相应虚拟信息，显示在光
学式头盔显示器显示屏上，实现对手术场景的增
强。该发明能很好地支持增强现实技术在手术导
航系统中的应用。(51)Int.Cl.
(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书 1 页 说明书 3 页 附图 1 页CN 101904770 A
C N 101904770 A
1.一种基于光学增强现实技术的手术导航系统，其特征是，所述系统包括：光学式头盔显示器，标定板，数码照相机，探针，空间定位仪和计算机；所述的光学式头盔显示器显示增强后的现实场景，所述
的标定板标定光学式头盔显示器的内部参数；数码照相机拍摄标定点和光点阵；所述的探针获取标定点的三维空间坐标；所述的空间定位仪发出红外线，获取被跟踪物体的六个自由度的三维空间信息；所述的计算机，通过跟踪模块接收空间定位仪输出的六个自由度的信息，并转换成程序可识别的数据格式，通过标定模块，识别所摄数码照片中的光点阵及彩标定点，并计算出所需要的映射关系，通过绘制模块，用于计算并输出增强现实信息，并绘制在光学式头盔显示器成像平面上。
2.根据权利要求1所述的基于光学增强现实技术的手术导航系统，其特征是，所述的光学式头盔显示器上面固定反光球，用于反射空间定位仪发出的红外线。
3.根据权利要求1所述的基于光学增强现实技术的手术导航系统，其特征是，所述的标定板上设有彩标定点。
4.根据权利要求1所述的基于光学增强现实技术的手术导航系统，其特征是，所述的探针上设反光球。
5.一种基于权利要求1的导航系统的手术导航方法，其特征是，其包括以下步骤：
1)计算机生成光点阵，显示在光学式头盔显示器显示屏上；
2)照相机透过光学式头盔显示器显示屏拍摄标定板和光点阵；
3)计算机识别所摄数字图像中的光点阵和彩标定点，并获取其二维坐标；
4)计算标定点三维空间到光学式头盔显示器成像面二维空间的映射，完成标定；
5)根据所需映射绘制相应虚拟信息，显示在光学式头盔显示器显示屏上，实现对手术场景的增强。
6.根据权利要求4所述的方法，其特征是，所述的光点阵为计算机自动生成并显示在光学式头盔显示器显示屏上的虚拟光点阵，并已知其在光学式头盔显示器显示屏上的相对二维坐标。
一种基于光学增强现实技术的手术导航系统及方法
技术领域
[0001] 本发明属医疗器械领域，具体涉及一种基于光学增强现实技术的手术导航系统及方法。
背景技术
[0002] 传统的手术导航又称图像引导手术(IGS：Image guidedsurgery)，是以CT、MRI等医学图像信息为基础，通过重建精确的三维人体模型和使用高精度定位系统跟踪病人和手术器械的位置信息，在手术进行过程中，通过计算机实时模拟，对手术过程进行监控。手术导航可辅助医生制定术前方案，缩小手术创伤区域，保护重要组织结构，提高手术质量，降低意外率，具有十分积极的临床意义。
[0003] 虽然IGS的应用给外科手术带来了极大的便利，但外科大夫在手术过程中必须一边看人体组织的3D显示，一边将3D显示与病人真实的解剖组织进行对应，将导航信息从虚拟空间反映到真实病人的空间。由于此过程难免存在主观上的偏差，同时也不符合手术的一般习惯，因此不利于手术的顺利进行。近年来增强现实技术(AR：Augmentedreality)的出现，给IGS带来了更直观的方法。AR是在虚拟现实(VR：Virtual Reality)基础上发展演化而来的一项技术，它将计算机生成的虚拟物体、场景或系统提示信息实时准确地叠加并显示到真实场景中，做到虚实结合，增强使用者对真实世界的观察。[1]在外科手术领域，AR则可将重建产生的3D人体虚拟模型直接融合到医生所看到的真实场景中，实现手术视野的增强显示。
[0004] 目前国际上用于AR的显示设备以头盔式显示器(HMD：Headmounted display)为主。根据使用原理不同，HMD又可分为视频透视式和光学透视式两种。使用光学透视式HMD，用户既可直接观察到周围的真实环境，还可看到计算机产生的增强图像或信息，显示效果明显强于视频透视式HMD。但光学式HMD中，由于来自真实场景的图像直接成像于用户视网膜上，无法直接标定[2][3]，需要用户在线标定，这种人机交互过程高度依赖于用户。所以光学式HMD的标定是阻碍其实际应用的技术难点，目前尚未有成熟的基于光学式HMD的增强现实导航系统应用于临床实践。Tuceryan描述了一种光学式HMD的标定法——单点活动排列法(SPAAM)[4]，取得了较好的效果，但它的标定过程仍然需要人工对准，精度受人为影响较大。
[0005] 与本发明专利相关的已有技术或参考文献有：
[0006] [1]Azuma R T.A survey of augmented reality.Teleoperatorsand virtual environments，1997；4：355-385.
[0007] [2]Tuceryan M，Greer D，Whitaker R，et al.Calibrationrequirements and procedures for a monitor-based augmentedreality system.IEEE Trans Vis Comput Graph，1995；1：25573.
[0008] [3]Azuma R，Baillot Y，Behringer R，et al.Recent advancesin augmented reality.IEEE Comput Graph，2001；21：34 47.
[0009] [4]Tuceryan M，Navab N.Single point active alignment method(SPAAM) for optical see-through HMD calibration foraugmented reality.International Symposium for AugmentedReality，2000；149～158.
发明内容
[0010] 本发明的目的在于克服现有技术的不足，提供一种基于光学增强现实技术的手术导航系统及方法，使手术导航在临床应用中更精确、实用和方便。
[0011] 本发明提供了一种基于光学增强现实技术的手术导航系统，所述系统包括：光学式头盔显示器，标定板，数码照相机，探针，空间定位仪和计算机；所述的光学式头盔显示器(HMD)，用于显示增强后的现实场景，上面固定反光球，用于反射空间定位仪发出的红外线；所述的标定板，上设有多个彩标定点，用于标定HMD的内部参数；；采用数码照相机拍摄标定点和光点阵；所述的探针，上有多个反光球，用于获取标定点的三维空间坐标；所述的空间定位仪，发出红外线，用于获取被跟踪物体的六个自由度的三维空间信息；所述的计算机，主要包括：跟踪模块，用于接收空间定位仪输出的六个自由度的信息，并转换成程序可识别的数据格式，其中的标定模块，用于识别所摄数码照片中的光点阵及彩标定点，并计算出各种所需要的映射关系，其中的绘制模块，用于计算并输出增强现实信息，并绘制在HMD成像平面上。
[0012] 本发明还提供了一种基于光学增强现实技术的手术导航方法，其包括以下步骤：[0013] 计算机生成光点阵，本发明中，所述的光点阵为计算机自动生成并显示在HMD显示屏上的虚拟光点阵，并已知其在HMD显示屏上的相对二维坐标；
[0014] 将生成的光点阵绘制在HMD显示屏上；
[0015] 采用照相机透过HMD显示屏拍摄标定板上的彩标定点；
[0016] 获取标定板上标定点的三维坐标；
[0017] 获取所摄图片上彩标定点和光点阵的二维坐标；
[0018] 计算标定点三维空间到图片二维空间的映射以及图片上光点阵二维空间到HMD 成像面二维空间的映射；
[0019] 根据上述两映射计算标定点三维空间到HMD成像面二维空间的映射；
[0020] 获取HMD的三维空间坐标；
[0021] 计算标定点三维空间到HMD三维空间的映射(即HMD外部参数)；
[0022] 根据标定点三维空间到HMD成像面二维空间的映射和HMD外部参数求解HMD的内部参数；
[0023] HMD的空间位置和朝向发生变化时，根据内部参数和动态获取的外部参数实时计算需要增强显示的物体在HMD成像面上的具体映射，进行实时刷新渲染。
[0024] 本发明具有下述优点：
[0025] (1)将光学式增强现实技术引入到手术导航系统中，实现了手术视野的增强显示，显示效果远胜于视频式增强现实系统。
[0026] (2)术前对HMD的标定过程基本不需要人工干涉，有效地解决了光学式HMD的全自动标定问题，精度高，稳定性好。
[0027] (3)术前一次标定，术中反复使用，只要固定在HMD上的反光球与HMD的位置关系
不变，就不需重新标定。
[0028] (4)采用了彩标定点和光点阵，便于计算机对二维图片中的对应点进行识别，增加了识别的准确性。
附图说明
[0029] 图1是本发明实施例的系统结构框图。
[0030] 图2是本发明实施例的计算流程图。
具体实施方式
[0031] 以下参照附图对本发明的实施例进行详细说明。
[0032] 实施例1
[0033] 如图1所示，本发明的基于光学增强现实技术的手术导航系统包括：外置标定板，板上有若干彩标定点，便于标定过程中计算机的自动识别；HMD即光学透视式头盔显示器，在标定过程中，其显示屏上生成光点阵；照相机，用于对准HMD显示屏拍摄计算机生成的光点阵和透过显示屏所见的标定板上的彩标定点，并输出图像数据；计算机，主要包括：跟踪模块，用于接收空间定位仪输出的六个自由度的信息，并转换成程序可识别的数据格式，以及接收照相机输出的数字图像数据；标定模块，用于识别所摄数码照片中的光点阵及彩标定点的二维坐标数据，计算出标定点三维空间到图片二维空间的映射以及图片上光点阵二维空间到HMD成像面二维空间的映射，根据上述两映射计算标定点三维空间到HMD成像面二维空间的映射，再根据计算出的HMD外部参数，求解HMD的内部参数；绘制模块，当HMD的空间位置和朝向发生变化时，根据内部参数和动态获取的外部参数实时计算需要增强显示的物体在HMD成像面上的具体映射，输出增强现实信息，并绘制在HMD成像平面上，实现实时刷新渲染。
[0034] 实施例2
[0035] 基于光学增强现实技术的手术导航方法需要进行术前的配准标定工作。系统工作示意图如图2所示。整个配准标定流程如下：首先在待工作场景中放置一事先准备的标定板，上有若干彩标定点。计算机绘制已知坐标光点阵并通过视频线传输显示在HMD显示屏上。将照相机固定在HMD显示屏前，透过显示屏拍摄彩标定点和HMD显示屏上的光点阵。采集到的数字图像传入计算机，经过减噪处理后对图像进行逐行扫描，根据事先设定的彩寻目标标定点，同时识别光点阵。利用装有红外线反光球的
探针和空间定位仪可获取标定板上彩标定点的三维世界坐标，并传输给计算机。另外，HMD上固定有红外线反光球，空间定位仪亦可给出HMD的三维世界坐标。根据像素颜的对应关系可以获得标定点二维图像坐标和其三维世界坐标之间的对应关系，再根据数字图像上光点阵二维空间与HMD成像面二维空间的对应关系，即可计算出标定点三维空间到HMD成像面二维空间的映射，进而计算出HMD内外部参数，标定工作完成。术中使用增强现实系统时，内部参数不需重复计算。随着配戴HMD医生头部运动至新的位置，空间定位仪将实时给出HMD的坐标，计算机自动计算HMD与术中病人的相对位置和方向，最终计算出新的映射投影矩阵，并实时刷新绘制出增强现实信息，显示于HMD的显示屏上。
[0036] 以上具体实施方式仅用于说明本发明，而非用于限定本发明。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议