首页 > 专利技术

用于在远程操作医疗系统中导航屏上菜单的系统和方法与流程

用于在远程操作医疗系统中导航屏上菜单的系统和方法
1.相关申请的交叉引用
2.本技术要求于2020年2月19日提交的美国临时申请62/978,388的权益，该申请通过引用整体并入本文。
技术领域
3.本公开涉及用于执行远程操作医疗程序的系统和方法，并且更具体地涉及用于使用操作者输入设备显示和导航菜单的系统和方法。

背景技术：

4.微创医疗技术旨在减少在有创医疗程序期间受损的组织量，从而减少患者恢复时间、不适和有害副作用。此类微创技术可以通过患者解剖结构中的自然孔口或通过一个或多个外科手术切口来执行。通过这些自然孔口或切口，临床医生可以插入医疗工具以到达目标组织位置。微创医疗工具包括诸如器械、诊断器械、外科手术器械之类的器械。微创医疗工具还可以包括成像器械，例如内窥镜器械。成像器械为用户提供患者解剖结构内的视野。一些微创医疗工具和成像器械可以是远程操作的或以其他方式是计算机辅助的。随着远程操作医疗系统变得更加复杂，通过额外的特征和交互方式向操作者控制站添加额外的物理控制设备变得不那么可行。为了扩展远程操作系统的能力，需要操作者可见和可访问的图形菜单。因此，提供用于导航操作者可见和可访问的图形菜单的改进方法和系统将是有利的。

技术实现要素：

5.本发明的实施例由说明书后面的权利要求最好地概括。
6.与一些实施例一致，提供了一种系统。该系统包括远程操作操纵器，该远程操作操纵器被配置为控制医疗器械在外科手术环境中的操作。该系统还包括操作者输入系统，该操作者输入系统包括输入设备。该系统还包括处理单元，该处理单元包括一个或多个处理器。该处理单元被配置为显示外科手术环境的视野的图像。该处理单元还被配置为显示包括一组定向布置的菜单选项的菜单。该处理单元还被配置为将输入设备从用于与医疗器械交互的第一约束状态转换为用于与菜单交互的第二约束状态。在第二约束状态下，输入设备被约束为基于一组定向布置的菜单选项在一个或多个方向上移动。
7.与其他实施例一致，提供了一种由处理单元执行的方法。该方法包括显示外科手术环境的视野的图像。该方法还包括显示具有视野的图像的菜单。该菜单包括一组定向布置的菜单选项。该方法还包括将远程操作组件的操作者输入系统的输入设备从用于与远程操作组件的医疗器械交互的第一约束状态转换为用于与菜单交互的第二约束状态。该方法还包括当远程操作组件处于第二约束状态时，基于一组定向布置的菜单选项来约束输入设备在一个或多个方向上的移动。
8.其他实施例包括记录在一个或多个计算机存储设备上的相应计算机系统、装置和
计算机程序，其中的每一个都被配置为执行方法的动作。
9.应当理解，前述一般描述和以下详细描述本质上都是示例性和解释性的，并且旨在提供对本公开的理解而不限制本公开的范围。就此而言，根据以下详细描述，本公开的附加方面、特征和优点对于本领域技术人员将是显而易见的。
附图说明
10.图1a是根据一些实施例的远程操作医疗系统的示意图。
11.图1b是根据一些实施例的远程操作组件的透视图。
12.图1c是根据一些实施例的操作者输入系统的透视图。
13.图2是根据一些实施例的操作者输入系统的输入控制设备的透视图。
14.图3是根据一些实施例的具有覆盖在视野上的图形菜单的外科手术环境的视野。
15.图4是根据一些实施例的具有覆盖在视野上的扩展图形菜单的外科手术环境的视野。
16.图5是根据一些实施例的具有选择的第一菜单选项的扩展图形菜单。
17.图6a是根据一些实施例的具有选择的第二菜单选项的扩展图形菜单。
18.图6b是根据一些实施例的具有在第二菜单选项已经改变之后选择的第一菜单选项的扩展图形菜单。
19.图7是根据一些实施例的具有选择的第三菜单选项的扩展图形菜单。
20.图8a-图8d是根据一些实施例的输入控制设备的方向图标。
21.图9a-图9c是根据一些实施例的输入控制设备的方向图标。
22.图10是根据一些实施例的用于转换到图形用户界面模式以允许用户与图形菜单对接的方法的流程图。
23.本公开的实施例及其优点通过参考下面的详细描述得到最好的理解。应当理解，相似的附图标记用于标识在一幅或多幅图中图示的相似元件，其中示出的目的是为了说明本公开的实施例而不是为了限制本公开的实施例。
具体实施方式
24.为了促进对本公开的原理的理解，现在将参考附图中图示的实施例，并且将使用特定语言来描述实施例。然而，应当理解，并非意在限制本公开的范围。在以下描述中，具体细节描述了与本公开一致的一些实施例。为了提供对实施例的透彻理解，阐述了许多具体细节。然而，对于本领域技术人员来说显而易见的是，可以在没有这些具体细节中的一些或全部的情况下实践一些实施例。本文所公开的具体实施例是说明性的而非限制性的。本领域技术人员可以认识到尽管没有具体描述但在本公开的范围和精神内的其他元件。此外，为了避免不必要的重复，除非另外具体描述或者如果一个或多个特征将使实施例不起作用，结合一个实施例示出和描述的一个或多个特征可以并入其他实施例中。在某些情况下，没有详细描述众所周知的方法、程序、部件和电路，以免不必要地混淆实施例的一些方面。
25.图1a、图1b和图1c一起提供了医疗系统10的概览，该医疗系统10可用于例如包括诊断、或外科手术程序的医疗程序。医疗系统10位于医疗环境11中。医疗环境11在图1a中被描绘为手术室。在其他实施例中，医疗环境11可以是急诊室、医疗培训环境、医疗实验
室或可发生任何数量的医疗程序或医疗培训程序的一些其他类型的环境。在又一些实施例中，医疗环境11可以包括手术室和位于手术室外部的控制区域。
26.在一个或多个实施例中，医疗系统10可以是在外科医生的远程操作控制下的远程操作医疗系统。在替代实施例中，医疗系统10可以在被编程为执行医疗程序或子程序的计算机的部分控制之下。在又一些替代实施例中，医疗系统10可以是完全自动化的医疗系统，其在被编程以通过医疗系统10执行医疗程序或子程序的计算机的完全控制之下。可用于实施本公开中描述的系统和技术的医疗系统10的一个示例是由加利福尼亚州桑尼维尔的直观外科手术操作公司制造的da外科手术系统。
27.如图1a所示，医疗系统10通常包括组件12，该组件12可以安装到手术台o或定位在手术台o附近，而患者p在手术台o上。组件12可以被称为患者侧推车、外科手术推车或外科手术机器人。在一个或多个实施例中，组件12可以是远程操作组件。远程操作组件可以被称为例如操纵系统和/或远程操作臂推车。医疗器械系统14和内窥镜成像系统15可操作地耦合到组件12。操作者输入系统16允许外科医生s或其他类型的临床医生查看手术部位的图像或表示手术部位的图像并控制医疗器械系统14和/或内窥镜成像系统15的操作。
28.医疗器械系统14可以包括一个或多个医疗器械。在医疗器械系统14包括多个医疗器械的实施例中，多个医疗器械可以包括多个相同的医疗器械和/或多个不同的医疗器械。类似地，内窥镜成像系统15可以包括一个或多个内窥镜。在多个内窥镜的情况下，多个内窥镜可以包括多个相同的内窥镜和/或多个不同的内窥镜。
29.操作者输入系统16可以位于外科医生的控制台处，该控制台可以位于与手术台o相同的房间中。在一个或多个实施例中，操作者输入系统16可以被称为用户控制系统。在一些实施例中，外科医生s和操作者输入系统16可位于与患者p不同的房间或完全不同的建筑物中。操作者输入系统16通常包括一个或多个控制设备，其可被称为输入控制设备，用于控制医疗器械系统14或成像系统15。控制设备可以包括任意数量的多种输入设备中的一个或多个，例如手柄、操纵杆、轨迹球、数据手套、扳机、脚踏板、手动控制器、语音识别设备、触摸屏、身体运动或存在传感器以及其他类型的输入设备。
30.在一些实施例中，控制设备将具有与医疗器械系统14的医疗器械相同的笛卡尔自由度，以向外科医生s提供远程呈现，这是控制设备与器械为一体的感知，使得外科医生具有直接控制器械的强烈感觉，就好像处于手术部位处一样。在其他实施例中，控制设备可以具有比相关联医疗器械更多或更少的自由度，并且仍然为外科医生s提供远程呈现。在一些实施例中，控制设备是手动输入设备，其以六个自由度移动并且还可以包括用于致动器械(例如，用于闭合抓爪末端执行器、将电势施加到电极、提供药物和致动其他类型的器械)的可致动手柄。因此，控制设备的自由度和致动能力被映射到医疗器械可用的自由度和运动范围。
31.组件12支撑和操纵医疗器械系统14，同时外科医生s通过操作者输入系统16观察手术部位。手术部位的图像可以通过内窥镜成像系统15获得，内窥镜成像系统15可以由组件12操纵。组件12可以包括多个内窥镜成像系统15，并且类似地也可以包括多个医疗器械系统14。一次使用的医疗器械系统14的数量通常取决于要执行的诊断或外科手术程序以及手术室内的空间限制等因素。组件12可包括一个或多个非伺服受控连杆(例如，可手动定位并锁定就位的一个或多个连杆，通常被称为操纵器支撑结构)和操纵器的运动学结构。当操
纵器采用远程操作操纵器的形式时，组件12是远程操作组件。组件12包括驱动医疗器械系统14上的输入的多个马达。在一个实施例中，这些马达响应于来自控制系统(例如，控制系统20)的命令而移动。这些马达包括驱动系统，这些驱动系统在耦合到医疗器械系统14时可以将医疗器械推进到自然孔口或外科手术产生的解剖孔口中。其他机动驱动系统可以以多个自由度移动所述医疗器械的远端，多个自由度可以包括三个线性运动度(例如，沿着x、y、z笛卡尔轴的线性运动)和三个旋转运动度(例如，绕x、y、z笛卡尔轴的旋转)。此外，这些马达可用于致动医疗器械的可铰接末端执行器，以抓住活检设备等的钳口中的组织。医疗器械系统14的医疗器械可以包括具有单个工作构件(例如手术刀、钝刀片、光纤或电极)的末端执行器。其他末端执行器可以包括例如镊子、抓握器、剪刀或施夹器。
32.医疗系统10还包括控制系统20。控制系统20包括至少一个存储器24和至少一个处理器22(其可以是处理单元的一部分)，处理器22用于实现医疗器械系统14、操作者输入系统16和其他辅助系统26之间的控制，辅助系统26可以包括例如成像系统、音频系统、流体输送系统、显示系统、照明系统、转向控制系统、冲洗系统和/或抽吸系统。临床医生可以在医疗环境11内走动并且可以在设置程序期间访问例如组件12或从患者床边查看辅助系统26的显示。在一些实施例中，辅助系统26可以包括与操作者输入系统16分离的显示屏。在一些示例中，显示屏可以是能够在医疗环境11周围移动的独立屏幕。显示屏可以被定向为使得外科医生s和一个或多个其他临床医生或助手可以同时查看显示屏。
33.尽管在图1a中被描述为在组件12的外部，但在一些实施例中，控制系统20可以被完全包含在组件12内。控制系统20还包括编程指令(例如，存储在非暂时性计算机可读介质上)来实现根据本文公开的一些方面描述的一些或所有方法。虽然控制系统20在图1a的简化示意图中被显示为单个块，但控制系统20可以包括两个或多个数据处理电路，其中一部分处理可选地在组件12上或附近执行，另一部分处理在操作者输入系统16处执行等。
34.可以采用多种集中式或分布式数据处理架构中的任何一种。类似地，编程指令可以被实现为多个单独的程序或子例程，或者它们可以被集成到本文描述的系统的多个其他方面，包括远程操作系统。在一个实施例中，控制系统20支持无线通信协议，例如蓝牙、irda、homerf、ieee802.11、dect和无线遥测。
35.控制系统20与数据库27通信，数据库27可以存储一个或多个临床医生简档、患者列表和患者简档、要对所述患者执行的程序列表、计划执行所述程序的临床医生的列表、其他信息或其组合。临床医生简档可以包括关于临床医生的信息，包括临床医生在医疗领域工作了多长时间、临床医生获得的教育水平、临床医生对医疗系统10(或类似系统)的经验水平，或其任何组合。此外，临床医生简档可以包括关于临床医生关于控制系统20的设置的偏好的信息。这些偏好可以被存储在数据库27中。在一些实施例中，所存储的偏好可以指示临床医生对控制系统20的优选默认配置。
36.数据库27可以被存储在存储器24中并且可以被动态更新。附加地或替代地，数据库27可以被存储在诸如服务器或便携式存储设备之类的设备上，控制系统20可以通过内部网络(例如医疗设施或远程操作系统提供商的安全网络)或外部网络(例如因特网)访问该设备。数据库27可以分布在两个或更多个位置。例如，数据库27可以存在于多个设备上，这些设备可以包括不同实体的设备和/或云服务器。附加地或替代地，数据库27可以被存储在便携式用户指定设备上，例如计算机、移动设备、智能电话、膝上型电脑、电子徽章、平板电
脑、寻呼机和其他类似的用户设备。
37.在一些实施例中，控制系统20可以包括接收来自医疗器械系统14的力和/或扭矩反馈的一个或多个伺服控制器。响应于该反馈，伺服控制器将信号传送到操作者输入系统16。伺服控制器还可以传送指示组件12移动医疗器械系统14和/或内窥镜成像系统15的信号，医疗器械系统14和/或内窥镜成像系统15通过身体中的开口延伸到患者体内的内部手术部位。可以使用任何合适的常规或专用伺服控制器。伺服控制器可以与组件12分离或与组件12集成。在一些实施例中，伺服控制器和组件12被提供为邻近患者身体定位的远程操作臂推车的一部分。
38.控制系统20可以与内窥镜成像系统15耦合并且可以包括处理器以处理捕获的图像以供随后显示，例如在外科医生的控制台上或在位于本地和/或远程的另一个合适的显示器上显示给外科医生。例如，在使用立体内窥镜的情况下，控制系统20可以处理捕获的图像以向外科医生呈现手术部位的协调立体图像作为视野图像。这种协调可以包括相对图像之间的对齐并且可以包括调整立体内窥镜的立体工作距离。
39.在替代实施例中，医疗系统10可以包括不止一个组件12和/或不止一个操作者输入系统16。组件12的确切数量将取决于外科手术程序和手术室内的空间限制等因素。操作者输入系统16可以被并置或者它们可以被定位在单独的位置。多个操作者输入系统16允许不止一个操作者以各种组合形式控制一个或多个组件12。医疗系统10还可用于培训和排练医疗程序。
40.图1b是组件12的一个实施例的透视图，该组件12可以被称为操纵系统、患者侧推车、外科手术推车、远程操作臂推车或外科手术机器人。所示的组件12提供对三个外科手术工具30a、30b和30c(例如，医疗器械系统14)和成像设备28(例如，内窥镜成像系统15)的操纵，该成像设备例如为用于捕获手术部位的图像的立体内窥镜。成像设备28可以通过电缆56将信号传输到控制系统20。操纵由具有多个关节的远程操作机构提供。可以通过患者体内的切口定位和操纵成像设备28和外科手术工具30a-c，使得运动学远程中心被保持在切口处以最小化切口的尺寸。手术部位的图像可以包括当外科手术工具30a-c位于成像设备28的视野内时它们的远端的图像。成像设备28和外科手术工具30a-c各自可以是、诊断或成像器械。
41.图1c是在外科医生的控制台处的操作者输入系统16的实施例的透视图。操作者输入系统16包括左眼显示器32和右眼显示器34，用于向外科医生s呈现能够实现深度感知的外科手术环境的协调立体视图。左眼显示器32和右眼显示器34可以是显示系统35的部件。在其他实施例中，显示系统35可以包括一种或多种其他类型的显示器。在一些实施例中，在显示系统35上显示的图像可以单独或同时显示在辅助系统26的至少一个显示屏上。
42.操作者输入系统16还包括一个或多个输入控制设备36，这些输入控制设备进而使组件12操纵内窥镜成像系统15和/或医疗器械系统14的一个或多个器械。输入控制设备36可以提供与其相关联的器械相同的笛卡尔自由度，从而为外科医生s提供输入控制设备36与所述器械成一体的远程呈现或者感觉，使得外科医生具有直接控制器械的强烈感觉。因此，每个输入控制设备36的自由度被映射到每个输入控制设备36的相关器械(例如，内窥镜成像系统15和/或医疗器械系统14的一个或多个器械)的自由度。为此，位置、力和触觉反馈传感器(未示出)可用于将来自医疗器械(例如外科手术工具30a-c或成像设备28)的位置、
力和触觉通过输入控制设备36传输回至外科医生的手。另外，医疗器械的布置可以被映射到外科医生的手的布置和外科医生的眼睛的视图，使得外科医生具有直接控制器械的强烈感觉。输入控制设备37是从用户的脚接收输入的脚踏板。操作者输入系统16、组件12和辅助系统26的各方面可以是可调节的且可定制的，以满足外科医生s的身体需要、技能水平或偏好。
43.参考图2，每个输入控制设备36包括允许可致动手柄70围绕三个轴线即轴线a1、轴线a2和轴线a3旋转的四自由度万向节或腕部。在若干示例中，操作者输入系统16包括有助于手柄70围绕轴线a1、轴线a2和轴线a3旋转的一个或多个关节和/或连杆。手柄70通过允许手柄连续旋转的第一可旋转关节74耦合到第一肘形连杆72。第一连杆72耦合到平台76。每个输入控制设备36通常将允许手柄70在工作空间控制工作空间内以多个自由度移动，通常以六个自由度(即三个旋转自由度和三个平移自由度)移动。这允许可致动手柄70移动到其运动范围内的任何位置和任何取向。可致动手柄70包括握持致动器78和/或开关60、80以允许操作者致动通过手柄的运动定位的器械30a-c或28。手指环82附接到手柄70以防止操作者的手指在手柄上打滑。
44.操作者输入系统16提供“头显(head-in)”图形用户界面，该界面允许外科医生使用医疗器械执行各种功能，同时他或她的头部保持在操作者输入系统16中，眼睛观看显示器32、34并且双手保持与输入控制设备36接合。随着远程操作系统和医疗器械的特征和交互模态的增加，继续为每个附加特征添加额外的物理输入控制设备(例如，脚踏板、开关、按钮)变得不切实际。在用户界面中包含图形菜单提供了一个丰富的可扩展平台来访问器械和系统功能，而无需添加额外的物理用户输入。
45.在外科手术过程中，医疗系统10可以在器械控制模式或“跟随”操作模式下运行，其中器械在外科手术环境100中的移动跟随用户的手在与器械相关联的输入控制设备36中的移动。在器械控制模式下，控制设备可以以多达六个自由度移动，以控制器械在外科手术环境中以对应的六个自由度的移动。在一些实施例中，操作者(例如，外科医生s)可以退出器械控制模式并转换到图形用户界面模式或菜单模式，其中器械或医疗系统的附加功能可通过图形菜单来访问。在图形用户界面模式中，输入控制设备36的移动可以被约束为在对应于图形菜单中的菜单选项的定向布置的平移方向上的运动。在图形用户界面模式中，操作者不需要将他或她的手从输入控制设备36的起始位置(即当操作者进入图形用户界面模式时输入控制设备36的位置)移动很远。此外，在图形用户界面模式中，操作者可以通过简单地在对应于图形菜单中的菜单选项的定向布置的一个或多个平移方向上移动输入控制设备36来致动一个或多个菜单选项。这可以允许操作者与菜单选项交互，而不必打开他或她对输入控制设备36的握持致动器78的握持。此外，因为输入控制设备36的移动被约束为在平移方向上的运动，所以可以进行与图形菜单交互所需的移动，而不管操作者的手的取向如何。这在器械控制模式和图形用户界面模式之间提供了更无缝的转换。此外，图形用户界面模式有助于减少患者p体内的外科手术环境100的视野的图像102中的屏幕上的杂乱。以这种方式，一些消息可以仅在图形用户界面模式被激活时才呈现给外科医生s。此外，由于输入控制设备36的移动被约束为平移方向的运动，因此外科医生s可以在学习对应于某些交互(例如拍摄外科手术环境100的照片)的移动模式之后与图形菜单快速交互。外科医生s还可以通过缓慢地导航图形菜单以发现可用的选项来发现新的移动模式和与图形菜单
的交互。
46.图3示出了当医疗系统10处于菜单模式时可以生成的患者p体内的外科手术环境100的视野的图像102。图像102可以与x、y、z笛卡尔坐标系相关联。图像102可以由成像器械(例如，成像器械28)生成。图像102可以是由立体内窥镜获得的三维图像，并且被生成为用户通过右眼显示器和左眼显示器(例如，图1c中的显示器32、34)可见的图像的合成图像。视野的图像102包括器械30a的远端部分、器械30b的远端部分和器械30c的远端部分。图像102还包括信息字段104a、104b和104c，这些信息字段可以包括给临床医生的指令、警告、器械标识信息、状态信息或与外科手术程序相关的其他信息。
47.如图3所示，信息字段104a、104b、104c包括器械标识信息。在这方面，信息字段104a对应于器械30a并且包括器械30a的名称，例如，“镊子”、“抓握器”、“剪刀”或“施夹器”，这取决于用作器械30a的器械的类型。类似地，信息字段104b对应于器械30b并且包括器械30b的名称，该名称可以是上面关于器械30a列出的任何名称。此外，信息字段104c对应于器械30c并且包括器械30c的名称，该名称可以是上面关于器械30a列出的任何名称。在若干实施例中，信息字段104a、104b、104c围绕外科手术环境100的视野的外围显示，例如在图像102的各个角落。信息字段104a、104b、104c可以被叠加在外科手术环境100的视野上方或可以在视野之外，与视野的外围边缘接壤。附加地或替代地，信息字段104a、104b、104c可以被显示在与信息字段104a、104b、104c分别对应的器械30a、30b、30c非常接近的位置处。在替代实施例中，信息字段104a、104b、104c可以沿着图像102的相同外围边缘(例如，沿着底部边缘、左侧边缘、右侧边缘或顶部边缘)显示。
48.在一些实施例中，图像102可以可选地包括方向图标106a、106b。方向图标106a、106b可以被叠加在每个方向图标对应的信息字段上或被包含在其中。例如，方向图标106a对应于信息字段104a，因此对应于器械30a。因此，方向图标106a可以被叠加在信息字段104a上或被包含在信息字段104a内，如图3的实施例中所示。类似地，方向图标106b对应于信息字段104b并且因此对应于器械30b。如图3的实施例中所示，方向图标106b可以被叠加在信息字段104b上或被包含在信息字段104b内。方向图标指示用户(例如，外科医生s)可以在图形用户界面模式中移动输入控制设备36的方向。
49.在图3所示的实施例中，方向图标106a包括指示左输入控制设备36将控制与信息字段104a相关联的菜单中的显示和选择的字母“l”。方向图标106a还包括沿y轴伸长的椭圆形，其指示左输入控制设备36被约束为在与y轴相关联的方向上的平移运动。方向图标106b包括指示右输入控制设备36将控制与信息字段104b相关联的菜单中的显示和选择的字母“r”。方向图标106b还包括沿y轴伸长的椭圆形，其指示右输入控制设备36被约束为在与y轴相关联的方向上的平移运动。
50.在一些示例中，输入控制设备36空间中的沿轴线a2(图2)的平移移动可以与图像102空间中的y方向(例如，上/下)上的平移运动相协调。类似地，输入控制设备36空间中的沿轴线a3(图2)的平移移动可以与图像102空间中的x方向(例如，右/左)的平移运动相协调。此外，输入控制设备36空间中的沿轴线a1(图2)的平移移动可以与图像102空间中的z方向(例如，进/出)的平移运动相协调。
51.当远程操作组件12从器械控制模式(其可被称为非菜单模式)进入菜单模式时，输入控制设备36的位置被认为是输入控制设备36的中立位置。该中立位置也可以称为起始位
置。如下文更详细讨论的，当远程操作组件12从菜单模式转换回非菜单模式时，输入控制设备36处于中立位置(即当远程操作组件12进入菜单模式时它们所处的相同位置和取向)。
52.如图3所示，显示了针对每个器械30a、30b、30c的信息字段。然而，在一些实施例中，仅针对当远程操作组件12进入菜单模式时“活动”(即由外科医生s控制)的器械显示信息字段。例如，如果当远程操作组件12进入菜单模式时外科医生s正在控制器械30a和30b，则在图像102中将仅提供信息字段104a、104b。在另一个示例中，如果当远程操作组件12进入菜单模式时外科医生s正在控制器械30c和30c，则在图像102中将仅提供信息字段104a、104c。
53.在一些实施例中，当远程操作组件12进入菜单模式时，方向图标106a、106b被显示在图像102中。在一些实施例中，仅针对在远程操作组件12进入菜单模式时“活动”的器械显示方向图标。例如，如果当远程操作组件12进入菜单模式时外科医生s正在控制器械30a和30b，则在图像102中将仅提供方向图标106a、106b。在另一个示例中，如果当远程操作组件12进入菜单模式时外科医生s正在控制器械30a和30c，则在图像102中将仅提供方向图标106a和与器械30c相对应的方向图标。
54.在一些实施例中，为了激活与器械30b相关联并由右输入控制设备36致动的图形菜单，用户在对应于图像102空间中的+y方向的平移方向上移动输入控制设备36。仅出于示例性目的并且为了清楚起见，以下将针对与器械30b相关联的图形菜单进行讨论。应当理解，该讨论也适用于与器械30a相关联的图形菜单和/或与器械30c相关联的图形菜单。
55.触觉力可以通过右输入控制设备36提供“点击”感觉以提供菜单启动的确认。触觉力也可以被称为触觉反馈。作为菜单启动的进一步确认，在外科医生s在对应于图像102空间中的+y轴的方向上移动输入控制设备36之后，菜单将出现在图像102上。在施加触觉力之后，输入控制设备36可以返回或“弹回”到中立位置。即使输入控制设备36“弹回”到中立位置，菜单可以在图像102上保持可见。返回中立位置允许外科医生的手的姿势的最小偏差以提供更好的人机工程学(例如，外科医生的手臂和/或手腕不需要过度偏离中立位置)。输入控制设备36的这种重新居中还允许重新进入非菜单模式以更快地进行。此外，输入控制设备36的重新居中保持了在进入和退出菜单模式时外科医生的手眼布置。
56.如图4所示，对应于器械30b和/或与右输入控制设备36相关联的图形菜单110被激活并叠加在图像102上。通过图形菜单110，用户可以访问器械30b或医疗系统10的特征和能力。图形菜单110包括一组定向布置的菜单选项112a-112e。在本实施例中，菜单选项112a-112e被线性布置在从信息字段104b延伸的+y方向上。如图4所示，图形菜单110和菜单选项112a-112e位于图像102的外围。菜单110的位置允许外科医生s容易地确定图形菜单110的器械专用菜单选项112a-112e对应于器械30b。在一些实施例中，图形菜单110的默认位置沿着从信息字段104b延伸的图像102的外围，如图4所示。在其他实施例中，例如在不沿着图像102的外围显示信息字段104b的实施例中，图形菜单110可以被显示为从信息字段104b延伸但可以不位于图像102的外围。图形菜单110的位置因此可以取决于信息字段104b的位置。将图形菜单110叠加在图像102上允许外科医生访问器械30b的特征，同时保持专注于外科手术环境。
57.在图4的实施例中，菜单选项112a-112e可以包括与器械30b或医疗系统10的可选功能相关联的图标或文本。光标113是指示在菜单110内的当前位置的可移动指示符。光标
113的当前位置可以被称为控制位置。光标113的移动可以受到菜单选项的方向和输入控制设备36上的对应约束的定向约束。在可用于访问光标的控制选项取决于光标在菜单110内的位置的意义上，光标可以是上下文相关的。光标113可以是如图4所示的菜单选项112a-112e之一上的突出显示。在其他实施例中，光标可以是菜单选项周围的轮廓、不同颜的菜单选项、不同阴影的菜单选项、不同图案的菜单选项或菜单内的当前位置的任何其他图形指示符。在一些实施例中，光标113向菜单选项112a-112e的移动导致菜单选项被选中。在其他实施例中，可能需要器械30b的额外移动或开关60或80的激活以使菜单选项变为被选中。在一些实施例中，可以通过光标113的位置来指示选择的菜单选项。在图4所示的实施例中，光标113当前位于菜单选项112a上，指示选择了与菜单选项112a相关联的功能。未选择的菜单选项112b、112c、112d、112e未被突出显示。在一些实施例中，当图形菜单110被激活时，一个菜单选项被自动选择。例如，可以自动选择菜单选项112a，即最靠近信息字段104b的菜单选项。因为菜单选项112a是信息字段104b上方的第一个菜单选项，所以当用户在+y方向移动输入控制设备36以激活菜单110时，光标113自动移动到菜单110的第一个菜单选项，即菜单选项112a。在其他实施例中，在菜单110被激活时，菜单选项112a-112e中的任何一个被自动选择。在其他实施例中，当图形菜单110被激活时，光标113位于信息字段104b上，并且需要输入控制设备36的运动(例如，在+y方向上)来移动光标113并选择菜单选项(例如，菜单选项112a)。
58.每个菜单选项可以具有可供外科医生s选择或操纵的不同选项，其中每个选项控制医疗系统10的特征或菜单110对应的器械的特征。例如，当使用与器械30b相关联的输入控制设备36激活菜单110时，菜单选项可以对应于器械30b的可用特征。当使用与器械30a相关联的输入控制设备36激活菜单110时，菜单选项可以对应于器械30a的可用特征。类似地，当使用与器械30c相关联的输入控制设备36激活菜单110时，菜单选项可以对应于器械30c的可用特征。每个菜单中的可用选项可能会有所不同，具体取决于所使用的器械类型。例如，如果器械30a是与器械30b不同的器械，则与器械30a相关联的菜单选项可能不同于与器械30b相关联的菜单选项。然而，在其他示例中，菜单选项对于每个器械30a、30b、30c可以是相同的。
59.在一些实施例中，一次仅在图像102中显示一个菜单110。因此，如果对应于器械30b的菜单110是活动的，那么如果外科医生s想要激活对应于器械30a的菜单110，则外科医生s必须停用该菜单。为了停用对应于器械30b的菜单110，当选择菜单选项112a时，外科医生s可以在图像102空间中沿与-y方向对应的方向(即，向下)移动右输入控制设备36。然后，为了激活对应于器械30a的菜单110，外科医生s可以在图像102空间中对应于+y方向的方向上(即，向上)移动左输入控制设备36。在替代实施例中，可以一次在图像102上显示不止一个菜单110。
60.以上描述的实施例通常参考对应于器械30b的输入控制设备36被移动以导航对应于器械30b的菜单110。在其他实施例中，对应于器械30a的输入控制设备36可用于导航对应于器械30b的菜单110。在进一步的实施例中，每个输入控制设备36可以互换地用于导航菜单110。在各种替代实施例中，可以在图像102上显示不止一个图形菜单。例如，对应于器械30a的菜单和对应于器械30b的第二菜单可以各自显示在图像102上。在这样的实施例中，可以通过对应于器械30a的输入控制设备36的移动来导航对应于器械30a的菜单。类似地，可
以通过对应于器械30b的输入控制设备36的移动来导航对应于器械30b的菜单。
61.在图5所示的实施例中，图形菜单110被激活，并且菜单选项112a被选择。为清楚起见，图5仅示出信息字段104b和菜单110。应理解，图像102的其余部件(包括但不限于器械30a、30b、30c的远端、其他信息字段104a、104c以及患者解剖结构)在外科医生s与菜单110交互时不改变。如图5所示，在一个实施例中，菜单选项112a包括相机图标，指示菜单选项112a的图像捕获功能。选择菜单选项112a可以启动捕获手术部位的照片。
62.在该实施例中，当光标113在菜单选项112a上时，右输入控制设备36被约束为基于光标113的当前位置在平移方向上移动。更具体地，右输入控制设备36的移动可以被约束到与图像102空间中的x和y方向相关联的两个平移自由度。例如，右输入控制设备36在对应于+y方向的方向上的移动可以将光标113移动到菜单选项112b。右输入控制设备36在与-y方向相对应的方向上的移动可以关闭菜单110，从而从视图中隐藏菜单选项112a-112e。向右或向左(即在对应于图像102空间中的+/-x方向的方向上)移动右输入控制设备36可以选择定向布置的次级菜单选项，用于启动相机以捕获外科手术环境的图像。在一些实施例中，可以以图形方式显示所选菜单选项的定向布置的次级菜单选项(参见图6a)。在其他实施例中，如图5所示，其中对于选定的菜单选项112a存在单个次级菜单选项，可以不以图形方式显示定向布置的次级菜单选项(例如，激活相机)。在一些实施例中，当右输入控制设备36被移动以推进光标113、关闭菜单110或启动相机时，触觉力向控制右输入控制设备36的用户提供“点击”感觉以提供动作的确认。在传递对应的触觉力之后，输入控制设备36可以返回或“弹回”到中立位置。在其他实施例中，例如，如果外科医生s按下输入控制设备36上的开关80以捕获图像，则菜单选项112a可以另外被启动。在替代实施例中，菜单选项112a可以通过在z方向上(即沿图2中的轴线a1)向前移动输入控制设备36来启动以捕获图像。在另外的替代实施例中，菜单选项112a可以通过打开和/或关闭输入控制设备36的握持致动器78来启动。在另外的实施例中，菜单选项112a可以在检测到手势输入时被启动。例如，控制系统20可以检测外科医生s的手势输入(例如，手部运动、手臂运动、足部运动、腿部运动、头部运动等)。此外，可以使用上述输入中的一个或多个的任何组合来启动菜单选项112a。
63.在一些实施例中，当光标位于菜单选项112a处时，输入控制设备36上的约束由方向图标114图示，该图标包括指示由右输入控制设备36控制的字母“r”，以及指示右输入控制设备36可被约束在对应于图像102空间中对应于x和y方向的方向上的运动的十字形图形116。如图5所示，方向图标114被叠加在信息字段104b之上或包含在信息字段104b内。在这样的实施例中，方向图标114将代替图3中所示的方向图标106b。在其他实施例中，方向图标114可以被放置在菜单选项112a的左侧。在另外的示例中，方向图标114可以被放置在图像102中的任何其他位置，例如菜单110上方、邻近器械30b的远端等。
64.在一些实施例中，菜单选项112a-112e中的一个或多个可以包括次级菜单选项的子集。在选择主菜单选项112a、112b、112c、112d、112e时，次级菜单选项可能会变得可见，因此是可选择的。例如，在图6a所示的实施例中，主菜单选项112b包括次级菜单选项118、119和120。次级菜单选项118、119和120指示可用于器械30b的不同能量模式。为了将光标113从主菜单选项112a导航到主菜单选项112b，右输入控制设备36在对应于图像102空间中的+y方向的方向上移动。如上面关于图5所讨论的，当光标113被移动到主菜单选项112b时，触觉力可以通过右输入控制设备36向用户提供“点击”感觉。然后，输入控制设备36可以返回或“弹回”到中立位置。
65.如图6a所示，图形菜单110被激活并且用于选择器械30b的能量模式的主菜单选项112b被选择，从而显示定向地在x方向上线性布置并对应于三种不同的能量模式的三个次级菜单选项：“双极”(菜单选项119)、“密封”(菜单选项118)和“单极”(菜单选项120)。器械30b可以包括上述能量模式中的一种、一些或全部。在一些实施例中，如果主菜单选项包括次级菜单选项(例如，不同的能量模式)，则当将光标113移动到主菜单选项并且选择主菜单选项时，次级菜单选项自动出现在图像102中。例如，当主菜单选项112b被选择时，次级菜单选项118、119和120自动显示在图像102中。在其他实施例中，仅当在选择主菜单选项112b之后输入控制设备36在对应于-x方向的方向上移动时，才可以显示次级菜单选项118、119和120。在一些实施例中，主菜单选项112b和次级菜单选项119可以是相同的选项或者可以位于图像102中的相同位置。
66.如图6a所示，光标113被定位在次级菜单选项118上，指示对次级菜单选项118的选择。光标113可以在x和y方向上移动，并且可以以上面关于图5讨论的方式提供触觉力。
67.在选择次级菜单选项118时，输入控制设备36的移动被约束为在图像102空间中与x和y方向运动相关联的方向运动。该约束由方向图标122描绘，方向图标122包括指示由右输入控制设备36控制的字母“r”以及指示右输入控制设备36可被约束为在图像102空间中对应于x和y方向的方向上的运动的十字形图形124。如图6a所示，方向图标122被叠加在信息字段104b之上或包含在信息字段104b内。在这样的实施例中，方向图标122将代替图3中所示的方向图标106b。在其他实施例中，方向图标122可以被放置在次级菜单选项120的左侧。在另外的示例中，方向图标122可以被放置在图像102中的任何其他位置，例如在次级菜单选项118上方、在菜单110上方、靠近器械30b的远端等。
68.在一些实施例中，“密封”菜单选项118的选择可以通过在对应于图像102空间中的+y或-y方向的受约束方向上移动输入控制设备36来锁定。例如，图6b示出了在菜单选项112b已经被设置为“密封”并且输入控制设备36已经在对应于图像102空间中的-y方向的受约束方向(例如，向下)上移动之后的图形菜单110。控制设备36的移动也使光标113返回到菜单选项112a。在其他实施例中，可以通过在选择菜单选项118时退出菜单模式来锁定“密封”菜单选项118的选择。上面关于选择次级菜单选项118的讨论也适用于选择次级菜单选项120。如果选择次级菜单选项118，则光标113可以向左(例如，-x方向)移动以选择次级菜单选项120。
69.如图7所示，图形菜单110被激活，光标113被移动到主菜单选项112c，并且主菜单选项112c被选择。在一些实施例中，主菜单选项112c对应于可调节参数，例如图像102的亮度。例如，可以通过调节与内窥镜成像系统15相关联的腔内光源来控制图像102的亮度。为了到达菜单选项112c，右输入控制设备36在对应于图像102空间中的+y方向的方向上移动，如上面关于图5所描述的。如果选择了菜单选项112a，并且外科医生s随后想要选择菜单选项112c，则受约束的右输入控制设备36在对应于图像102空间中的+y方向的方向上平移以将光标113向上移动一次以选择菜单选项112b，然后再次向上移动光标以选择菜单选项112c。在每次向上移动之后，触觉力通过输入控制设备36提供“点击”感觉，并且输入控制设备36“弹回”到中立位置。
70.在此实施例中，当选择菜单选项112c时，在菜单选项112c中显示滑动条130。在其
他实施例中，每当显示菜单110时，可以在菜单选项112c中显示滑动条130。滑动条130可以沿着与亮度水平的线性范围相对应的一系列定向布置的次级菜单选项移动。滑动条130的移动可以对应于右输入控制设备36在对应于图像102空间中的+/-x方向的平移方向上的受约束移动。在一些示例中，滑动条130在左或右方向上的每次移动将亮度水平调整5个单位。例如，如图7所示，图像102的当前亮度被设置为级别“75”。如果输入控制设备置36向左移动一次，则亮度将被调低到级别“70”。如果输入控制设备36向右移动一次，则亮度将被调高到级别“80”。
71.在其他实施例中，滑动条130在左或右方向上的每次移动将亮度调整1个单位。其他示例可以包括不同的增量(例如，2个单位、3个单位、10个单位等)。在进一步的实施例中，如果外科医生s在对应于图像102空间中的-x方向的方向上移动并保持输入控制设备36，而不让输入控制设备36返回到中立位置，则亮度可以连续降低，直到输入控制设备36被释放并允许“弹回”到中立位置。可以通过在对应于图像102空间中的+x方向的方向(例如，向右)移动并保持输入控制设备36并允许输入控制设备36在已达到期望亮度时“弹回”到中立位置来进行类似的连续调整以增加亮度。
72.在一些实施例中，在滑动条130在左右方向上的每次移动之后，触觉力通过输入控制设备36提供“点击”感觉以提供对移动的确认。在平移输入控制设备36并施加对应的触觉力之后，输入控制设备36可以返回或“弹回”到中立位置。
73.在图7所示的实施例中，方向图标126指示输入控制设备36被约束为在对应于图像102空间中的+/-x方向的方向上移动以左右移动滑动条130，并且输入控制设备36被约束为在对应于+/-y方向的方向上移动以将光标向上朝向菜单选项112d移动或向下朝向菜单选项112b移动。如图7所示，方向图标126被叠加在信息字段104b上或放置在信息字段104b内。在这样的实施例中，方向图标126将代替图3中所示的方向图标106b。在其他实施例中，方向图标126可以被放置在图像102中的任何其他位置，例如菜单110的上方、菜单选项112c的左侧、邻近器械30b的远端等。
74.在一些实施例中，外科医生s可以从对应于器械30b的菜单110中激活器械30c的菜单(未示出)。在这样的示例中，输入控制设备36被平移以向上移动光标113以选择菜单选项112d，然后再次向上移动以选择菜单选项112e。当选择菜单选项112e时，输入控制设备36在相同的方向(例如，向上)的进一步平移停用了与器械30b相对应的菜单110，并激活与器械30c相对应的菜单。如果在远程操作组件12进入菜单模式时器械器30c是“活动的”，则可以激活对应于器械30c的菜单。在其他示例中，即使在远程操作组件12进入菜单模式时器械30c不是“活动的”，也可以激活对应于器械30c的菜单。
75.在上述实施例中，在输入控制设备36在任何方向上的每次移动之后，提供“点击”感觉的触觉力将通过输入控制设备36被提供给外科医生s以提供对移动的确认。在移动输入控制设备36并施加对应的触觉力之后，输入控制设备36返回或“弹回”到中立位置。在替代实施例中，输入控制设备36可以在由定向布置的菜单选项提供的约束内根据需要在尽可能多的方向上移动多次，以达到期望的菜单选项和/或执行期望的功能。可以进行这些移动，而不需要在每次单独的移动之后将输入控制设备36“弹回”到中立位置。相反，输入控制设备36可以在整个移动序列已经完成之后被“弹回”到中立位置。
76.例如，如果外科医生s想要激活菜单110并将亮度级别从“75”调整到“85”，则外科
医生s可以向上(例如，对应于图像102空间中的+y方向的平移方向)移动输入控制设备36以激活菜单110，再次向上移动以从菜单选项112a移动到菜单选项112b，再次向上移动以从菜单选项112b移动到菜单选项112c，向右(例如，对应于图像102空间中+x方向的平移方向)移动以将亮度从“75”更改为“80”，然后再次向右移动以将亮度从“80”更改为“85”。因此，输入控制设备36将遵循向上-向上-向上-向右-向右的移动路径。在进行了所有这些移动之后，输入控制设备36可以被“弹回”到中立位置。在一些实施例中，触觉力在与输入控制设备36刚刚进行的移动相反的方向沿相同路径将输入控制设备36移动回到中立位置。例如，如果输入控制设备遵循向上-向上-向上-向右-向右的移动路径，则触觉力可以将输入控制设备36沿向左-向左-向下-向下-向下移动路径移动回到中立位置。在其他实施例中，触觉力可以将输入控制设备36沿着输入控制设备36的中立位置和当前位置之间的最短直线路径移动回到中立位置。
77.图8a-图8d示出了根据一些实施例的输入控制设备的方向图标。图9a-图9c示出了根据一些实施例的输入控制设备的附加方向图标。图8a示出了方向图标200，其指示输入控制设备36的移动在所有自由度中受到约束。例如，如果方向图标200与菜单110中的菜单选项的选择一起被显示，则只有当外科医生s按下输入控制设备36上的开关时，才可以启动所选择的菜单选项。例如，如果外科医生s按下输入控制设备36上的开关80，则相机图标112a可以另外被启动。在替代实施例中，方向图标200指示输入控制设备36的移动在5个自由度中受到约束。在这样的实施例中，例如，可以通过在z方向(即沿着图2中的轴线a1)移动输入控制设备来启动相机图标112a。
78.图8b示出了方向图标202，其指示输入控制设备36被约束为仅在对应于图像102空间中的x方向的平移方向移动(即沿图2中的轴线a3左右移动)。图8c示出了方向图标204，其指示输入控制设备36被约束为仅在对应于图像102空间中的y方向的平移方向移动(即沿图2中的轴线a2上下移动)。方向图标204基本上类似于方向图标106a和106b。图8d示出了方向图标206，其指示输入控制设备36被约束为仅在对应于图像102空间中的x和y方向的两个平移方向移动(即沿轴线a3左/右移动和沿轴线a2上/下移动)。方向图标206基本上类似于方向图标114、122和126。
79.图9a示出了方向图标208，其指示输入控制设备36在与图像102空间中的x-y平面相对应的平面中不受约束，但在任何其他方向上移动受到约束。图9b示出了方向图标210，其指示输入控制设备36不受关于三维平移运动的约束但被约束以防止旋转运动。图9c示出了指示输入控制设备36不受任何自由度约束的方向图标212。因此，输入控制设备36在三个平移方向上自由移动并且围绕三个旋转轴线自由旋转。
80.图10是示出用于约束用于与图形菜单110对接的输入控制设备36的移动的方法300的流程图。方法300被图示为一组操作或过程302至308，并继续参考前面的附图进行描述。并非所有图示的过程302至308都可以在方法300的所有实施例中执行。另外，未在图10中明确图示的一个或多个过程可以被包括在过程302至308之前、之后、中间或作为过程302至308的一部分。在一些实施例中，过程302至308中的一个或多个可以至少部分地以存储在非暂时的、有形的、机器可读介质上的可执行代码的形式实现，当可执行代码由一个或多个处理器(例如，控制系统的处理器)运行时可以使一个或多个处理器执行一个或多个过程。在一个或多个实施例中，过程302至308可以由控制系统20执行。
81.在过程302处，显示外科手术环境(例如，外科手术环境100)的视野的图像(例如，图像102)。在过程304处，将菜单(例如，图形菜单110)与视野的图像102一起显示。该菜单包括一组定向布置的菜单选项，定向布置的菜单选项可以包括：显示的菜单选项，例如主菜单选项112a-112e；次级菜单选项118、119、120；或以可用滑动条130选择的亮度级别的形式的次级菜单选项。菜单可以附加地或替代地包括不显示的定向布置的菜单选项，例如图5中描述的相机激活菜单选项。
82.在过程306处，远程操作组件(例如，远程操作组件12)的操作者输入系统(例如，操作者输入系统16)的输入设备(例如，输入控制设备36)从用于与远程操作组件的第一医疗器械(例如，器械30b)交互的第一约束状态转换到用于与菜单110交互的第二约束状态。在若干示例中，第一约束状态可以被称为非菜单模式、非gui模式、器械控制模式或“跟随”操作模式，其中器械30b的移动例如跟随用户的手在与器械30b相关联的输入控制设备36中的移动。在若干实施例中，第二约束状态可以被称为gui模式、菜单模式或菜单控制模式，其中用户的手在相关联的输入控制设备36中的移动与器械30b和操纵器臂51的移动解耦。在进一步的实施例中，输入控制设备36可以被转换到输入控制设备36可控制成像设备28的第三约束状态。
83.在若干实施例中，当操作者输入系统16的操作者输入设备被激活时，远程操作组件12从非菜单模式转换为菜单模式。操作者输入设备可以是输入控制设备36、输入控制设备37、离合器设备、按钮、开关(例如，开关60、80)或任何其他输入设备中的任何一个或多个设备。在一些实施例中，离合器设备是踏板(例如，离合器踏板)，其可以是操作者输入系统16的输入控制设备37中的任何一个。在其他实施例中，离合器设备可以是任何其他输入设备，例如按钮或开关(例如，开关60、80)。离合器设备可以是启动或终止菜单模式的任何输入。替代地或附加地，菜单模式可以与将外科医生输入设备与患者侧器械断开的远程操作组件的离合器模式相关联。在进一步的实施例中，当检测到手势输入时，远程操作组件12可以从非菜单模式转换到菜单模式。例如，当远程操作系统进入或退出离合器模式时，它可以同时分别进入或退出菜单模式。在一些示例中，控制系统20可以检测一个或多个输入控制设备36的手势输入。当检测到手势输入与任何一个或多个上述操作者输入设备的激活相结合时，远程操作组件12可以从非菜单模式转换为菜单模式(或从菜单模式转换为非菜单模式)。
84.仅出于示例性目的，将参考离合器踏板进行以下讨论。应当理解，该讨论类似地适用于上述任何操作者输入设备。在一些示例中，当外科医生s踩下离合器踏板并保持离合器踏板被压下时，进入菜单模式。当离合器踏板保持被压下时，输入控制设备36对器械30b的控制被暂停。输入控制设备36可以自由移动而不引起器械30b的相应移动。在菜单模式中，输入控制设备36的握持致动器78的移动与器械30b末端执行器的移动解耦。在一些实施例中，信息字段104a、104b、104c在进入菜单模式时出现在手术部位的视野中。在其他实施例中，当远程操作组件12处于非菜单模式时，信息字段104a、104b、104c在图像102中也是可见的。
85.在过程308处，在第二约束状态下，基于一组定向布置的菜单选项将输入设备的移动约束在一个或多个方向上。如上述实施例所述，当远程操作组件12进入菜单模式时，输入控制设备36的移动基于菜单选项的定向布置受到约束，这些菜单选项可以包括显示的菜单
选项，例如主菜单选项112a-112e；次级菜单选项118、119、120；或以可用滑动条130选择的亮度级别的形式的次级菜单选项。输入控制设备36的移动也可以基于未显示的菜单选项(例如，在图5中描述的相机激活菜单选项)的定向布置而受到约束。输入控制设备36的移动可以受到一个或多个触觉约束的约束。在若干实施例中，输入控制设备36可以在对应于图像102空间中的x方向和/或y方向的方向上自由平移。然后外科医生s可以通过在x和y方向上移动光标113来与菜单110交互。通过将移动约束到x和y方向，外科医生s可以与菜单110交互，而无需调整他或她的手的位置。这防止了要求外科医生s在导航菜单110时将他或她的手移动到不舒服的位置。此外，这种移动约束允许从输入控制设备36在非菜单模式下的移动更快和更容易地转换到输入控制设备36在菜单模式下的移动。在一些实施例中，菜单选项的定向布置允许输入控制设备36在对应于图像102空间中的x-y平面的平面内沿附加轴线移动。例如，菜单选项可以被径向布置，使得可以允许输入控制设备36沿着输入控制设备36空间中的轴线移动，该轴线对应于图像102空间中与x轴成45度和135度角的轴线。应当理解，输入控制设备36可以沿着对应于图像102空间的x-y平面中的轴线的任何其他轴线移动。
86.可选地，当外科医生s完成与菜单110的交互时，远程操作组件12从菜单模式转换回非菜单模式。例如，当操作者输入系统16的离合器踏板被停用时，可以发生从菜单模式到非菜单模式的转换。这可能在释放离合器踏板时发生(即外科医生s将他或她的脚从离合器踏板上移开)。当离合器踏板被释放时，返回输入控制装置36对器械30b的控制。输入控制设备36的移动引起器械30b的相应移动，并且输入控制设备36的握持致动器78的移动与器械30b末端执行器的移动耦合。
87.在替代实施例中，当外科医生s踏上然后释放离合器踏板时，远程操作组件12从非菜单模式转换为菜单模式。在释放离合器踏板之后，暂停输入控制设备36对器械30b的控制。输入控制设备36可以自由移动而不引起器械30b的相应移动。在这样的替代实施例中，当外科医生s完成与菜单110的交互时，远程操作组件在操作者输入系统16的离合器踏板被压下然后释放时从菜单模式转换回非菜单模式。例如，外科医生s踩下然后释放离合器踏板。当压下和释放离合器踏板时，返回输入控制设备36对器械30b的控制。
88.在替代示例中，离合器踏板可以具有双重用途。例如，离合器踏板可用作主离合器踏板以允许输入控制设备36在非菜单模式下移动，并且离合器踏板也可用于进入菜单模式。在这样的示例中，当外科医生s踩下离合器踏板，保持离合器踏板被压下，然后在离合器踏板被压下之后的阈值时间量内输入控制设备36没有移动时，远程操作组件12从非菜单模式转换到菜单模式。在压下离合器踏板之后输入控制设备36没有运动可以指示外科医生s想要进入菜单模式。在一些示例中，在压下离合器踏板之后输入控制设备36不得移动进入菜单模式的阈值时间量是200毫秒。然而，该阈值时间量可以被设置为任何期望的时间量。在输入控制设备36在离合器踏板被压下后的阈值时间量内已保持静止之后，暂停输入控制设备36对器械30b的控制。输入控制设备36可以自由移动而不引起器械30b的对应移动。
89.在这样的替代示例中，当外科医生s完成与菜单110的交互时，远程操作组件在操作者输入系统16的离合器踏板被释放时从菜单模式转换回非菜单模式。例如，外科医生s将他或她的脚从离合器踏板上移开。当离合器踏板被释放时，返回输入控制设备36对器械30b的控制。
90.在进一步的替代实施例中，当外科医生s踩在离合器踏板上、释放离合器踏板、然后在释放离合器踏板之后的阈值时间量内输入控制设备36没有移动时，远程操作组件12从非菜单模式转换到菜单模式。在释放离合器踏板之后输入控制设备36没有运动可以指示外科医生s想要进入菜单模式。在一些示例中，在释放离合器踏板之后输入控制设备36不得移动进入菜单模式的阈值时间量是200毫秒。然而，阈值时间量可以被设置为任何期望的时间量。在释放离合器踏板之后输入控制设备36已在阈值时间量内保持静止之后，暂停输入控制设备36对器械30b的控制。输入控制设备36可以自由移动而不引起器械30b的对应移动。
91.在这样的替代实施例中，当外科医生s完成与菜单110的交互时，远程操作组件在操作者输入系统16的离合器踏板被压下然后释放时从菜单模式转换回非菜单模式。例如，外科医生s踩下然后释放离合器踏板。当压下和释放离合器踏板时，返回输入控制设备36对器械30b的控制。
92.在本公开中，选择用于描述一个或多个实施例和可选元件或特征的特定词语不旨在限制本发明。例如，空间相关术语——例如“之下”、“下方”、“下面”、“上方”、“上面”、“近侧”、“远侧”等——可用于描述一个元件或特征的与图中所示的另一个元件或特征的关系。除了图中所示的位置和取向之外，这些空间相对术语旨在涵盖使用或操作中的设备的不同位置(即平移布置)和取向(即旋转布置)。例如，如果图中的设备被翻转，则描述为在其他元件或特征“下方”或“之下”的元件将在其他元件或特征“上方”或“之上”。因此，示例性术语“下方”可以涵盖上方和下方的位置和取向。设备可以以其他方式定向(例如，旋转90度或在其他取向)并且本文使用的空间相对描述符相应地解释。同样，对沿各种轴线(平移)和围绕各种轴线(旋转)的移动的描述包括各种特殊的设备位置和取向。身体的位置和取向的组合定义了身体的姿势。
93.此外，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另有说明。并且术语“包括”、“包含”、“具有”等指定了所述特征、步骤、操作、元件和/或部件的存在，但不排除存在或添加一个或多个其他特征、步骤、操作、元件、部件和/或组。描述为耦合的部件可以电气或机械直接耦合，或者它们可以通过一个或多个中间部件间接耦合。助动词“可以”同样暗示特征、步骤、操作、元件或部件是可选的。
94.在没有具体示出或描述的其他实施例、实施方式或应用中，只要可行，可任选地包括参考一个实施例、实施方式或应用详细描述的元件。例如，如果参考一个实施例详细描述并且没有参考第二个实施例进行描述的元件，那么该元件仍然可以被要求为包括在第二个实施例中。因此，为了避免在以下描述中不必要的重复，与一个实施例、实施方式或应用相关联示出和描述的一个或多个元件可以并入其他实施例、实施方式或方面，除非另外具体描述，除非一个或多个元件将使实施例或实施方式不起作用，或者除非两个或多个元件提供冲突的功能。
95.对所描述的设备、器械、方法的任何改变和进一步修改以及本公开的原理的任何进一步的应用都被充分考虑，正如本公开所涉及的本领域的技术人员通常会想到的那样。具体地，完全预期到的是，关于一个实施例描述的特征、部件和/或步骤可以与关于本公开的其他实施例描述的特征、部件和/或步骤进行组合。此外，本文提供的尺寸是针对特定示例的，并且预期可以使用不同的大小、尺寸和/或比率来实现本公开的概念。为了避免不必要的描述性重复，根据一个说明性实施例描述的一个或多个部件或动作可以在适用于其他
说明性实施例的情况下被使用或省略。为简洁起见，这些组合的无数次迭代将不再被单独描述。为简单起见，在某些情况下，在整个附图中使用相同的附图标记来指代相同或相似的部分。
96.已经根据它们在三维空间中的状态描述了各种器械和器械的部分。如本文所用，术语“位置”是指对象或对象的一部分在三维空间中的位置(例如，沿笛卡尔x、y、z坐标的三个平移自由度)。如本文所用，术语“取向”是指对象或对象的一部分的旋转布置(三个旋转自由度——例如，滚转、俯仰和偏航)。如本文所用，术语“姿势”是指对象或对象的一部分在至少一个平移自由度中的位置以及该对象或对象的一部分在至少一个旋转自由度中的取向(最多六个总自由度)。如本文所用，术语“形状”是指沿对象测量的一组姿势、位置或取向。
97.尽管本文描述的一些示例涉及外科手术或器械，或医疗程序和医疗器械，但所公开的技术可选地适用于非医疗程序和非医疗器械。例如，本文所述的器械、系统和方法可用于非医疗目的，包括工业用途、一般机器人用途以及感测或操纵非组织工件。其他示例应用包括美容改进、人体或动物解剖结构成像、从人体或动物解剖结构收集数据以及培训医疗或非医疗人员。其他示例应用包括用于从人体或动物解剖结构中取出的组织的程序(不返回人体或动物解剖结构)以及在人体或动物尸体上执行程序。此外，这些技术还可用于外科和非外科医疗或诊断程序。
98.此外，尽管本公开中呈现的一些示例讨论了远程操作机器人系统或远程可操作系统，但是所公开的技术也适用于由操作者直接和手动移动的计算机辅助系统部分或全部。计算机是按照编程指令对输入信息执行数学或逻辑功能以产生经过处理的输出信息的机器。计算机包括执行数学或逻辑功能的逻辑单元，以及存储编程指令、输入信息和输出信息的存储器。术语“计算机”和类似术语(例如“处理器”或“控制器”或“控制系统”)是类似的。
99.虽然本发明的某些示例性实施例已在附图中进行了描述和显示，但应理解，这些实施例仅是对广义发明的说明而非限制，并且本发明的实施例不限于所示和描述的特定构造和布置，因为本领域普通技术人员可以想到各种其他修改。

技术特征：

1.一种系统，包括：远程操作操纵器，其被配置为控制医疗器械在外科手术环境中的操作；操作者输入系统，其包括输入设备；以及处理单元，其包括一个或多个处理器，其中所述处理单元被配置为：显示所述外科手术环境的视野的图像；显示包括一组定向布置的菜单选项的菜单；以及将所述输入设备从用于与所述医疗器械交互的第一约束状态转换为用于与所述菜单交互的第二约束状态，其中在所述第二约束状态下，所述输入设备被约束为基于所述一组定向布置的菜单选项在一个或多个方向上移动。2.根据权利要求1所述的系统，其还包括用于显示所述视野的所述图像和所述菜单的显示设备。3.根据权利要求1所述的系统，其中在所述第二约束状态下，独立于所述输入设备的取向来确定所述输入设备被约束移动的所述一个或多个方向。4.根据权利要求1所述的系统，其中所述处理单元还被配置为在所述一组定向布置的菜单选项内的控制位置处显示光标，其中所述输入设备被约束为基于所述一组定向布置的菜单选项内的所述控制位置在所述一个或多个方向上移动。5.根据权利要求1所述的系统，其还包括远程操作组件，其中所述远程操作组件包括操作者输入设备，并且其中所述处理单元还被配置为响应于确定所述操作者输入设备被激活，将所述输入设备从所述第一约束状态转换到所述第二约束状态。6.根据权利要求5所述的系统，其中所述操作者输入设备的激活包括由所述处理单元接收所述操作者输入设备被压下的指示。7.根据权利要求6所述的系统，其中所述操作者输入设备的停用包括由所述处理单元接收所述操作者输入设备被释放的指示。8.根据权利要求5所述的系统，其中所述操作者输入设备的激活包括由所述处理单元接收所述操作者输入设备被压下和释放的第一指示。9.根据权利要求8所述的系统，其中所述操作者输入设备的停用包括由所述处理单元接收所述操作者输入设备被压下和释放的第二指示，其中所述第二指示发生在所述第一指示之后。10.根据权利要求5所述的系统，其中所述操作者输入设备的激活包括：由所述处理单元接收所述操作者输入设备被压下的指示；以及由所述处理单元接收在所述操作者输入设备被压下之后的预定时间间隔内所述输入设备没有移动的指示。11.根据权利要求5所述的系统，其中所述操作者输入设备包括踏板。12.根据权利要求5所述的系统，其中所述操作者输入设备包括在所述输入设备上的开关。13.根据权利要求5所述的系统，其中所述操作者输入设备包括离合器设备。14.根据权利要求1所述的系统，其中在所述第一约束状态下，所述输入设备能够在六个自由度中移动。15.根据权利要求1所述的系统，其中在所述第二约束状态下，所述输入设备能够在三
个自由度中移动。16.根据权利要求1所述的系统，其中在所述第二约束状态下，所述输入设备能够在两个自由度中移动。17.根据权利要求1所述的系统，其中在所述第二约束状态下，所述输入设备能够在一个自由度中移动。18.根据权利要求1所述的系统，其中在所述第二约束状态下，触觉约束限制所述输入设备在所述一个或多个方向上的移动。19.根据权利要求18所述的系统，其中触觉反馈提供所述输入设备远离起始位置的移动的指示。20.根据权利要求19所述的系统，其中所述移动包括从所述一组定向布置的菜单选项中的一个菜单选项移动到所述一组定向布置的菜单选项中的另一菜单选项。21.根据权利要求19所述的系统，其中所述移动包括移动远离所述一组定向布置的菜单选项中的菜单选项以启动所述菜单选项。22.根据权利要求18所述的系统，其中在从起始位置移开所述输入设备之后，所述触觉约束引导所述输入设备沿着线性路径回到所述起始位置。23.根据权利要求18所述的系统，其中在沿着移动路径从起始位置移开所述输入设备之后，所述触觉约束引导所述输入设备沿着所述移动路径回到所述起始位置。24.根据权利要求1所述的系统，其中所述菜单还包括图示所述输入设备被约束移动的所述一个或多个方向的图标。25.一种由处理单元执行的方法，所述方法包括：显示外科手术环境的视野的图像；显示具有所述视野的所述图像的菜单，所述菜单包括一组定向布置的菜单选项；将远程操作组件的操作者输入系统的输入设备从用于与所述远程操作组件的医疗器械交互的第一约束状态转换为用于与所述菜单交互的第二约束状态；以及在所述第二约束状态下，基于所述一组定向布置的菜单选项来约束所述输入设备在一个或多个方向上的移动。26.根据权利要求25所述的方法，其中显示所述视野的所述图像包括在显示设备上显示所述视野的所述图像。27.根据权利要求26所述的方法，其中显示所述菜单包括在所述显示设备上显示所述菜单。28.根据权利要求25所述的方法，其中在所述第二约束状态下，约束所述输入设备在所述一个或多个方向上的移动包括独立于确定所述输入设备的取向来确定所述输入设备被约束移动的所述一个或多个方向。29.根据权利要求25所述的方法，其还包括：在所述一组定向布置的菜单选项内的控制位置处显示光标；以及基于所述一组定向布置的菜单选项内的所述控制位置，约束所述输入设备在所述一个或多个方向上的移动。30.根据权利要求25所述的方法，其还包括响应于确定所述远程操作组件的操作者输入设备被激活，将所述输入设备从所述第一约束状态转换到所述第二约束状态。
31.根据权利要求30所述的方法，其中所述操作者输入设备的激活包括接收所述操作者输入设备被压下的指示。32.根据权利要求31所述的方法，其中所述操作者输入设备的停用包括接收所述操作者输入设备被释放的指示。33.根据权利要求30所述的方法，其中所述操作者输入设备的激活包括接收所述操作者输入设备被压下和释放的第一指示。34.根据权利要求33所述的方法，其中所述操作者输入设备的停用包括接收所述操作者输入设备被压下和释放的第二指示，其中所述第二指示发生在所述第一指示之后。35.根据权利要求30所述的方法，其中所述操作者输入设备的激活包括：接收所述操作者输入设备被压下的指示；以及接收在所述操作者输入设备被压下之后的预定时间间隔内所述输入设备没有移动的指示。36.根据权利要求30所述的方法，其中所述操作者输入设备包括踏板。37.根据权利要求30所述的方法，其中所述操作者输入设备包括在所述输入设备上的开关。38.根据权利要求30所述的方法，其中所述操作者输入设备包括离合器设备。39.根据权利要求25所述的方法，其中在所述第一约束状态下，所述输入设备能够在六个自由度中移动。40.根据权利要求25所述的方法，其中在所述第二约束状态下，所述输入设备能够在三个自由度中移动。41.根据权利要求25所述的方法，其中在所述第二约束状态下，所述输入设备能够在两个自由度中移动。42.根据权利要求25所述的方法，其中在所述第二约束状态下，所述输入设备能够在一个自由度中移动。43.根据权利要求25所述的方法，其还包括当所述远程操作组件处于所述第二约束状态时，通过触觉约束来限制所述输入设备在所述一个或多个方向上的移动。44.根据权利要求43所述的方法，其还包括通过触觉反馈提供所述输入设备远离起始位置的移动的指示。45.根据权利要求44所述的方法，其中所述移动包括从所述一组定向布置的菜单选项中的一个菜单选项移动到所述一组定向布置的菜单选项中的另一菜单选项。46.根据权利要求44所述的方法，其中所述移动包括移动远离所述一组定向布置的菜单选项中的菜单选项以启动所述菜单选项。47.根据权利要求43所述的方法，其还包括由所述触觉约束引导所述输入设备沿着线性路径回到起始位置，其中所述引导发生在所述输入设备移动远离所述起始位置之后。48.根据权利要求43所述的方法，其还包括由所述触觉约束引导所述输入设备沿着移动路径回到起始位置，其中所述引导发生在所述输入设备沿着所述移动路径移动远离所述起始位置之后。49.根据权利要求25所述的方法，其中所述菜单还包括图示所述输入设备被约束移动的所述一个或多个方向的图标。

技术总结

一种系统包括远程操作操纵器，该远程操作操纵器被配置为控制医疗器械在外科手术环境中的操作。该系统还包括包含输入设备的操作者输入系统以及包含一个或多个处理器的处理单元。该处理单元被配置为显示外科手术环境的视野的图像并显示包括一组定向布置的菜单选项的菜单。该处理单元还被配置为将输入设备从用于与医疗器械交互的第一约束状态转换为用于与菜单交互的第二约束状态。在第二约束状态下，输入设备被约束为基于一组定向布置的菜单选项在一个或多个方向上移动。选项在一个或多个方向上移动。选项在一个或多个方向上移动。