切换并跟踪基准点标记的位姿估计的方法和装置与流程

1.示例性实施方式总体上涉及确定基准点标记(fiducial marker)的三维位置和取向，并且更具体地涉及确定基准点标记的三维位置和取向以及跨越不同视野跟踪该三维位置和取向。

背景技术：

2.许多应用取决于基准点标记的位置确定。然而，仅靠基准点标记的位置是不够的，相反，必须确定基准点标记的六自由度(dof)位姿信息(即定义基准点标记的三维位置和取向的信息)以便定位，并且以足够的精度与基准点标记进行交互。在这方面，三维位置和取向是根据针对三维位置的x、y和z坐标以及针对方向的俯仰、滚动和偏航来定义的。
3.例如，需要结合各种制造操作(例如，要以自动化或机器人方式执行的制造操作)来识别(例如，在6dof位姿信息方面)示例实施方式的基准点标记。例如，自动喷涂操作、钻孔操作、切割操作、精加工操作和其他制造操作经常需要精确确定机器人使用的各种工具的三维位置和取向。因此，基准点标记会被附接到接合有各种工具的机器人操纵器。通过在基准点标记的3d位置和取向方面精确地识别基准点标记来确定机器人操纵器的位置和取向，并且进而确定机器人使用的工具，从而允许在精确位置执行制造操作。此外，基于基准点标记的6dof位姿信息，利用闭环控制精确地执行涉及制造操作性能的所需运动。
4.用于确定基准点标记的6dof位姿信息的计量技术需要相对昂贵的装置，例如，一个或更多个激光测距仪、投影仪等。这种装置通常不仅昂贵，而且可能仅适用于有限数量的任务并且经常必须手动校准，从而增加了识别基准点标记所需的时间以及技术人员所需的培训或经验以便校准专用装置。此外，计量技术确定基准点标记的6dof位姿信息所利用的至少一些装置(例如，传感器)必须在校准后保持固定位置。在这方面，多个传感器(即，传感器壁)被配置成获得空间中设置有基准点标记的不同部分的图像。这种约束限制了至少一些装置的效用(特别是在多个传感器被组合使用的情况下)，因为装置在校准后的移动将需要重复校准过程，从而延长了识别基准点标记(例如，在6dof位姿信息方面)所需的时间。
5.另外，(例如，与制造操作的基准点标记的识别结合使用的)视觉计量通常需要相对高水平的准确度。因此，针对其他应用(例如，针对广域监视应用)研发的、需要较低准确度的计量技术无法以至少某些应用(例如，涉及制造操作的那些应用)所要求的准确度来确定基准点标记的6dof位姿信息。

技术实现要素：

6.提供了一种确定基准点标记的三维位置和取向的装置和方法，并且更具体地是确定基准点标记的三维位置和取向并跨越不同的视场跟踪该三维位置和取向的装置和方法。此外，示例实施方式的方法和装置是使用商业传感器实现的，并且允许在校准之后至少绕摇动轴线和倾斜轴线重新定位传感器，而无需要额外校准，从而增加识别基准点标记的容易程度并准确测量该基准点标记的全局3d位置和取向。
7.本文提供的实施方式包括跨越两个或更多个视场跟踪基准点标记的三维位置和取向的装置，该装置包括：第一传感器，该第一传感器具有第一视场，该第一传感器被配置成获取设置有基准点标记的工作空间的第一图像；控制系统，该控制系统被配置成基于设置有基准点标记的工作空间的第一图像，确定基准点标记在工作空间内的三维位置和取向；以及第二传感器，该第二传感器具有第二视场，该第二传感器被配置成获取不同于工作空间的第二空间的第二图像，其中，控制系统计算第二传感器的第一摇动和倾斜信息来移动第二传感器的第二视场，以获取基准点标记图像，其中，控制系统被配置成基于基准点标记图像，确定基准点标记在第二空间内的三维位置和取向。
8.根据示例实施方式，第一传感器包括宽视场传感器，其中，第二传感器包括窄视场传感器，并且其中，第二空间是工作空间的一部分。实施方式可选地包括第三传感器，该第三传感器包括被配置成捕获第三空间的第三图像的窄视场传感器，其中，第三空间是工作空间中的与第二空间不交叠的部分，控制系统被配置成基于第一传感器捕获的图像，在基准点标记从第二空间移动到第三空间时提供基准点标记的三维位置和取向。在一些实施方式中，基准点标记在工作空间内的三维位置和取向是在全局坐标系中确定的，并且基准点标记在第二空间内的三维位置和取向是在全局坐标系中确定的。
9.示例实施方式的装置包括第一摇动和倾斜单元，该第一摇动和倾斜单元支承第二传感器，以可控地更改第二传感器相对于基准点标记定位的第一摇动角和第一倾斜角，使得第二传感器被配置成在不同的摇动角和倾斜角下获取基准点标记的图像。示例实施方式的控制系统被配置成使第一摇动和倾斜单元根据第二传感器的第一摇动和倾斜信息移动。示例实施方式的装置还包括第三传感器，该第三传感器具有第三视场，该第三传感器被配置成获取不同于工作空间和第二空间的第三空间的第三图像；以及第二摇动和倾斜单元，该第二摇动和倾斜单元支承第三传感器，并且可控地更改第三传感器所定位处的第二摇动角和第二倾斜角，其中，控制系统还被配置成使第二摇动和倾斜单元基于基准点标记在第二空间内的三维位置和取向、根据计算出的第三传感器的第二摇动和倾斜信息移动。
10.本文提供的实施方式包括跨越两个或更多个视场跟踪基准点标记的三维位置和取向的方法，该方法包括：利用具有第一视场的第一传感器捕获设置有基准点标记的工作空间的第一图像；基于设置有基准点标记的工作空间的第一图像，确定基准点标记在工作空间内的三维位置和取向；利用具有第二视场的第二传感器捕获设置有基准点标记的第二空间的第二图像；计算第二传感器的第一摇动和倾斜信息来移动第二传感器的第二视场，以获取基准点标记图像；以及基于基准点标记图像，确定基准点标记在第二空间内的三维位置和取向。
11.根据一些实施方式，第一传感器包括宽视场传感器，其中，第二传感器包括窄视场传感器，并且第二空间是工作空间的一部分。示例实施方式的方法包括：利用具有窄视场的第三传感器捕获第三空间的第三图像，其中，第三空间是工作空间中的与第二空间不交叠的部分；以及在基准点标记从第二空间移动到第三空间时提供基准点标记的三维位置和取向。根据一些实施方式，基准点标记在工作空间内的三维位置和取向是在全局坐标系中确定的，其中，基准点标记在第二空间内的三维位置和取向是在全局坐标系中确定的。
12.根据一些实施方式，该方法包括：利用附接到第二传感器的第一摇动和倾斜单元，可控地更改第二传感器相对于基准点标记定位的第一摇动角和第一倾斜角，使得第二传感
器被配置成在不同的摇动角和倾斜角下获取基准点标记的图像。示例实施方式的方法包括：使第一摇动和倾斜单元根据第二传感器的第一摇动和倾斜信息移动。示例实施方式的方法还包括：使用具有第三视场的第三传感器获取不同于工作空间和第二空间的第三空间的第三图像；使用支承第三传感器的第二摇动和倾斜单元可控地更改第三传感器所定位处的第二摇动角和第二倾斜角；以及使第二摇动和倾斜单元基于基准点标记在第二空间内的三维位置和取向、根据计算出的第三传感器的第二摇动和倾斜信息移动。
13.本文提供的实施方式包括跨越两个或更多个视场跟踪基准点标记的三维位置和取向的系统，该系统包括：宽视场摄像头，该宽视场摄像头被配置成获取设置有基准点标记的工作空间的第一图像；控制系统，该控制系统被配置成基于设置有基准点标记的工作空间的第一图像，确定基准点标记在工作空间内的三维位置和取向；窄视场摄像头，该窄视场摄像头被配置成获取不同于工作空间的第二空间的第二图像，其中，第二空间是工作空间的一部分；以及第一摇动和倾斜单元，该第一摇动和倾斜单元被联接到窄视场摄像头，该第一摇动和倾斜单元被配置成可控地调整窄视场摄像头的第一摇动角和第一倾斜角，以捕获工作空间的不同区域，其中，控制系统计算窄视场摄像头的摇动和倾斜信息以使用第一摇动和倾斜单元移动窄视场摄像头的视场，以获取基准点标记图像，其中，控制系统被配置成基于基准点标记图像，确定基准点标记在第二空间内的三维位置和取向。
14.根据示例性实施方式，窄视场摄像头是第一窄视场摄像头，系统还包括第二窄视场摄像头，第二窄视场摄像头被配置成捕获第三空间的图像，其中，第三空间是工作空间中的与第二空间不交叠的部分，控制系统被配置成基于宽视场摄像头捕获的图像，当基准点标记从第二空间移动到第三空间时提供基准点标记的三维位置和取向。根据一些实施方式，基准点标记在工作空间内的三维位置和取向是在全局坐标系中确定的，并且其中，基准点标记在第二空间内的三维位置和取向是在全局坐标系中确定的。示例实施方式的控制系统还被配置成使第一摇动和倾斜单元根据窄视场摄像头的第一摇动和倾斜信息移动。
15.根据示例性实施方式，窄视场摄像头为第一窄视场摄像头，该系统还包括第二窄视场摄像头，该第二窄视场摄像头被配置成获取不同于工作空间和第二空间的第三空间的第三图像；以及第二摇动和倾斜单元，第二摇动和倾斜单元支承第二窄视场摄像头，并且可控地更改第二窄视场摄像头所定位处的第二摇动角和第二倾斜角，其中，控制系统还被配置成使摇动和倾斜单元基于基准点标记在第二空间内的三维位置和取向、根据计算出的第二窄视场摄像头的第二摇动和倾斜信息移动。根据示例实施方式，控制系统被配置成基于基准点标记图像并基于窄视场摄像头的动态外在模型确定基准点标记在第二空间内的三维位置和取向。
附图说明
16.已经如此概括地描述了本公开的某些示例实施方式，下文将参考附图，这些附图不一定按比例绘制，并且其中：
17.图1是根据本公开的示例实施方式的确定基准点标记的三维位置和取向以及跨越不同视场跟踪三维位置和取向的方法的流程图；
18.图2是根据本公开的示例实施方式确定了六自由度(dof)位姿信息(即位置和取向)的工件和相关喷涂头的立体图；
19.图3例示了根据本公开的示例实施方式的被配置成确定基准点标记的位置和取向的装置；
20.图4描绘了根据本公开的示例实施方式的摇动和倾斜单元和由摇动和倾斜单元支承的窄视场传感器；
21.图5例示了根据本公开的示例实施方式的charuco板；
22.图6例示了包括根据本公开的示例实施方式的位于机械臂的臂端工具上的基准点标记的工作空间以及包括根据本公开的示例实施方式的宽视场传感器和多个窄视场传感器的系统；
23.图7例示了根据本公开的示例实施方式的用于跟踪具有通过摇动和倾斜单元控制的摇动角和倾斜角的单个窄视场摄像头的跟踪算法的流程图；
24.图8例示了根据本公开的示例实施方式的针对固定的宽视场摄像头的基准点标记跟踪的流程图；
25.图9是根据本公开的示例实施方式的可扩展多摄像头基准点跟踪系统的示意图；以及
26.图10是根据本公开的示例实施方式的窄视场摄像头与全局共享三维位置和取向之间的联系流程图。
具体实施方式
27.现在将在下文中参考附图更全面地描述本公开，其中示出了一些但不是所有方面。实际上，本公开以许多不同的形式实施并且不应被解释为限于本文所阐述的方面。相反，提供这些方面是为了使本公开满足适用的法律要求。相同标记始终指代相同要素。
28.本文描述的实施方式提供了一种使用多个摄像头以及摇动和倾斜单元(ptu)来确定基准点标记的精确的三维(3d)位置和取向(统称为“位姿”或“6自由度(dof)位姿”)的方法和装置，无需专门的装置即可跨越摄像头的各个视场跟踪基准点标记。这些实施方式包括：一个或更多个宽视场(wfov)静态摄像头，所述一个或更多个宽视场静态摄像头捕获整个工作空间并提供基准点标记的近似位姿；以及安装在摇动和倾斜单元上的多个窄视场(nfov)摄像头，从而提供基准点标记的细节视图并通过每个窄视场传感器的视场准确估计基准点标记的位姿。当基准点物在工作空间中移动时，每个窄视场传感器都会跟踪它，甚至跨越覆盖范围中的间隙(“死区”)，并提供连续的6dof估计覆盖范围。
29.跟踪机器人末端执行器或操纵器的6dof位姿(包括位置和取向)使得能够精确定位并监测其运动，这在自动化制造过程中至关重要，并使闭环控制成为可能。当机器人操纵器在大范围的工作空间中工作并需要根据特定计划实现准确的位置或路径时，这一点尤其重要。此类需要在大型工作空间上进行精确机器人操纵器控制的应用的一个示例是大型商用飞行器表面上的喷墨打印。
30.本公开的实施方式使得能够实现用于闭环控制的高速计量。示例系统包括单个全局宽视场传感器以及安装在摇动和倾斜单元上的一个或更多个窄视场传感器，这用于确定距传感器任意距离处的基准点目标的6dof位姿信息。例如，基准点标记被安装在喷涂头上，从而仅使用简单的传感器就可以非常准确地估计喷涂头的6dof位姿。示例实施方式用于更准确地跟踪大表面(例如，飞行器)喷涂中的喷涂头，结果是使用更少的喷涂、减少材料成本
并由于喷涂在特定厚度处的更均匀分布而减少飞行器的重量。准确的喷涂头定位通过确保接头、铆钉等的完全喷涂覆盖范围来改善喷涂工作所提供的天气保护(weather protection)。实施方式通过简化计量过程和减少专用装置的数量和执行这些任务所需的校准量来节省时间。此外，使用多个窄视场传感器扩展了可用的工作空间，并允许将底层6dof估计过程应用于更大的空间(例如，仓库或工厂车间)。
31.本文提出的实施方式包括使用固定且在摇动并倾斜安装的高分辨率视频摄像头来精确跟踪小基准点标记的系统。当将这样的基准点标记以机器人末端执行器已知的相对位置和取向安装在末端执行器上时，实施方式通过由基准点标记提供的信息精确地跟踪该末端执行器。如本文所述，跟踪包括以紧密隔开的时间间隔(例如，每十分之一秒)随时间推移估计基准点标记的6dof位姿。在基准点标记的六个自由度中准确确定3d位姿与依赖于基准点标记的准确识别的多种应用结合使用。
32.图1例示了确定基准点标记的三维位置和取向(即6dof位姿)并跨越不同视场跟踪三维位置和取向的方法。根据流程图，捕获设置有基准点标记的工作空间的第一图像，第一图像由具有第一视场的第一传感器捕获，如1处所示。在2处，基于设置有基准点标记的工作空间的第一图像，确定基准点标记在工作空间内的三维位置和取向。在3处，利用具有第二视场的第二传感器捕获设置有基准点标记的第二空间的第二图像。在4处，计算第二传感器的摇动和倾斜信息来移动第二传感器的第二视场，以获取基准点标记图像。在5处，基于基准点标记图像，确定基准点标记在第二空间内的三维位置和取向。
33.例如，许多制造操作依赖于一个或更多个对象的准确识别和定位。如图2所示，作为示例而非限制，由机械臂12承载的喷涂头10相对于工件14的位置和取向的准确确定在喷涂操作期间是有用的，使得工件或工件的至少特定部分被适当地喷涂而工件的其他部分保持未喷涂，并且工件的先前喷涂部分不会被不必要地重新喷涂。通过准确地识别喷涂头10相对于工件14的位置和取向(也称为位姿)，以有效的方式喷涂工件的适当部分，从而在制造过程期间节省资源。在这方面，由于准确确定了喷涂头10相对于工件14的位置和取向，通过均匀地涂敷期望厚度的喷涂涂层来节省喷涂，同时不会不必要地重新喷涂先前喷涂过的表面，从而也避免了飞行器重量的不期望的增加。此外，通过准确确定喷涂头10相对于工件14的位置和取向，并对应地确保打算要喷涂的工件的所有部分实际上都已喷涂，从而改善了所得工件外观以及喷涂为飞行器提供的天气保护。
34.尽管上文结合准确确定喷涂头10相对于工件14的位置进行了描述，但示例实施方式的方法和装置也被用于结合其他制造操作(包括钻孔操作、切割操作等)来准确确定各种类型对象中的任一者的位置和取向。此外，示例实施方式的方法和装置被用于结合在制造以外的应用中的末端执行器、机械臂或对象的位置和取向(例如，6dof位姿信息)的准确确定。
35.在图3中描绘了示例实施方式的装置20。装置20包括一个或更多个宽视场传感器22和一个或更多个窄视场传感器24。虽然可以利用不同类型的传感器以便获取图像，示例实施方式的传感器是被配置成获取相应视场的图像的摄像头。宽视场传感器22具有比窄视场传感器24更宽的视场。宽视场传感器22具有比窄视场传感器24更短的焦距。此外，虽然宽视场传感器22和窄视场传感器24可以具有相同的像素分辨率，但一个示例实施方式的窄视场传感器比宽视场传感器具有物理工作空间的更大空间分辨率。宽视场传感器22和窄视场
传感器24通常还不允许自动对焦并且具有固定的变焦设定，使得焦距和变焦设定都不改变。
36.根据示例实施方式，宽视场传感器22相对于基准点标记将位于的空间固定就位。在这方面，宽视场传感器22被定位成使得基准点标记所位于的整个空间在同一图像内被获取。例如，在基准点标记可以被定位在工件上的任何位置的情况下，宽视场传感器22被定位成使得所获取的静态图像包括整个工件。可选地，工作空间被多个固定位置的宽视场传感器22覆盖，特别是当工作空间非常大时，所述工作空间例如是制造车间、仓库或装配线。
37.窄视场传感器24通常也被定位在固定位置，例如，具有固定的x、y和z坐标的位置，尽管另一示例实施方式的窄视场传感器被配置成能够可控地重新定位，例如，通过将窄视场传感器安装在轨道上，该轨道有助于使窄视场传感器沿着由轨道限定的预定义路径平移。然而，如下所述，窄视场传感器24被配置成绕摇动轴线和倾斜轴线旋转。窄视场传感器24被配置成获取通过宽视场传感器22的静态图像获取的同一空间的一部分的图像。然而，窄视场传感器24通常不获取包括整个空间的图像，而是仅获取空间中基准点标记所位于的部分。
38.如图3所示，示例实施方式的装置20还包括云台单元或摇动和倾斜单元26。摇动和倾斜单元26被配置成支承较窄的视场传感器24，并且可控且单独地更改窄视场传感器相对于空间定位的、并且更具体地是相对于位于空间内的基准点标记定位的摇动角和倾斜角。因此，窄视场传感器24被配置成在摇动角和倾斜角的不同组合下获取空间的一部分(诸如空间内设置有基准点标记的部分)的图像。由于基准点标记可以被定位在整个空间的各种位置中的任一处，所以摇动和倾斜单元26被配置成根据摇动角和倾斜角可控地重新定位窄视场传感器24，从而使窄视场传感器能够观察由宽视场传感器22捕获的静态图像内的整个空间，即使在任何摇动角和倾斜角的特殊组合下窄视场传感器仅能够观察整个空间的一部分。
39.尽管摇动和倾斜单元26可以以不同的方式配置，示例实施方式的摇动和倾斜单元在图4中被描绘为包括平台30和相关联的倾斜伺服电机32，该相关联的倾斜伺服电机32被配置成可控地更改平台的倾斜角、并且进而是窄视场传感器24的倾斜角。此外，该示例实施方式的摇动和倾斜单元26包括摇动伺服电机34，该摇动伺服电机34被配置成可控地更改平台30的摇动角、并且在一些实施方式中是平台和倾斜伺服电机32两者的摇动角。通过更改平台30的摇动角，摇动伺服电机34还可控地更改窄视场传感器24的摇动角。
40.图3的装置20还包括控制系统28。控制系统28以多种不同方式实施，所述多种不同方式包括控制器、处理器和多种计算装置(例如，个人计算机、计算机工作站、服务器等)中的任一种。在示例实施方式中，控制系统28被配置成：针对宽视场传感器22获取静态图像的空间，确定根据窄视场传感器24获取的图像确定的6dof位姿(位置和取向)信息，以用于与其他传感器(相对于世界坐标系的窄视场传感器24和宽视场传感器22两者)共享。在这方面，6dof位姿在系统的所有传感器之间一致性地确定并在系统的所有传感器之间共享，以确保准确性和一致性。此外，当传感器丢失对基准点标记的位姿的跟踪时，这些实施方式共享该位姿，使得传感器快速获得基准点标记在工作空间内的视觉位姿估计。
41.在另一示例实施方式中，控制系统28被配置成：使用来自一个传感器的位姿信息以通过另一传感器建立基准点标记的位姿。这种对基准点标记的位置和取向的估计的确定
是基于从宽视场传感器22和窄视场传感器24获取的图像，并且还基于在获取图像时的窄视场传感器相对于基准点标记定位的摇动角和倾斜角。因此，该示例实施方式的控制系统28被配置成：基于被定位在摇动角和倾斜角的特定组合处的窄视场传感器24捕获的基准点标记的图像，以有效且可靠的方式(例如，以相对小的误差实时地)确定基准点标记在世界坐标系中的位置和取向。
42.本文描述的实施方式能够在工作空间周围并跨越所有的窄视场摄像头视场跟踪基准点标记。这使得跟踪和6dof系统能够与更大的工作空间一起工作，同时允许窄视场传感器增加其缩放水平以覆盖更小的视场，因为多个窄视场传感器被用于覆盖工作空间的不同区域。因此，这些实施方式不仅用于小工作空间，而且用于覆盖广泛区域的大工作空间。
43.基准点跟踪是一个常规问题。然而，本文描述的实施方式将结合了多个独立且动态的窄视场传感器的基准点跟踪与动态校准过程相结合，以将确定对象的全局6dof位姿从单个窄视场扩展到任意数量的窄视场传感器。此过程能够实现系统的可扩展性并且在更大工作空间中使用。这些实施方式提供了一种可扩展的多摄像头系统，该可扩展的多摄像头系统通过在窄视场摄像头与宽视场摄像头之间执行传感器融合，在由安装在摇动和倾斜单元上的多个窄视场摄像头覆盖的大工作空间内跟踪基准点标记。即使在多个传感器之间通过切换而存在死区(没有传感器覆盖的区域)的情况下，这些实施方式也能使用多个传感器来跟踪和维持基准点标记的位姿。这些实施方式对传感器故障或遮挡具有鲁棒性。这提供了使用多个窄视场传感器跨越其所有视场连续跟踪基准点标记，即使基准点位于传感器之间的“盲点”中(在“盲点”处，任何一个窄视场传感器都无法看到该基准点)。使用已相互校准的一个或更多个固定全局宽视场传感器允许示例实施方式的系统维持工作空间的恒定视图并提供了单个全局坐标系，校准系统中的所有其他传感器都针对该单个全局坐标系进行校准。本文提供的实施方式采用一种校准方法，以将摇动和倾斜单元上的多个窄视场传感器校准到该宽视场传感器，如在2021年1月20日提交的、名称为“method and apparatus for determining a three-dimensional position and pose of a fiducial marker”的美国临时专利申请63/138,931中所描述的。
44.本文描述的实施方式确定基准点标记的3d位置和取向，并跨越不同的窄视场传感器视场跟踪该基准点标记在工作空间内的移动。示例实施方式的基准点标记与要确定其位置和取向的对象重合。如图2所示，例如，基准点标记16被放置在要识别的对象上并由该对象承载(例如，由喷涂头10承载)，以便确定喷涂头相对于工件14的位置和取向。
45.可以使用各种类型的基准点标记，包括charuco板。图5描绘了charuco板54的一个示例。charuco板包括charuco图案，该charuco图案是棋盘56和aruco标记网格58的组合。棋盘部分提供了校准和检测所需的结构以便确定位置和取向，而aruco标记标识charuco图案的特定区段。因此，aruco标记允许charuco图案在仅有charuco板的部分视图或遮挡视图可用的情况下使用，因为aruco标记允许标识charuco板的可见部分。虽然在本文描述的示例实施方式中使用charuco板作为基准点标记，但在其他示例实施方式中可以使用其他类型的基准点图案。
46.本文描述的实施方式采用算法来实现对基准点标记的准确跟踪，该算法采用图3的装置的静态宽视场传感器22和安装有摇动和倾斜单元26的窄视场传感器24。第一算法是跟踪切换算法，给定来自另一传感器的基准点标记的6dof位姿，该跟踪切换算法允许计算
将窄视场传感器枢转至基准点标记的摇动角。该算法有助于在启动时帮助窄视场传感器，此时对整个工作空间具有可见性的全局宽视场传感器是唯一具有基准点标记视图的传感器。在传感器失去对基准点标记的跟踪的情况下，该切换算法通过利用来自系统的其他传感器的信息来帮助窄视场传感器重新获得基准点。本文描述的另一算法允许系统通过使用单个共享全局基准点位姿对象来协调一组可扩展的窄视场传感器和宽视场传感器以用于基准点跟踪。与传感器相关联的跟踪实例都是异步工作的，这有助于共享的全局位姿。当任何传感器需要信息时(例如，传感器已经看不到基准点标记)，传感器从共享的全局位姿中请求当前的基准点6dof位姿并执行“切换”，从而使传感器能够快速移动到正确的摇动和倾斜位置，以观察基准点标记目标。
47.在示例实施方式中，图3所示的控制系统28被配置成：首先(例如通过利用视觉函数的opencv库)检测基准点标记的图案，然后确定基准点标记在窄视场传感器24的局部坐标系中的位置和取向。在该示例实施方式中，针对由宽视场传感器22基于摇动和倾斜单元26的摇动角和倾斜角获取的静态图像的空间，控制系统28采用变换(诸如基于动态外在模型的变换)将基准点标记的位置和取向从窄视场传感器24的局部坐标系转换成全局坐标系(即世界坐标系)中的基准点标记的位置和取向。
48.窄视场传感器24的窄视场允许相对于宽视场传感器22而言更大的空间分辨率，使得窄视场传感器被配置成获取基准点标记的至少一部分的图像，其中相比于宽视场传感器获取的静态图像，所述基准点标记以更多像素表示。通过在基准点标记上放置更多像素，通过参考由窄视场传感器24获取的图像，可以更准确且可靠地确定基准点标记的位置和取向。因此，从宽视场传感器22和窄视场传感器24获取的图像中提取的信息的融合允许装置20实现与窄视场传感器的位置和取向估计相当的准确位置和取向估计，同时保持宽视场传感器的更大工作空间覆盖范围，这是任何一种类型的传感器都无法单独实现的壮举。
49.图6例示了示例实施方式的系统，该系统包括图3中例示的部件。如图所示，该系统包括联接到第一窄视场传感器24的第一摇动和倾斜单元26和联接到第二窄视场传感器27的第二摇动和倾斜单元29。这些传感器具有工作空间60的窄视场，其中，charuco板54基准点标记被设置在机械臂12的喷涂头10上。所例示的第一窄视场传感器24和第二窄视场传感器27包括相应的第一镜头25和第二镜头21，它们以相对较高的分辨率为传感器提供相对窄的视场，每个窄视场传感器仅对工作空间60的一部分具有可见性。第一窄视场传感器24对第二空间61具有可见性，第二空间61是工作空间60中的由虚线边界所示的第一部分，而第二窄视场传感器27对第三空间62具有可见性，第三空间62是工作空间60中的由点划线边界所示的第二部分。宽视场传感器22包括镜头23，镜头23以整个工作空间60的相对较低的分辨率提供相对较宽的视场。
50.图7为针对窄视场摇动和倾斜(动态)摄像头的基准点标记跟踪系统的流程图，而图8为针对宽视场全局(固定)摄像头的基准点标记跟踪系统的流程图。这两种操作之间的区别在于，使用动态摄像头跟踪基准点标记来提取控制摇动和倾斜单元所需的信息，而固定摄像头不需这样，因此要简单得多。在这两种情况下，结果都是成功地检测和估计了基准点标记的位姿。这是跟踪器将有助于启用“切换”的全局共享位姿的来源。
51.如图7所示，从开始100处开始，在105处确定是否达到了摇动和倾斜目标。摇动和倾斜单元通常被认为处于“目标”位置，使得该操作仅在第二次迭代及以后才有意义。当摇
动和倾斜单元已达到所命令的目标摇动角和倾斜角并且不再运动时，105的操作结果为“真”或“是”。如果未达到摇动和倾斜目标或“否”，则在110处捕获摄像头图像以供显示，并且系统稍后将循环返回以再次检查。当105的操作结果为“是”时，在110处捕获图像，并在115处寻charuco板并进行位姿估计。该操作包括两个子步骤，即寻charuco板并估计其位姿。这两个要素都是通过调用opencv开源软件包中的函数来实现的。成功的位姿估计产生基准点标记的6dof位姿信息，该信息在每一次成功地检测到板并估计其位姿的迭代后更新。为了估计基准点标记的6dof位姿，示例实施方式的系统需要在本文中被称为“动态外在参数”的信息，该信息是将窄视场摄像头的局部坐标系中的基准点的估计位姿转换到全局(或世界)坐标系的变换矩阵。简言之，位姿估计的输出是在窄视场摄像头的局部摄像头坐标系中表示的。将动态外在变换应用于这个“局部”位姿估计，然后给出全局坐标系中的6dof基准点位姿。在示例实施方式的系统中，全局坐标系与宽视场传感器的坐标系一致。如果未到基准点标记并且未估计位姿，则图7的方法沿在105中未达到摇动和倾斜目标的迭代路径进行。
52.一旦在115中估计(在125处输出)并在120中确认了基准点标记的位姿，则在130中根据当前值计算所需的摇动/倾斜增量。当图6的机械臂12(其承载有基准点标记，例如charuco板54)移动时，基准点标记的6dof位姿随着迭代的变化而变化。如果基准点移动足够大，则系统将需要使用摇动和倾斜单元(例如，摇动和倾斜单元26)将窄视场摄像头(例如，窄视场传感器24)指向基准点标记，使得完整地捕获基准点图像。这是通过计算实现该运动所需的摇动角和倾斜角、然后将这些角与摇动和倾斜单元的当前的摇动角和倾斜角进行比较来执行的。动态外在模型150用于改进位姿估计。
53.当所需的摇动角或俯仰角与当前的摇动角或俯仰角之间的差值(即增量)大于某个阈值(例如，在135处所示是0.5度)时，在140处指示摇动和倾斜单元移动所需的摇动角和倾斜角。由于与窄视场传感器的捕获帧速率相比，摇动和倾斜单元通常非常慢，因此当摇动和倾斜单元处于运动中时，系统无法从摄像头捕获高质量图像。本文描述的实施方式增加了有效的迭代速度。也就是说，通过减少对移动摇动和倾斜单元的需要，示例实施方式的系统增加了捕获基准点的高质量图像的可能性，从而实现最佳的6dof位姿估计。
54.如图8的流程图中所示的宽视场传感器的跟踪算法与窄视场传感器的跟踪算法的运行类似；然而，宽视场传感器是静态的，并且不包括需要调整的摇动和倾斜单元，使得不需要计算摇动角和倾斜角。此外，由于选择宽视场传感器作为全局坐标系，因此无需将从宽视场传感器估计的6dof位姿转换到任何其他坐标系中。这样，图8的过程开始于开始200处并且在210处捕获图像。由于图像包括整个工作空间，所以可以到工作空间内的任何基准点标记。在215处，寻charuco板并估计6dof位姿。如果此情况发生，则在225处输出6dof位姿，否则，重新捕获图像，其中可能改变基准点标记的位置，以减少第二次不到基准点标记的可能。
55.当窄视场传感器未检测到基准点标记时，示例实施方式的系统不能提供基准点标记的6dof位姿估计。这会在系统初始启动期间、在以下情况下发生：如果基准点对窄视场传感器不可见；如果基准点标记被遮挡；或者如果已经以其他方式将基准点标记移出窄视场传感器的视场。一旦丢失，恢复检测基准点标记的能力通常相当于通过移动摇动和倾斜单元的摇动和倾斜来使窄视场传感器扫描整个工作空间，这是耗时且不切实际的。因此，申请
人研发了一种算法来计算所需的摇动角和倾斜角，以利用动态外在校准和窄视场传感器的内在参数使基准点在窄视场摄像头帧中居中。算法的输入包括：基准点标记在全局坐标系中的3d位置pw＝[xw,yw,zw]
t
；窄视场的摄像头内在函数(此处设想为3x3摄像头矩阵)；宽视场-摇动/倾斜-窄视场传感器系统的动态外在参数；以及摇动和倾斜单元针对每个窄视场传感器的当前摇动角和倾斜角的值。
[0056]
该算法的目标是将charuco图案的中心置于窄视场摄像头视场的中心。但是，为简单起见，将charuco板的原点用作基准点标记的参考点。基准点标记的中心和原点通过基准点标记的6dof位姿相互关联。动态内在变换是3x4矩阵，它是摇动和倾斜单元的摇动角和倾斜角的函数。因此，将有不同的3x4变换矩阵，这取决于当前摇动角和倾斜角的值。根据模型：
[0057][0058]
其中，u和v是表示charuco板基准点的3d点pw的图像的坐标，s是稍后确定的比例因子，f
x
、fy、c
x
和cy的值是窄视场传感器的内在参数，从而形成3x3的摄像头矩阵，并且参数r
11
到r
33
和t
x
、ty、tz形成3x4的动态外在矩阵。将式(1)改写为：
[0059][0060]
其中，pc＝[pc0,pc1,pc2]
t
是窄视场摄像头局部坐标系中的基准点3d位置。为了将基准点(即pw)的图像放在窄视场传感器的中心(即，使u＝image_width/2.0并且v＝image_height/2.0)，将式(2)重新排列为：
[0061]
fx*pc0/pc2
–
(image_width/2
–
cx)＝0
[0062]
fy*pc0/pc2
–
(image_height/2
–
cy)＝0
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0063]
求解这些公式得到摇动角和倾斜角，所述摇动角和倾斜角定义了式(2)中的3x4动态外在矩阵。然而，这些公式是非线性的，并且它们没有封闭解。应用数值方法，以通过到式(3)的最小二乘解来到该问题的解。这种方法的非限制性示例是传统的levenberg-marquardt优化算法。在使用levenberg-marquardt算法时，使用摇动和倾斜单元当前的摇动角和倾斜角作为迭代数值解的初始猜测。
[0064]
本文提供的示例实施方式包括可扩展多摄像头跟踪模块，以用于使用多个窄视场传感器和至少一个宽视场传感器的基准点标记位姿估计。图9例示了这样一个实施方式，其中，有n个跟踪实例，它们都异步地执行基准点跟踪，但通过共享的位姿对象来交换信息。每个跟踪器实例要么基于窄视场传感器(在这种情况下采用图7的算法)，要么基于宽视场传感器(在这种情况下采用图8的算法)。基于宽视场的跟踪器仅通过发送更新的基准点位姿来有助于共享位姿。然而，基于窄视场的跟踪器既有助于共享位姿，也可以在窄视场传感器失去对基准点标记的跟踪时取回基准点位姿。窄视场跟踪器实例与共享位姿之间的联系如图10所示，其中图7的基本过程用于窄视场传感器，但还包括在310处从共享的基准点全局
位姿320取回全局位姿。在330处窄视场传感器更新共享的基准点全局位姿，并且在340处从其他跟踪器实例更新共享的基准点全局位姿。如果在共享的全局位姿320处时到基准点全局位姿，则在350处返回到窄视场位姿估计，并且图7中描述的过程继续进行。
[0065]
为了使共享的基准点全局位姿系统运行，进行了校准过程。首先针对每个安装有摇动和倾斜单元的窄视场传感器校准动态外在，其中宽视场传感器被指定为参考全局坐标系。这确保了系统中所有传感器之间的关系。如果存在多个宽视场传感器，则系统将所述多个宽视场传感器中的一者指定为参考全局坐标系，并且使用标准摄像头外在校准过程(例如，在opencv中可用的那些标准摄像头外在校准过程)将所有其他宽视场传感器相对于参考全局坐标系进行校准。
[0066]
本文描述的实施方式将提供基准点估计，即使一个或更多个传感器发生故障，但只要至少一个窄视场传感器或宽视场传感器仍在工作即可。示例实施方式的基准点标记位姿估计是通过使用诸如卡尔曼滤波器之类的过程、通过对随时间的推移异步接收到的位姿信息进行组合而进一步细化的，从而实现比任何单个窄视场传感器或宽视场传感器具有更高准确度的估计。根据示例实现，使用简单且确定性的规则来决定在350将哪个位姿返回到“取回全局基准点位姿”请求310。例如，如果共享位姿包含来自宽视场摄像头的位姿估计，则系统返回来自宽视场摄像头的位姿。否则，将返回来自另一个窄视场摄像头的位姿估计(如果可用)。
[0067]
图1例示了描绘根据本公开的示例实施方式的用于确定基准点标记的三维位置和取向的方法，并且更具体地是用于确定基准点标记的三维位置和取向并且跨越不同视场跟踪三维位置和取向的方法的流程图。应当理解，图1的流程图和图7、图8和图10的流程图的各个框以及流程图中的框的组合是通过各种手段实现的，例如硬件、固件、处理器、电路和/或与执行包括一个或更多个计算机程序指令的软件相关联的其他通信装置。例如，通过计算机程序指令来实施上述过程中的一个或更多个过程。在这方面，实施上述过程的计算机程序指令由存储器存储，所述存储器例如是采用本公开的实施方式并由装置的处理器执行的装置20控制系统28中的存储器。如将理解的，任何这样的计算机程序指令被加载到计算机或其他可编程装置(例如，硬件)上以生成机器，使得所得计算机或其他可编程装置实现流程图框中指定的功能。
[0068]
因此，流程图的框支持用于执行指定功能的装置的组合和用于执行指定功能的操作的组合。还将理解，在一些实施方式中，流程图的一个或更多个框以及流程图中的框的组合由执行指定功能的基于专用硬件的计算机系统来实现或由专用硬件与计算机指令的组合来实现。
[0069]
在示例实施方式中，用于执行以上图1的方法的装置包括被配置成执行上述一些或各个操作(1至5、100至140、200至225和/或310至350)的处理器。例如，该处理器被配置成通过执行硬件实现的逻辑功能、执行存储的指令或执行用于进行各个操作的算法来执行操作(1至5、100至140、200至225和/或310至350)。另选地，该装置包括用于执行上述各个操作的装置。在这方面，根据示例实施方式，用于执行操作1至5、100至140、200至225和/或310至350的装置的示例包括例如控制系统28的处理器和/或如上所述的用于执行指令或执行用于处理信息的算法的装置或电路。
[0070]
条款1.一种跨越两个或更多个视场跟踪基准点标记(54)的三维位置和取向的装
置，所述装置包括：
[0071]
第一传感器(22)，所述第一传感器(22)具有第一视场，所述第一传感器(22)被配置成(1)获取设置有所述基准点标记(54)的工作空间(60)的第一图像；
[0072]
控制系统(28)，所述控制系统(28)被配置成(2)基于设置有所述基准点标记(54)的所述工作空间(60)的所述第一图像，确定所述基准点标记(54)在所述工作空间(60)内的所述三维位置和取向；以及
[0073]
第二传感器(24)，所述第二传感器(24)具有第二视场，所述第二传感器(24)被配置成(3)获取不同于所述工作空间(60)的第二空间(61)的第二图像，
[0074]
其中，所述控制系统(28)计算(4)所述第二传感器(24)的第一摇动和倾斜信息来移动所述第二传感器(24)的所述第二视场，以获取基准点标记图像，并且
[0075]
其中，所述控制系统(28)被配置成基(5)于所述基准点标记图像，确定所述基准点标记(54)在所述第二空间(61)内的所述三维位置和取向。
[0076]
条款2.根据条款1所述的装置，其中，所述第一传感器(22)包括宽视场传感器，其中，所述第二传感器(24)包括窄视场传感器，并且其中，所述第二空间(61)是所述工作空间(60)的一部分。
[0077]
条款3.根据条款1或2所述的装置，所述装置还包括第三传感器(27)，所述第三传感器(27)包括被配置成捕获第三空间(62)的第三图像的窄视场传感器，其中，所述第三空间是所述工作空间(60)中的与所述第二空间(61)不交叠的部分，所述控制系统被配置成基于所述第一传感器(22)捕获的图像，在所述基准点标记(54)从所述第二空间(61)移动到所述第三空间(62)时提供所述基准点标记(54)的所述三维位置和取向。
[0078]
条款4.根据条款1至3所述的装置，其中，所述基准点标记(54)在所述工作空间(60)内的所述三维位置和取向是在全局坐标系中确定的，并且其中，所述基准点标记(54)在所述第二空间(61)内的所述三维位置和取向是在所述全局坐标系中确定的。
[0079]
条款5.根据条款1至4所述的装置，所述装置还包括第一摇动和倾斜单元(26)，所述第一摇动和倾斜单元(26)支承所述第二传感器(24)，以可控地更改所述第二传感器(24)相对于所述基准点标记(54)定位的第一摇动角和第一倾斜角，使得所述第二传感器(24)被配置成在不同的摇动角和倾斜角下获取所述基准点标记的图像。
[0080]
条款6.根据条款5所述的装置，其中，所述控制系统(28)还被配置成使所述第一摇动和倾斜单元(26)根据所述第二传感器(24)的所述第一摇动和倾斜信息移动。
[0081]
条款7.根据条款6所述的装置，所述装置还包括：
[0082]
第三传感器(27)，所述第三传感器(27)具有第三视场，所述第三传感器(27)被配置成获取不同于所述工作空间(60)和所述第二空间(61)的第三空间(62)的第三图像；以及
[0083]
第二摇动和倾斜单元(29)，所述第二摇动和倾斜单元(29)支承所述第三传感器，并且可控地更改所述第三传感器(27)所定位处的第二摇动角和第二倾斜角，
[0084]
其中，所述控制系统(28)还被配置成使所述第二摇动和倾斜单元(29)基于所述基准点标记(54)在所述第二空间(61)内的所述三维位置和取向、根据计算出的所述第三传感器(27)的第二摇动和倾斜信息移动。
[0085]
条款8.一种跨越两个或更多个视场跟踪基准点标记(54)的三维位置和取向的方法，所述方法包括以下步骤：
[0086]
利用具有第一视场的第一传感器(22)捕获设置有所述基准点标记(54)的工作空间(60)的第一图像(1)；
[0087]
基于设置有所述基准点标记(54)的所述工作空间(60)的所述第一图像，确定所述基准点标记(54)在所述工作空间(60)内的所述三维位置和取向(2)；
[0088]
利用具有第二视场的第二传感器(24)捕获设置有所述基准点标记(54)的第二空间(61)的第二图像(3)；
[0089]
计算所述第二传感器(24)的第一摇动和倾斜信息来移动所述第二传感器(24)的所述第二视场，以获取基准点标记图像(4)；以及
[0090]
基于所述基准点标记图像，确定所述基准点标记(54)在所述第二空间(61)内的所述三维位置和取向(5)。
[0091]
条款9.根据条款8所述的方法，其中，所述第一传感器(22)包括宽视场传感器，其中，所述第二传感器(24)包括窄视场传感器，并且其中，所述第二空间(61)是所述工作空间(60)的一部分。
[0092]
条款10.根据条款8或9所述的方法，所述方法还包括以下步骤：
[0093]
利用具有窄视场的第三传感器(27)捕获第三空间(62)的第三图像，其中，所述第三空间是所述工作空间(60)中的与所述第二空间(61)不交叠的部分；以及
[0094]
基于所述第一传感器(22)捕获的图像，在所述基准点标记(54)从所述第二空间(61)移动到所述第三空间(62)时提供所述基准点标记(54)的所述三维位置和取向。
[0095]
条款11.根据条款8至10所述的方法，其中，所述基准点标记(54)在所述工作空间(60)内的所述三维位置和取向是在全局坐标系中确定的，并且其中，所述基准点标记(54)在所述第二空间(61)内的所述三维位置和取向是在所述全局坐标系中确定的。
[0096]
条款12.根据条款8至11所述的方法，所述方法还包括以下步骤：利用附接到所述第二传感器(24)的第一摇动和倾斜单元(26)，可控地更改所述第二传感器(24)相对于所述基准点标记(54)定位的第一摇动角和第一倾斜角，使得所述第二传感器被配置成在不同的摇动角和倾斜角下获取所述基准点标记的图像。
[0097]
条款13.根据条款12所述的方法，所述方法还包括以下步骤：使所述第一摇动和倾斜单元(26)根据所述第二传感器(24)的所述第一摇动和倾斜信息移动。
[0098]
条款14.根据条款13所述的方法，所述方法还包括以下步骤：
[0099]
使用具有第三视场的第三传感器(27)获取不同于所述工作空间(60)和所述第二空间(61)的第三空间(62)的第三图像；
[0100]
使用支承所述第三传感器(27)的第二摇动和倾斜单元(29)可控地更改所述第三传感器(27)所定位处的第二摇动角和第二倾斜角；以及
[0101]
使所述第二摇动和倾斜单元(29)基于所述基准点标记(54)在所述第二空间(61)内的所述三维位置和取向、根据计算出的所述第三传感器(27)的第二摇动和倾斜信息移动。
[0102]
条款15.一种跨越两个或更多个视场跟踪基准点标记(54)的三维位置和取向的系统，所述系统包括：
[0103]
宽视场摄像头(22)，所述宽视场摄像头(22)被配置成(1)获取设置有所述基准点标记(54)的工作空间(60)的第一图像；
[0104]
控制系统(28)，所述控制系统(28)被配置成(2)基于设置有所述基准点标记(54)的所述工作空间(60)的所述第一图像，确定所述基准点标记(54)在所述工作空间(60)内的所述三维位置和取向；
[0105]
窄视场摄像头(24)，所述窄视场摄像头(24)被配置(3)成获取不同于所述工作空间(60)的第二空间(61)的第二图像，其中，所述第二空间(61)是所述工作空间(60)的一部分；以及
[0106]
第一摇动和倾斜单元(26)，所述第一摇动和倾斜单元(26)被联接到所述窄视场摄像头(24)，所述第一摇动和倾斜单元(26)被配置成可控地调整所述窄视场摄像头(24)的第一摇动角和第一倾斜角，以捕获所述工作空间的不同区域，
[0107]
其中，所述控制系统(28)计算(4)所述窄视场摄像头(24)的第一摇动和倾斜信息以使用所述第一摇动和倾斜单元(26)移动所述窄视场摄像头的视场，以获取基准点标记图像，
[0108]
其中，所述控制系统(28)被配置成(5)基于所述基准点标记图像，确定所述基准点标记(54)在所述第二空间(61)内的所述三维位置和取向。
[0109]
条款16.根据条款15所述的系统，其中，所述窄视场摄像头(24)是第一窄视场摄像头(24)，所述系统还包括第二窄视场摄像头(27)，所述第二窄视场摄像头(27)被配置成捕获第三空间(62)的第三图像，其中，所述第三空间是工作空间(60)中的与所述第二空间(61)不交叠的部分，所述控制系统(28)被配置成基于所述宽视场摄像头(22)捕获的图像，当所述基准点标记(54)从所述第二空间(61)移动到所述第三空间(62)时提供所述基准点标记(54)的所述三维位置和取向。
[0110]
条款17.根据条款15或16所述的系统，其中，所述基准点标记(54)在所述工作空间(60)内的所述三维位置和取向是在全局坐标系中确定的，并且其中，所述基准点标记(54)在所述第二空间(61)内的所述三维位置和取向是在所述全局坐标系中确定的。
[0111]
条款18.根据条款15至17所述的系统，其中，所述控制系统(28)还被配置成使所述第一摇动和倾斜单元(26)根据所述窄视场摄像头(24)的所述第一摇动和倾斜信息移动。
[0112]
条款19.根据条款15至18所述的系统，其中，所述窄视场摄像头(24)是第一窄视场摄像头(24)，所述系统还包括：
[0113]
第二窄视场摄像头(27)，所述第二窄视场摄像头(27)被配置成获取不同于所述工作空间(60)和所述第二空间(61)的第三空间(62)的第三图像；以及
[0114]
第二摇动和倾斜单元(29)，所述第二摇动和倾斜单元(29)支承所述第二窄视场摄像头(27)，并且可控地更改所述第二窄视场摄像头(27)所定位处的第二摇动角和第二倾斜角，
[0115]
其中，所述控制系统(28)还被配置成使所述第二摇动和倾斜单元(29)基于所述基准点标记(54)在所述第二空间(61)内的所述三维位置和取向、根据计算出的所述第二窄视场摄像头(27)的第二摇动和倾斜信息移动。
[0116]
条款20.根据条款15至19所述的系统，其中，所述控制系统(28)被配置成基于所述第二空间(61)的所述基准点标记图像并基于所述窄视场摄像头(24)的动态外在模型确定所述基准点标记(54)在所述第二空间(61)内的所述三维位置和取向。
[0117]
受益于前述描述和相关附图中呈现的教导的本公开所属领域的技术人员将想到
本文阐述的本公开的许多修改和其他方面。因此，应当理解，本公开不限于所公开的特定方面，并且修改和其他方面旨在被包括在所附权利要求的范围内。尽管在此使用了特定的术语，但它们仅用于一般性和描述性的意义，而不用于限制目的。

技术特征：

1.一种跨越两个或更多个视场跟踪基准点标记(54)的三维位置和取向的装置，所述装置包括：第一传感器(22)，所述第一传感器(22)具有第一视场，所述第一传感器(22)被配置成(1)获取设置有所述基准点标记(54)的工作空间(60)的第一图像；控制系统(28)，所述控制系统(28)被配置成(2)基于设置有所述基准点标记(54)的所述工作空间(60)的所述第一图像，确定所述基准点标记(54)在所述工作空间(60)内的所述三维位置和取向；以及第二传感器(24)，所述第二传感器(24)具有第二视场，所述第二传感器(24)被配置成(3)获取不同于所述工作空间(60)的第二空间(61)的第二图像，其中，所述控制系统(28)计算(4)所述第二传感器(24)的第一摇动和倾斜信息来移动所述第二传感器(24)的所述第二视场，以获取基准点标记图像，并且其中，所述控制系统(28)被配置成(5)基于所述基准点标记图像，确定所述基准点标记(54)在所述第二空间(61)内的所述三维位置和取向。2.根据权利要求1所述的装置，其中，所述第一传感器(22)包括宽视场传感器，其中，所述第二传感器(24)包括窄视场传感器，并且其中，所述第二空间(61)是所述工作空间(60)的一部分。3.根据权利要求1或2所述的装置，所述装置还包括第三传感器(27)，所述第三传感器(27)包括被配置成捕获第三空间(62)的第三图像的窄视场传感器，其中，所述第三空间是所述工作空间(60)中的与所述第二空间(61)不交叠的部分，所述控制系统被配置成基于所述第一传感器(22)捕获的图像，在所述基准点标记(54)从所述第二空间(61)移动到所述第三空间(62)时提供所述基准点标记(54)的所述三维位置和取向。4.根据权利要求1所述的装置，其中，所述基准点标记(54)在所述工作空间(60)内的所述三维位置和取向是在全局坐标系中确定的，并且其中，所述基准点标记(54)在所述第二空间(61)内的所述三维位置和取向是在所述全局坐标系中确定的。5.根据权利要求1所述的装置，所述装置还包括第一摇动和倾斜单元(26)，所述第一摇动和倾斜单元(26)支承所述第二传感器(24)，以可控地更改所述第二传感器(24)相对于所述基准点标记(54)定位的第一摇动角和第一倾斜角，使得所述第二传感器(24)被配置成在不同的摇动角和倾斜角下获取所述基准点标记的图像。6.根据权利要求5所述的装置，其中，所述控制系统(28)还被配置成使所述第一摇动和倾斜单元(26)根据所述第二传感器(24)的所述第一摇动和倾斜信息移动。7.根据权利要求6所述的装置，所述装置还包括：第三传感器(27)，所述第三传感器(27)具有第三视场，所述第三传感器(27)被配置成获取不同于所述工作空间(60)和所述第二空间(61)的第三空间(62)的第三图像；以及第二摇动和倾斜单元(29)，所述第二摇动和倾斜单元(29)支承所述第三传感器，并且可控地更改所述第三传感器(27)所定位处的第二摇动角和第二倾斜角，其中，所述控制系统(28)还被配置成使所述第二摇动和倾斜单元(29)基于所述基准点标记(54)在所述第二空间(61)内的所述三维位置和取向、根据计算出的所述第三传感器(27)的第二摇动和倾斜信息移动。8.一种跨越两个或更多个视场跟踪基准点标记(54)的三维位置和取向的方法，所述方
法包括以下步骤：利用具有第一视场的第一传感器(22)捕获设置有所述基准点标记(54)的工作空间(60)的第一图像(1)；基于设置有所述基准点标记(54)的所述工作空间(60)的所述第一图像，确定所述基准点标记(54)在所述工作空间(60)内的所述三维位置和取向(2)；利用具有第二视场的第二传感器(24)捕获设置有所述基准点标记(54)的第二空间(61)的第二图像(3)；计算所述第二传感器(24)的第一摇动和倾斜信息来移动所述第二传感器(24)的所述第二视场，以获取基准点标记图像(4)；以及基于所述基准点标记图像，确定所述基准点标记(54)在所述第二空间(61)内的所述三维位置和取向(5)。9.根据权利要求8所述的方法，其中，所述第一传感器(22)包括宽视场传感器，其中，所述第二传感器(24)包括窄视场传感器，并且其中，所述第二空间(61)是所述工作空间(60)的一部分。10.根据权利要求8或9所述的方法，所述方法还包括以下步骤：利用具有窄视场的第三传感器(27)捕获第三空间(62)的第三图像，其中，所述第三空间是所述工作空间(60)中的与所述第二空间(61)不交叠的部分；以及基于所述第一传感器(22)捕获的图像，在所述基准点标记(54)从所述第二空间(61)移动到所述第三空间(62)时提供所述基准点标记(54)的所述三维位置和取向。11.根据权利要求8所述的方法，其中，所述基准点标记(54)在所述工作空间(60)内的所述三维位置和取向是在全局坐标系中确定的，并且其中，所述基准点标记(54)在所述第二空间(61)内的所述三维位置和取向是在所述全局坐标系中确定的。12.根据权利要求8所述的方法，所述方法还包括以下步骤：利用附接到所述第二传感器(24)的第一摇动和倾斜单元(26)，可控地更改所述第二传感器(24)相对于所述基准点标记(54)定位的第一摇动角和第一倾斜角，使得所述第二传感器(24)被配置成在不同的摇动角和倾斜角下获取所述基准点标记的图像。13.根据权利要求12所述的方法，所述方法还包括以下步骤：使所述第一摇动和倾斜单元(26)根据所述第二传感器(24)的所述第一摇动和倾斜信息移动。14.根据权利要求13所述的方法，所述方法还包括以下步骤：使用具有第三视场的第三传感器(27)获取不同于所述工作空间(60)和所述第二空间(61)的第三空间(62)的第三图像；使用支承所述第三传感器(27)的第二摇动和倾斜单元(29)可控地更改所述第三传感器(27)所定位处的第二摇动角和第二倾斜角；以及使所述第二摇动和倾斜单元(29)基于所述基准点标记(54)在所述第二空间(61)内的所述三维位置和取向、根据计算出的所述第三传感器(27)的第二摇动和倾斜信息移动。15.一种跨越两个或更多个视场跟踪基准点标记(54)的三维位置和取向的系统，所述系统包括：宽视场摄像头(22)，所述宽视场摄像头(22)被配置成(1)获取设置有所述基准点标记(54)的工作空间(60)的第一图像；
控制系统(28)，所述控制系统(28)被配置成(2)基于设置有所述基准点标记(54)的所述工作空间(60)的所述第一图像，确定所述基准点标记(54)在所述工作空间(60)内的所述三维位置和取向；窄视场摄像头(24)，所述窄视场摄像头(24)被配置成(3)获取不同于所述工作空间(60)的第二空间(61)的第二图像，其中，所述第二空间(61)是所述工作空间(60)的一部分；以及第一摇动和倾斜单元(26)，所述第一摇动和倾斜单元(26)联接到所述窄视场摄像头(24)，所述第一摇动和倾斜单元(26)被配置成可控地调整所述窄视场摄像头(24)的第一摇动角和第一倾斜角，以捕获所述工作空间的不同区域，其中，所述控制系统(28)计算(4)所述窄视场摄像头(24)的第一摇动和倾斜信息以使用所述第一摇动和倾斜单元(26)移动所述窄视场摄像头的视场，以获取基准点标记图像，其中，所述控制系统(28)被配置成(5)基于所述基准点标记图像，确定所述基准点标记(54)在所述第二空间(61)内的所述三维位置和取向。

技术总结

本公开涉及切换并跟踪基准点标记的位姿估计的方法和装置，具体涉及确定基准点标记的三维位置和取向并跨越不同视场跟踪该三维位置和取向的装置和方法。该方法包括：利用具有第一视场的第一传感器捕获设置有基准点标记的第一空间的图像；基于所述设置有基准点标记的第一空间的图像，确定基准点标记在第一空间内的三维位置和取向；利用具有第二视场的第二传感器捕获设置有基准点标记的第二空间的图像；计算第二传感器的摇动和倾斜信息来移动第二传感器的第二视场，以获取基准点标记的图像；以及基于第二空间的图像，确定基准点标记在第二空间内的三维位置和取向。在第二空间内的三维位置和取向。在第二空间内的三维位置和取向。