用于商用车辆摄像系统的人机界面的制作方法

用于商用车辆摄像系统的人机界面
1.相关申请的交叉引用
2.本技术要求2020年6月19日提交的美国专利申请第63/041176号的优先权。
技术领域
3.本发明总体上涉及商用车辆系统，更具体是用于显示距离信息的人机界面。

背景技术：

4.商用车辆、例如牵引拖车包括驾驶辅助系统，其帮助驾驶员操纵他们的车辆进入停放区、进行倒车操纵、驶过对象以及进行其他类似的车辆操作。现有的车辆系统结合有接近传感器以及在商用车辆与对象处于阈值距离时提供警告的其他类似的系统。举例来说，警告可以包括对象处于阈值距离内时的重复蜂鸣声或闪光。
5.基于接近的警告系统受限于它们可提供的警告类型，并且与对象是否处于阈值距离内的二元检测相比不能有效地传递更详细的信息。

技术实现要素：

6.用于操作车辆摄像系统的一种示例性方法包括：使用至少一个摄像机生成第一图像；在第一图像中识别第一对象；确定车辆部件与识别出的对象之间的距离；通过将人机界面(hmi)并入到第一图像中来修改第一图像，其中人机界面包括被构造为传达对象与车辆部件之间的距离的显示；以及向车辆操作者显示修改后的图像。
7.在上述的用于操作车辆摄像系统的方法的另一个例子中，至少部分地基于第一图像的图像分析来确定对象与车辆部件之间的距离。
8.在上述任一种用于操作车辆摄像系统的方法的另一个例子中，至少部分地基于物理传感器读数来确定对象与车辆部件之间的距离。
9.在上述任一种用于操作车辆摄像系统的方法的另一个例子中，物理传感器读数包括雷达传感器读数、lidar传感器读数、红外传感器读数、飞行时间传感器和超声波传感器读数中的至少一个。
10.在上述任一种用于操作车辆摄像系统的方法的另一个例子中，物理传感器读数包括雷达传感器读数和超声波读数。
11.在上述任一种用于操作车辆摄像系统的方法的另一个例子中，通过将人机界面(hmi)并入到第一图像中来修改第一图像以及向车辆操作者显示修改后的后视镜替代图像的步骤响应于所确定的距离小于预定的阈值距离来执行。
12.在上述任一种用于操作车辆摄像系统的方法的另一个例子中，阈值距离约为30米。
13.在上述任一种用于操作车辆摄像系统的方法的另一个例子中，阈值距离是至少一个自动驾驶辅助功能的启动距离。
14.在上述任一种用于操作车辆摄像系统的方法的另一个例子中，车辆部件是自主部
分(ego part)。
15.在上述任一种用于操作车辆摄像系统的方法的另一个例子中，自主部分是拖车。
16.在上述任一种用于操作车辆摄像系统的方法的另一个例子中，人机界面包括数字指示器、多叠层以及条形图中的至少一个。
17.在上述任一种用于操作车辆摄像系统的方法的另一个例子中，人机界面包括数字指示器、多叠层以及条形图中的至少两个的组合。
18.在上述任一种用于操作车辆摄像系统的方法的另一个例子中，人机界面包括在所显示的图像中识别检测出的对象的对象指示器。
19.在上述任一种用于操作车辆摄像系统的方法的另一个例子中，生成第一图像包括通过将源自于不同的车辆摄像机的多个图像进行组合来生成后视镜替代图像。
20.在上述任一种用于操作车辆摄像系统的方法的另一个例子中，其还包括在第一图像上叠加至少一条距离线，其中使用显示在人机界面中的距离将至少一条距离线校准在预定距离处。
21.在一个示例性实施方式中，一种车辆系统包括：至少一个朝外的摄像机；控制器，其包括连接至至少一个朝外的摄像机的输出部的输入部；连接至控制器的朝内的显示器，其中控制器包括存储器，其存储有被构造为使控制器在控制器接收的第一图像中识别第一对象、确定车辆部件与识别出的对象之间的距离、通过将人机界面(hmi)并入到第一图像中来修改第一图像以及向显示器输出修改后的图像的指令，并且其中人机界面包括被构造为表达对象与车辆部件之间的距离的显示。
22.在上述的车辆系统的另一个例子中，控制器连接至接近传感器，接近传感器被构造为确定接近传感器与检测到的对象之间的距离。
23.在上述任一种车辆系统的另一个例子中，接近传感器包括至少一个雷达传感器、lidar传感器、红外传感器、飞行时间传感器和超声波传感器中的至少一个。
24.在上述任一种车辆系统的另一个例子中，接近传感器包括雷达传感器和超声波传感器。
25.在上述任一种车辆系统的另一个例子中，控制器还包括至少部分基于图像的对象检测模块。
26.在上述任一种车辆系统的另一个例子中，至少部分基于图像的对象检测模块包括基于传感器的补充对象检测。
附图说明
27.图1示出了示例性商用车辆的高度示意性的视图。
28.图2示意性示出了用于商用车辆的摄像机替代和/或补充系统。
29.图3示意性示出了用于图1和2的商用车辆的示例性显示器。
30.图4示意性示出了图3的示例性显示器包括替代的人机界面叠层。
31.图5示出了用于操作摄像机替代和/或补充系统来生成包括人机界面的图像的方法。
32.图6示意性示出了图3的示例性显示器包括替代的人机界面叠层。
具体实施方式
33.图1中示出了商用卡车10的示意图。卡车10包括拖拽拖车14的车辆驾驶室12。示例性拖车14是能够相对于驾驶室12独立移动的自主部分。驾驶员和乘客侧摄像机外壳16安装在车辆驾驶室12上。在一些例子中，摄像机外壳16也可包括与它们集成在一起的传统后视镜。第一和第二显示器18在车辆驾驶室12内分别设置在驾驶员侧和乘客侧上，以显示车辆10每侧上的ii级和iv级视野。可使用比所示的更少或更多的显示器，包括额外等级的显示器，并且显示器的定位可以与所示的不同。在替代例子中，可使用额外的摄像机11和摄像机13利用拼接来组合图像，以形成环绕视野图像。所示的摄像机位置仅是示例性的，实际的实施可包括特定系统所需的任何特定视野类型的多个额外的摄像机。
34.在图2中以高度示意性的方式示出了摄像机后视镜系统20的一个例子。在一个例子中，朝后的第一摄像机22和第二摄像机24设置在摄像机壳体16内。第一摄像机22和第二摄像机24提供例如与iv级和ii级视野对应的第一视场fov1和第二视场fov2。第一视场fov1和第二视场fov2彼此重叠来提供重叠区域25。然而，应理解，摄像机的定位可以与所示的不同并且所提供的视场可以完全与其他等级或其他视野关联。
35.ecu或控制器26与第一摄像机22和第二摄像机24通信。例如雷达传感器38、lidar传感器40、红外传感器42、飞行时间传感器和/或超声波传感器44的多个传感器28可与控制器26通信。传感器28和/或第一摄像机22和第二摄像机24用于检测由第一摄像机22和第二摄像机24捕捉到的图像内的对象。作为传感器28的替代或补充，可将基于图像的对象检测算法29包含在控制器26中。基于图像的对象检测算法29可以是基于规则的检测算法或者是基于神经网络的算法并且对摄像机22、24提供的图像进行分析来识别(多个)图像内是否存在一个或多个对象。
36.可使用任何数量的合适的对象检测方案，例如依赖神经网络和3d几何模型的方案，以确定对象在空间中的位置，例如通过自主运动来检测。在使用神经网络的对象检测的例子中，第一摄像机22和第二摄像机24提供用于检测对象的至少一个传感器。在替代的例子中，可使用任何对象检测系统来检测图像平面内的对象(包括诸如神经网络分析的基于图像的检测)并且使用诸如雷达、lidar传感器等等的3d空间检测系统来检测3d空间中的图像。
37.控制器26向显示器18输出视频信号。显示器18在车辆驾驶室内位于车辆操作者可见的位置。在具有两个以上的摄像机的例子中(例如图2所示的例子)，视频信号是来自第一摄像机22和第二摄像机24的图像的组合并且使用拼接算法30来组合图像。在该例子中，显示器18的屏幕32提供至少包括在拼接接合部34(也替代地称为拼接部)处接合的来自第一摄像机22和第二摄像机24的第一调节视场46和第二调节视场48的完整视野36。拼接算法30可使用任何已知的拼接系统来形成车辆操作者可见的单一图像。
38.在继续参考图1和2的情况下，图3示出了后视镜替代显示器200，其例如可在图1和2的显示器18中使用。显示器200示出了商用车辆自主部分210的侧视图像。虽然在图2的例子中示出了单一的图像，但是应理解替代的后视镜替代图像可包括诸如上述针对图2描述的那些图像的拼接图像。示例性自主部分210是商用运输拖车，但是应理解该自主部分210在实际实施中可以包括能够独立于车辆之外移动的任何附接部件。在图像200中还可看到对象220。该对象与车辆部件210之间具有距离222。
39.如图2所示，控制器26检测对象220并且确定自主部分210与检测到的对象220之间的距离222。在一些例子中，仅通过控制器26使用基于图像的分析来确定该距离。在替代例子中，诸如雷达传感器、lidar传感器、红外传感器或超声波传感器的传感器212设置在自主部分210或主体车辆上。在该例子中，控制器26接收传感器输出并且使用与传感器类型对应的已知的距离确定方式来确定与对象220的距离222。在另外的例子中，可根据用于确定距离的已知系统通过基于图像的分析与基于传感器分析的组合来确定该距离。在控制器26中还结合有一个或多个驾驶辅助系统27。举例来说，驾驶辅助系统27可包括停靠辅助系统、拖车倒车辅助或任何其他的驾驶辅助系统。
40.为了进一步帮助车辆操作者执行操作，控制器26包括人机界面(hmi)模块25，其被构造为将向车辆操作者显示的图像修改为包括识别距离220的人机界面。图3的示例性显示器200通过在对象220与车辆部件210之间叠加线段来实现人机界面。数字指示器紧邻该线段，其限定对象220与车辆部件210之间所确定的距离。距离222的箭头还可包括表示车辆部件210与对象220的靠近程度的颜编码，其中箭头从表示安全距离的绿转变为表示危险距离的红。
41.在继续参考图3的情况下，图4示出了包括替代人机界面230的显示器200。替代人机界面230使用叠加在对象220上的颜梯度、表示与对象的接近度的条形图234以及表示距离的数字指示器236。每个例子都提供了对象220与车辆部件210之间的近似距离的指示。此处使用的“近似”表示距离确定220的精度。
42.在继续参考图3和4的情况下，图6示出了另一个替代人机界面530(hmi530)。人机界面530包括表示拖车210的后部与检测到的对象220之间的数字距离和数字距离的单位的数字距离指示器510。范围指示器520位于数字指示器510下方，其向下且向外扩展，范围指示器510向下和向外扩展的范围越大对应于车辆210距检测到的对象220越近。范围指示器510被分为多个部分522、524、526。这些部分被显示为不同的颜(例如，第一部分522为绿，第二部分524为橙，第三部分526为红)。在替代实施方式中，这些部分可通过使用光、介质、深阴影进行遮盖来划分。此外，在替代的例子中，可以通过相同的方式包括三个以上的部分。
43.图6的人机界面530中还包括距离线504。距离线504是叠加在图像上的静态线，其中每条线504都对应于距拖车210的后部的特别校准的距离。校准线504覆盖范围指示器520中的部分并且限定范围指示器520的每个分离的区段522、524、526。
44.使用上文限定的接近和感测系统通过校准程序来确定距离线504的校准。为了校准距离线504，车辆操作者操纵车辆直到车辆距与地面成90度的检测对象预定距离(例如，40m)为止，如数字指示器510表示的那样。一旦处于预定距离内，车辆操作者就手动设定对应的距离线504。校准线可使用拨盘、方向箭头按钮或者任何传统的输入装置手动设定，以手动地上下移动水平距离线504，直到距离线位于对象的基部为止。车辆操作者随后朝向对象倒车直到达到下一个预定距离为止，并且针对每个预定距离重复校准程序。
45.在一些例子中，距离线504可被保持为本文描述的人机界面的一部分。在替代的例子中，距离线504可由不同的视觉系统生成或控制，并且人机界面系统用于执行距离线504的校准。
46.在继续参考图1-4的情况下，图5示意性示出了由控制器26执行的示例性程序300，
通过该程序生成包括人机界面230的图像200。虽然在后视镜替代系统的背景下进行描述，但应理解可通过包括补充后视镜而非替代后视镜的图像或者独立于任何后视镜系统之外的视野的任何车辆系统来使用该程序。
47.控制器26最初从一个或多个摄像机22、24接收视频馈送并且在生成图像步骤310中生成用于显示视频馈送的图像。在多个图像拼接在一起的例子中，通过控制器26根据任何已知的拼接或组合程序来执行拼接。
48.在生成之后，在生成的图像200上执行对象检测程序，并且在“图像内识别(多个)对象”步骤320中识别图像200内的任何对象220。虽然在例子中被表示为单一对象，但是本领域技术人员将理解可以通过控制器26在单一图像内识别多个对象。
49.在识别出(多个)对象之后，控制器26在“确定距离”步骤330中确定对象220与车辆部件210之间的距离。在使用基于图像的分析或部分基于图像的分析的系统中，除了确定是否存在(多个)对象之外，ecu还确定车辆部件210的边缘214并且确定车辆部件210的边缘214与对象220之间的距离。在使用雷达、lidar、红外或超声波传感器的系统中，通过传感器确定距离并将距离数据提供给控制器26。在一个特定的例子中，使用长程雷达传感器和短程超声波传感器的组合。在这个例子中，长程雷达传感器提供英尺范围(0.3米)的精度，而超声波传感器提供英寸范围(25.4毫米)的短距精度。在操作期间，使用长程雷达传感器直到检测到的对象处于超声波传感器范围内处于对象范围内为止，并且系统切换至超声波雷达系统的读取。
50.在确定了距离之后，在“修改图像”步骤340中通过在图像上叠加人机界面230来修改图像，以形成新的图像。人机界面包括确定车辆部件210与对象220之间的距离的特定信息。可通过颜梯度、条形图、线距离和数字指示器的任何组合来表示特定距离。举例来说，在一个例子中使用数字倒数显示器来表示特定信息，其中倒数表示车辆部件210与对象之间的距离。在另一个例子中，使用彩叠层来表示特定信息，其中每种颜表示特定距离(例如，绿表示5米，黄表示3米，红表示1米)。在另一个例子中，使用扩张/收缩几何形状的阴影区域来表示特定信息，其中几何形状在屏幕上的尺寸直接对应于距离。在又一个例子中，可与这些例子一起或独立于这些例子之外使用用于表示特定距离的任何其他系统。修改后的图像随后在“显示修改后的图像”步骤350中向车辆操作者显示。
51.整体参照图1-5，应理解在一些例子中人机界面的连续操作可能是不可取的。在这样的例子中，控制器26被构造为取消人机界面的叠加，直到满足触发条件为止。在一些例子中，触发条件可以是控制器26中内置的一个或多个驾驶辅助系统的启用。在其他的例子中，触发条件可以是检测到对象处于车辆的预定距离内。在一个例子中，该预定距离是30米。在另一个例子中，触发条件可以是车辆进入驾驶辅助模式和检测到对象处于预定距离内的组合。
52.如图1-6所示，上述的系统提供了一种直接集成在提供给车辆操作者的图像中并且包括车辆与检测到的(多个)对象之间的距离的特定识别的人机界面，从而针对涉及或导航经过并非直接位于驾驶员的视场内的对象的操作向操作者提供更可靠和精确的辅助。此外，在人机界面直接集成在后视镜替代系统中的系统中，信息在单一的位置中作为单一的图像提供给驾驶员，从而提高清晰度和易用性。
53.还应理解，上述的概念可单独地或与任何或所有其他的上述概念组合地使用。虽
然已公开了本发明的实施方式，但是本领域技术人员会想到可在本发明的范围内得出特定的变型。为此，应研究所附权利要求来确定本发明的实际的范围和内容。

技术特征：

1.一种用于操作车辆摄像系统的方法，其包括：从至少一个摄像机接收第一图像；在所述第一图像中识别第一对象；确定车辆部件与识别出的所述对象之间的距离；通过将人机界面(hmi)并入到所述第一图像中来修改所述第一图像，其中所述人机界面包括被构造为表达所述对象与所述车辆部件之间的距离的显示；以及向车辆操作者显示修改后的图像。2.根据权利要求1所述的方法，其中，至少部分地基于所述第一图像的图像分析来确定所述对象与所述车辆部件之间的距离。3.根据权利要求1所述的方法，其中，至少部分地基于物理传感器读数来确定所述对象与所述车辆部件之间的距离。4.根据权利要求3所述的方法，其中，所述物理传感器读数包括雷达传感器读数、lidar传感器读数、红外传感器读数、飞行时间传感器和超声波传感器读数中的至少一个。5.根据权利要求3所述的方法，其中，所述物理传感器读数包括雷达传感器读数和超声波读数。6.根据权利要求1所述的方法，其中，通过将所述人机界面(hmi)并入到所述第一图像中来修改所述第一图像以及向车辆操作者显示修改后的后视镜替代图像的步骤响应于所确定的距离小于预定的阈值距离来执行。7.根据权利要求6所述的方法，其中，所述阈值距离约为30米。8.根据权利要求6所述的方法，其中，所述阈值距离是用于至少一个自动驾驶辅助功能的启动距离。9.根据权利要求1所述的方法，其中，所述车辆部件是自主部分。10.根据权利要求9所述的方法，其中，所述自主部分是拖车。11.根据权利要求1所述的方法，其中，所述人机界面包括数字指示器、多叠层以及条形图中的至少一个。12.根据权利要求11所述的方法，其中，所述人机界面包括数字指示器、多叠层以及条形图中的至少两个的组合。13.根据权利要求11所述的方法，其中，所述人机界面包括在所显示的图像中识别检测出的对象的对象指示器。14.根据权利要求1所述的方法，其中，生成所述第一图像包括通过将源自于不同的车辆摄像机的多个图像进行组合来生成后视镜替代图像。15.根据权利要求1所述的方法，其还包括在所述第一图像上叠加至少一条距离线，其中使用显示在所述人机界面中的距离将所述至少一条距离线校准在预定距离处。16.一种车辆系统，其包括：至少一个朝外的摄像机；控制器，其包括连接至所述至少一个朝外的摄像机的输出部的输入部；连接至所述控制器的朝内的显示器，其中所述控制器包括存储器，其存储有被构造为使所述控制器在所述控制器接收的第一图像中识别第一对象、确定车辆部件与识别出的对象之间的距离、通过将人机界面(hmi)
并入到所述第一图像中来修改所述第一图像以及向所述显示器输出修改后的图像的指令，并且其中所述人机界面包括被构造为表达所述对象与所述车辆部件之间的距离的显示。17.根据权利要求16所述的车辆系统，其中，所述控制器连接至接近传感器，所述接近传感器被构造为确定所述接近传感器与检测到的对象之间的距离。18.根据权利要求17所述的车辆系统，其中，所述接近传感器包括至少一个雷达传感器、lidar传感器、红外传感器、飞行时间传感器和超声波传感器中的至少一个。19.根据权利要求18所述的车辆系统，其中，所述接近传感器包括雷达传感器和超声波传感器。20.根据权利要求16所述的车辆系统，其中，所述控制器还包括至少部分基于图像的对象检测模块。21.根据权利要求20所述的车辆系统，其中，所述至少部分基于图像的对象检测模块包括基于传感器的补充对象检测。

技术总结

一种用于操作车辆摄像系统的方法，包括：从至少一个摄像机接收第一图像；在第一图像中识别第一对象；确定车辆部件与识别出的对象之间的距离；通过将人机界面(HMI)并入到第一图像中来修改第一图像，其中人机界面包括被构造为表达对象与车辆部件之间的距离的显示；以及向车辆操作者显示修改后的图像。向车辆操作者显示修改后的图像。向车辆操作者显示修改后的图像。