远程驾驶系统、远程驾驶装置以及行驶影像显示方法与流程

1.本发明涉及进行车辆的远程驾驶的远程驾驶系统、远程驾驶装置以及用于车辆的远程驾驶的显示的显示方法。

背景技术：

2.在专利文献1中公开有远程操纵用显示装置，在对远程操纵装置进行操作的情况下，将移动装置实际地进行该操作所表示的动作时作为未来时间点，该远程操纵用显示装置显示人易于掌握未来时间点下的移动装置至各位置为止的距离感的图像。
3.该远程操纵用显示装置是用于在移动装置的远程操纵时显示从移动装置观察到的环境的装置，该装置具备：图像生成装置，根据表示移动装置的行进方向侧的环境的环境数据来生成3维的cg图像；以及显示器，显示所生成的cg图像。图像生成装置预测基于考虑了移动装置与远程操纵装置的通信时间的延迟时间的未来时间点下的移动装置的未来位置，生成从预测出的未来位置观察到的cg图像。
4.另外，作为呈现本发明所属的技术领域的技术水平的现有技术文献，有下述的专利文献2以及专利文献3。
5.现有技术文献
6.专利文献
7.专利文献1：日本特开2019-049888号公报
8.专利文献2：日本特开2018-106676号公报
9.专利文献3：日本特开2010-61346号公报

技术实现要素：

10.在车辆的远程驾驶中，与普通驾驶的情况相比，无法充分地获得驾驶感觉，所以难以进行驾驶所涉及的操作。因此，要求用于提高远程驾驶装置(远程操纵装置)的操作者的操作性的技术。
11.在专利文献1所公开的远程操纵用显示装置中，从预测出的未来位置观察到的cg图像被显示于显示器。然而，在由于车辆(移动装置)与远程驾驶装置之间的通信而远程驾驶装置的操作延迟地作用于车辆的远程驾驶中，仅显示车辆的行驶影像(cg图像)的话，操作者的操作性有可能会不充分。特别是操作者无法确认在未来位置以后车辆会根据远程驾驶操作的装置怎样行驶。
12.本发明是鉴于上述课题而完成的，其目的在于提出能够提高远程驾驶装置的操作者的操作性的远程驾驶系统、远程驾驶装置以及用于远程驾驶的显示的显示方法。
13.本公开的一个方案的远程驾驶系统是进行车辆的远程驾驶的系统，包括：摄像机，搭载于车辆，对车辆的行驶影像进行摄影；传感器，搭载于车辆，检测车辆的行驶状态；以及远程驾驶装置，与车辆进行通信，远程地驾驶车辆。远程驾驶装置具备：驾驶操作装置，用于输入驾驶所涉及的操作；显示装置；以及信息处理装置，连接于驾驶操作装置以及显示装
置。
14.信息处理装置执行：获取由摄像机摄影到的行驶影像的处理；获取由传感器检测到的行驶状态的处理；计算车辆与远程驾驶装置之间的通信以及信息处理所涉及的延迟时间的处理；根据直至当前时间点为止所输入的驾驶操作装置的操作的信息，计算从当前时间点至经过预定时间的时间点为止的驾驶操作装置的预测操作的处理；根据延迟时间，计算在当前时间点输入的驾驶操作装置的操作作用于车辆的作用时间点的处理；根据行驶状态的信息、驾驶操作装置的操作的信息以及延迟时间，生成基于直至当前时间点为止所输入的驾驶操作装置的操作的从行驶影像的摄影时间点至作用时间点为止的车辆的第1预测行驶路径的处理；生成基于预测操作的作用时间点以后的车辆的第2预测行驶路径的处理；以及在显示装置中对将第1预测行驶路径以及第2预测行驶路径重叠于行驶影像的显示进行显示的显示处理。
15.信息处理装置也可以进一步执行生成第3预测行驶路径的处理，第3预测行驶路径是在经过预定时间的时间点之前维持当前时间点下的驾驶操作装置的转向所涉及的操作的情况下的作用时间点以后的车辆的预测行驶路径。而且，在显示处理中，也可以将第3预测行驶路径与第1预测行驶路径以及第2预测行驶路径一并显示。
16.延迟时间也可以包括进行远程驾驶装置的操作的操作者的操作所涉及的反应时间。
17.本公开的一个方案的远程驾驶装置是与车辆进行通信，远程地驾驶车辆的装置。该远程驾驶装置具备：显示装置；驾驶操作装置，用于输入驾驶所涉及的操作；以及信息处理装置。
18.信息处理装置执行：获取车辆的行驶影像的处理；获取车辆的行驶状态的处理；计算车辆与远程驾驶装置之间的通信以及信息处理所涉及的延迟时间的处理；根据直至当前时间点为止所输入的驾驶操作装置的操作的信息，计算从当前时间点至经过预定时间的时间点为止的驾驶操作装置的预测操作的处理；根据延迟时间，计算在当前时间点输入的驾驶操作装置的操作作用于车辆的作用时间点的处理；根据行驶状态的信息、驾驶操作装置的操作的信息以及延迟时间，生成基于直至当前时间点为止所输入的驾驶操作装置的操作的从行驶影像的摄影时间点至作用时间点为止的车辆的第1预测行驶路径的处理；生成基于预测操作的作用时间点以后的车辆的第2预测行驶路径的处理；以及在显示装置中对将第1预测行驶路径以及第2预测行驶路径重叠于行驶影像的显示进行显示的显示处理。
19.信息处理装置也可以进一步执行生成第3预测行驶路径的处理，第3预测行驶路径是在经过预定时间的时间点之前维持当前时间点下的驾驶操作装置的转向所涉及的操作的情况下的作用时间点以后的车辆的预测行驶路径。而且，在显示处理中，也可以将第3预测行驶路径与第1预测行驶路径以及第2预测行驶路径一并显示。
20.本公开的一个方案的行驶影像显示方法是将车辆的行驶影像显示于远程驾驶装置所具备的显示装置的方法，远程驾驶装置与车辆进行通信，远程地驾驶车辆。该行驶影像显示方法使计算机执行：获取车辆的行驶影像的处理；获取车辆的行驶状态的处理；计算车辆与远程驾驶装置之间的通信以及信息处理所涉及的延迟时间的处理；根据直至当前时间点为止所输入的驾驶操作装置的操作的信息，计算从当前时间点至经过预定时间的时间点为止的驾驶操作装置的预测操作的处理；根据延迟时间，计算在当前时间点输入的驾驶操
作装置的操作作用于车辆的作用时间点的处理；根据行驶状态的信息、驾驶操作装置的操作的信息以及延迟时间，生成基于直至当前时间点为止所输入的驾驶操作装置的操作的从摄影时间点至作用时间点为止的车辆的第1预测行驶路径的处理；生成基于预测操作的作用时间点以后的车辆的第2预测行驶路径的处理；以及在显示装置中显示将第1预测行驶路径以及第2预测行驶路径重叠于行驶影像的显示的显示处理。
21.该行驶影像显示方法也可以还包括生成第3预测行驶路径的处理，第3预测行驶路径是在经过预定时间的时间点之前维持当前时间点下的驾驶操作装置的转向所涉及的操作的情况下的作用时间点以后的车辆的预测行驶路径。而且，在显示处理中，也可以将第3预测行驶路径与第1预测行驶路径以及第2预测行驶路径一并显示。
22.根据本公开，考虑了车辆与远程驾驶装置之间的延迟时间的预测行驶路径重叠于行驶影像的显示被显示于显示装置。由此，操作者通过识别预测行驶路径，能够逐次确认根据自身的操作预测出车辆怎样行驶，远程驾驶所涉及的操作的难度降低。进而能够提高操作者的操作性。
23.另外，在远程驾驶装置中生成预测行驶路径。由此，驾驶操作装置的操作的信息不受到车辆与远程驾驶装置之间的通信的影响，而能够生成预测行驶路径。进而能够精度良好地生成预测行驶路径。
24.进而，表示作用时间点以后的预测行驶路径的第2预测行驶路径根据预测操作而被生成。由此，操作者能够逐次确认根据自身的操作的倾向预测出在作用时间点以后车辆怎样行驶。进而能够提高操作者的操作性。
附图说明
25.图1是用于说明本实施方式的远程驾驶系统的概要的概念图。
26.图2是用于说明显示于本实施方式的远程驾驶系统的远程驾驶装置的显示装置的行驶影像的概要的概念图。
27.图3是用于说明本实施方式的远程驾驶系统的结构的框图。
28.图4是用于说明图3所示的信息处理装置的结构的框图。
29.图5是示出用于在显示装置显示行驶影像的处理的流程图。
30.图6是用于说明车辆与远程驾驶装置之间的延迟时间的概念图。
31.图7是示出信息处理装置的处理器在图5所示的预测行驶路径生成处理中执行的处理的流程图。
32.图8是用于说明在图7所示的预测操作计算处理中计算的预测操作的例子的图。
33.图9是示出在本实施方式的变形例1的远程驾驶系统中显示于显示装置的行驶影像的例子的概念图。
34.图10是用于说明在本实施方式的变形例2的远程驾驶系统中显示于显示装置的行驶影像的概要的概念图。
35.符号说明
36.10：远程驾驶系统；100：车辆；110：摄像机；ins：内部传感器；200：远程驾驶装置；dpu：显示装置；rim：行驶影像；ptr1：第1预测行驶路径；ptr2：第2预测行驶路径；rou：驾驶操作装置；230：信息处理装置；drd：行驶状态数据；imd：行驶影像数据；opd：操作信息数据；
op：操作者。
具体实施方式
37.以下，参照附图，说明本发明的实施方式。但是，在以下所示的实施方式中，在提及各要素的个数、数量、量、范围等数的情况下，除了特别明示的情况、在原理上明显其数被确定的情况之外，本公开的思想不并限定于其提及的数。另外，在以下所示的实施方式中说明的结构等除了特别明示的情况、在原理上明显被确定为它的情况之外，对于本公开的思想未必是必需的。此外，各图中，对相同或者相当的部分附加有相同的符号，适当地简化甚至省略其重复说明。
38.1.概要
39.1－1.远程驾驶系统
40.图1是用于说明本实施方式的远程驾驶系统10的概要的概念图。远程驾驶系统10是进行车辆100的远程驾驶的系统。远程驾驶系统10包括远程地驾驶车辆100的远程驾驶装置200。车辆100和远程驾驶装置200构成通信网络，以使得能够相互进行信息的传递。
41.车辆100的远程驾驶通过由操作者op操作远程驾驶装置200而进行。在此，车辆100也可以是能够通过其它手段来进行驾驶的车辆。例如，既可以使得能够通过对车辆100所具备的驾驶操作装置(方向盘、加速器踏板、制动器踏板等)进行操作来进行手动驾驶，也可以通过车辆100所具备的控制装置进行自主行驶。也就是说，车辆100可以是在驾驶涉及的控制权移交给远程驾驶装置200时能够进行远程驾驶的车辆。
42.车辆100具备摄像机110。摄像机110以能够对车辆100的前方的行驶区域进行摄影的方式搭载，对车辆100的前方的行驶影像rim进行摄影。但是，车辆100也可以搭载有多个对其它方向的行驶影像rim进行摄影的单独的摄像机。摄像机110摄影到的行驶影像rim的信息通过通信被传递给远程驾驶装置200。
43.车辆100具备检测车辆100的内部的信息的内部传感器ins。内部传感器至少检测车辆100的行驶状态(车速、加速度、偏航率等)。作为内部传感器ins，例示出用于检测车辆100的车速的车轮速传感器、用于检测车辆100的加速度的加速度传感器、用于检测车辆100的偏航率的角速度传感器等。内部传感器ins检测的行驶状态的信息通过通信被传递给远程驾驶装置200。
44.车辆100也可以具备其它传感器，通过通信将检测的信息传递给远程驾驶装置200。
45.远程驾驶装置200具备对操作者op通知信息的输出装置。作为输出装置，至少包括进行用于对操作者op通知信息的各种显示的显示装置dpu。在图1中，作为输出装置，还示出了产生用于对操作者op通知信息的各种声音的声响装置sdu。作为输出装置，也可以包括其它装置。由在图1中未图示的远程驾驶装置200所具备的信息处理装置控制输出装置的输出(显示、声音等)。
46.显示装置dpu至少进行从车辆100获取的行驶影像rim的显示。显示装置dpu也可以包括多个显示部分dp，在各个显示部分dp进行不同的显示。
47.声响装置sdu典型而言与显示装置dpu的显示相匹配地产生声音。例如，与行驶影像rim的显示相匹配地，产生车辆100所涉及的环境音(外部环境音、引擎的驱动音、道路噪
声等)。在该情况下，产生的声音既可以从车辆100获取利用搭载于车辆100的麦克风进行录音而得到的声音而产生，也可以是远程驾驶装置200的信息处理装置根据从车辆100获取的行驶状态的信息而生成的声音或者选择的声音而产生。
48.远程驾驶装置200具备用于输入操作者op的操作的输入装置。作为输入装置，至少包括用于输入车辆100的驾驶所涉及的操作的驾驶操作装置rou。在图1中，作为输入装置，还示出了与远程驾驶装置200的各种操作对应的开关swd。作为开关swd，例示出用于切换显示装置dpu的显示的开关、结束车辆100的远程驾驶的开关等。
49.在图1中，作为驾驶操作装置rou，示出了方向盘str、加速器踏板acl、制动器踏板brk。通过方向盘str、加速器踏板acl以及制动器踏板brk的操作，进行车辆100的远程驾驶(转向、加速、制动)。
50.操作者op通常识别输出装置通知的信息，根据识别出的信息来进行输入装置的操作。特别是，操作者op一边视觉辨认显示于显示装置dpu的行驶影像rim，一边以使车辆100进行所期望的行驶的方式进行驾驶操作装置rou的操作。
51.被输入到驾驶操作装置rou的操作的信息(操作信息)被传递给车辆100。车辆100依照获取的操作信息而行驶。在此，车辆100的行驶通过由在图1中未图示的车辆100所具备的控制装置将用于依照操作信息而行驶的控制信号传递给车辆100的各致动器而实现。进而实现车辆100的远程驾驶。
52.1－2.预测行驶路径的显示
53.操作者op经由远程驾驶装置200而进行车辆100的远程驾驶，所以与普通驾驶的情况相比，无法充分地获得驾驶感觉。因此，远程驾驶所涉及的操作比普通驾驶的情况难。相对于此，作为提高操作者op的操作性的手段，考虑将通过远程驾驶装置200的操作而预测出车辆100行驶的路径(以下，还称为“预测行驶路径”。)重叠于显示在显示装置dpu的行驶影像rim而显示。
54.另一方面，由于车辆100与远程驾驶装置200之间的通信，显示于显示装置dpu的行驶影像rim是过去一定时间摄影到的行驶影像rim。另外，在被输入到驾驶操作装置rou的操作作用于车辆100之前产生延迟。因此，当不考虑车辆100与远程驾驶装置200之间的通信而将预测行驶路径重叠于行驶影像rim来显示时，无法充分地降低远程驾驶所涉及的操作的难度。甚至，无法充分地提高操作者op的操作性。
55.因而，本实施方式的远程驾驶系统10的远程驾驶装置200考虑车辆100与远程驾驶装置200之间的延迟时间而进行预测行驶路径的显示。在此，延迟时间包括车辆100与远程驾驶装置200之间的通信以及信息处理所涉及的延迟时间。关于延迟时间的详细内容将在后面叙述。
56.图2是用于说明显示于远程驾驶装置200的显示装置dpu的行驶影像rim的概要的概念图。图2示出了在向右拐的道路上进行车辆100的远程驾驶的情况。在此，在图2的上部，示出了表示车辆100的行驶状况的俯视图，在图2的下部，示出了俯视图所示的状况下的显示装置dpu的显示。如图2的下部所示，在显示装置dpu显示有摄像机110摄影到的行驶影像rim。进而，第1预测行驶路径ptr1(实线)以及第2预测行驶路径ptr2(虚线)重叠于行驶影像rim而显示。
57.以下，将由摄像机110摄影到显示于显示装置dpu的行驶影像rim的时间点还称为“摄影时间点”。另外，将在摄影时间点摄影到的行驶影像rim显示于显示装置dpu的时间点还称为“当前时间点”。进而，将针对当前时间点的行驶影像rim由操作者op输入的驾驶操作装置rou的操作作用于车辆100的时间点还称为“作用时间点”。
58.第1预测行驶路径ptr1是根据直至当前时间点为止所输入的驾驶操作装置rou的操作而预测车辆100行驶的预测行驶路径。第1预测行驶路径ptr1提供从摄影时间点至作用时间点为止的预测行驶路径ptr。
59.第2预测行驶路径ptr2是根据从当前时间点至经过预定时间的时间点为止的驾驶操作装置rou的操作的预测值(以下，还称为“预测操作”。)而预测车辆100行驶的预测行驶路径。此外，预测操作根据直至当前时间点为止所输入的驾驶操作装置rou的操作的信息来计算。第2预测行驶路径ptr2提供作用时间点以后的预测行驶路径ptr。
60.另外，也可以在行驶影像rim中还显示用于明示作用时间点的标记。在图2中，作为用于明示作用时间点的标记，显示有白的圆圈记号。
61.在此，与行驶影像rim的摄影时间点相对的当前时间点以及作用时间点取决于车辆100与远程驾驶装置200之间的延迟时间。因而，考虑车辆100与远程驾驶装置200之间的延迟时间地生成第1预测行驶路径ptr1以及第2预测行驶路径ptr2。
62.此外，在远程驾驶装置200中生成第1预测行驶路径ptr1以及第2预测行驶路径ptr2。因而，在第1预测行驶路径ptr1以及第2预测行驶路径ptr2的生成时，直至当前时间点为止所输入的驾驶操作装置rou的操作的信息不会受到车辆100与远程驾驶装置200之间的通信的影响。
63.操作者op通过识别第1预测行驶路径ptr1以及第2预测行驶路径ptr2，能够逐次确认根据自身的操作预测出车辆100怎样行驶。
64.这样，本实施方式的远程驾驶系统10的远程驾驶装置200将考虑了车辆100与远程驾驶装置200之间的通信的第1预测行驶路径ptr1以及第2预测行驶路径ptr2重叠于行驶影像rim而显示。由此，能够降低远程驾驶所涉及的操作的难度，提高操作者op的操作性。
65.2.结构
66.2－1.远程驾驶系统
67.图3是用于说明本实施方式的远程驾驶系统10的结构的框图。远程驾驶系统10包括车辆100和远程驾驶装置200。
68.车辆100具备摄像机110、传感器类120、控制装置130、致动器类140以及通信装置150。控制装置130构成为能够与传感器类120、致动器类140以及通信装置150相互传递信息。同样地，通信装置150构成为能够与摄像机110、传感器类120以及控制装置130相互传递信息。典型而言，构成利用线束相互电连接的车载网络。
69.摄像机110对车辆100的行驶影像rim进行摄影，输出摄影到的行驶影像rim的信息。在此，作为摄像机110输出的行驶影像rim的信息，包括行驶影像rim的摄影时刻的信息。摄像机110至少对车辆100的前方的行驶影像rim进行摄影。但是，作为摄像机110，也可以包括对其它方向的行驶影像进行摄影的摄像机。在该情况下，摄像机110表示包括多个摄像机的系统。
70.传感器类120是检测车辆100的驾驶环境的信息，输出检测信息的传感器的类别。传感器类120包括内部传感器ins。内部传感器ins至少检测车辆100的行驶状态。也就是说，
作为传感器类120输出的检测信息，至少包括车辆100的行驶状态的信息。在此，作为内部传感器ins检测的行驶状态的信息，包括检测到行驶状态的时刻的信息。作为传感器类120所包含的其它传感器，例示出作为检测车辆100的周围环境(前车、车道、障碍物等)的信息的传感器的毫米波雷达、传感器摄像机、lidar等。
71.控制装置130根据获取的信息来执行车辆100的控制所涉及的各种处理，生成控制信号并输出。控制装置130典型而言是具备存储器和处理器的ecu(electronic control unit，电子控制单元)。存储器包括临时地存储数据的ram(random access memory，随机存取存储器)和存储能够利用处理器来执行的程序、程序所涉及的各种数据的rom(read only memory，只读存储器)。控制装置130获取的信息存储于存储器。处理器从存储器读出程序，根据从存储器读出的各种数据来执行遵循程序的处理。
72.作为控制装置130获取的信息，包括从传感器类120获取的检测信息和从通信装置150获取的通信信息。特别是，作为获取的通信信息，包括远程驾驶装置200所具备的驾驶操作装置rou的操作的信息(操作信息)。但是，也可以获取其它信息。例如，也可以包括从在图3中未图示的车辆100所具备的用于手动驾驶的驾驶操作装置、hmi装置获取的信息。
73.控制装置130至少执行用于实现依照获取到的操作信息的车辆100的行驶的处理。也就是说，生成与获取到的操作信息(转向角、加速器开度、制动器踏板踩踏量等)相应的控制信号而输出。
74.此外，控制装置130执行的各种处理既可以作为1个程序的部分而提供，也可以针对各个处理的每个处理或者针对每一处理而由单独的程序提供。或者，各个处理或者一的处理也可以由单独的ecu执行。在该情况下，控制装置130表示包括多个ecu的系统，各个ecu构成为能够相互传递信息，达到能够获取在处理的执行时所需的信息的程度。
75.致动器类140表示依照从控制装置130提供的控制信号而进行动作的致动器的类别。致动器类140例如包括驱动引擎(内燃机、电动马达或者它们的混合等)的致动器、驱动车辆100所具备的制动器机构的致动器、驱动车辆100的转向机构的致动器。致动器类140所包含的各个致动器依照控制信号进行动作，从而实现由控制装置130进行的车辆100的各种控制。特别是，实现由远程驾驶装置200进行的车辆100的远程驾驶。
76.通信装置150是通过与车辆100的外部的装置进行通信而进行各种信息(通信信息)的收发的装置。通信装置150至少能够与远程驾驶装置200进行信息的收发。典型而言，是与远程驾驶装置200连接的利用电波进行移动通信的装置。但是，通信装置150也可以包括其它方式的装置。例如，也可以包括进行车车间通信、路车间通信的装置、gps(global positioning system，全球定位系统)接收器等。在该情况下，通信装置150表示包括多个装置的类别。
77.作为通信装置150发送的通信信息，至少包括从摄像机110获取的行驶影像rim的信息以及从内部传感器ins获取的行驶状态的信息。作为通信装置150接收的通信信息，至少包括驾驶操作装置rou的操作信息。通信装置150输出接收到的通信信息。
78.远程驾驶装置200具备输出装置210、输入装置220、信息处理装置230以及通信装置250。信息处理装置230构成为能够与输出装置210、输入装置220以及通信装置250相互传递信息。同样地，通信装置250构成为能够与信息处理装置230以及输入装置220相互传递信息。
79.输出装置210是进行用于对远程驾驶装置200的操作者op通知信息的输出的装置的类别。输出装置210依照从信息处理装置230提供的控制信号而进行动作。输出装置210至少包括显示装置dpu。但是，也可以包括其它装置。例如，也可以包括在图1中示出的声响装置sdu。
80.显示装置dpu进行用于对操作者op通知信息的各种显示。显示装置dpu至少显示车辆100的行驶影像rim。显示装置dpu的方式不被特别限定。典型而言，例示有液晶显示器、有机el显示器、抬头显示器、头戴式显示器等。
81.输入装置220是用于输入远程驾驶装置200的操作者op的操作的装置的类别。输入装置220至少包括驾驶操作装置rou。但是，也可以包括其它装置。例如，也可以包括在图1中示出的开关swd。
82.驾驶操作装置rou是用于在远程驾驶时输入车辆100的驾驶(转向、加速、制动)所涉及的操作的装置。驾驶操作装置rou典型而言如图1所示包括方向盘str、加速器踏板acl、制动器踏板brk。驾驶操作装置rou输出所输入的操作的信息(操作信息)。在此，作为驾驶操作装置rou输出的操作信息，包括输入该操作的时刻的信息。
83.信息处理装置230根据获取的信息来执行远程驾驶装置200所涉及的各种处理，生成控制信号并输出。信息处理装置典型而言是具备存储器和处理器的计算机。
84.作为信息处理装置230获取的信息，包括从驾驶操作装置rou获取的操作信息和从通信装置250获取的通信信息。特别是，作为获取的通信信息，包括车辆100所具备的摄像机110摄影的行驶影像的信息以及内部传感器ins检测的行驶状态的信息。信息处理装置获取的信息存储于存储器。特别是，信息处理装置230存储一定期间的操作信息以及行驶状态的信息的数据。
85.信息处理装置230至少执行用于控制输出装置210的输出的处理。特别是，信息处理装置230执行用于在显示装置dpu显示行驶影像rim的处理。
86.通信装置250是与车辆100进行通信而进行各种信息(通信信息)的收发的装置。典型而言，是连接于与车辆100利用电波进行移动通信的连接的通信网络、并经由进行信息的收发的装置。
87.作为通信装置250发送的通信信息，至少包括驾驶操作装置rou的操作信息。作为通信装置250接收的通信信息，至少包括摄像机110摄影的行驶影像的信息以及内部传感器ins检测的行驶状态的信息。通信装置250输出接收到的通信信息。
88.此外，远程驾驶装置200所包含的各个装置也可以不是一体的。例如，信息处理装置230也可以是在因特网等通信网络上构成的服务器(也可以是虚拟的)，通过与输出装置210、输入装置220以及通信装置250进行通信，从而相互进行信息的传递。或者，进而输出装置210与输入装置220也可以分别分离地构成，通过通信相互进行信息的传递。
89.2－2.信息处理装置
90.图4是用于说明信息处理装置230的结构的框图。信息处理装置230具备存储器231和处理器232。
91.存储器231存储行驶影像数据imd、操作信息数据opd、行驶状态数据drd以及行驶影像显示程序dpg。但是，也可以存储其它数据或者程序或者其它信息。
92.行驶影像数据imd是经由通信装置250从摄像机110获取的行驶影像rim的数据。操
作信息数据opd是从驾驶操作装置rou获取的操作信息的一定期间的时间序列数据。行驶状态数据drd是经由通信装置250从内部传感器ins获取的行驶状态的信息的一定期间的时间序列数据。在此，关于操作信息数据opd以及行驶状态数据drd，存储数据的期间是相对于车辆100与远程驾驶装置200之间的延迟时间足够长的期间。例如，存储10sec期间的时间序列数据。
93.行驶影像显示程序dpg是用于在显示装置dpu显示行驶影像rim的处理所涉及的程序。
94.处理器232从存储器231读出程序，根据从存储器231读出的各种数据来执行遵循程序的处理。特别是，处理器232从存储器231读出行驶影像显示程序dpg，依照行驶影像显示程序dpg而执行用于在显示装置dpu显示行驶影像rim的处理。由此，生成用于在显示装置dpu显示行驶影像rim的控制信号，所生成的控制信号从信息处理装置230传递给显示装置dpu。然后，依照提供给显示装置dpu的控制信号而进行显示，从而在显示装置dpu显示行驶影像rim。关于处理器232依照行驶影像显示程序dpg而执行的处理的详细内容将在后面叙述。
95.3.功能
96.3－1.行驶影像显示程序所涉及的处理
97.图5是示出处理器232依照行驶影像显示程序dpg执行的处理的流程图。图5所示的处理在与远程驾驶装置200的启动同等的定时开始，每隔预定的周期重复地执行。
98.在步骤s100中，处理器232获取行驶影像rim的显示所需的数据。至少获取行驶影像数据imd、操作信息数据opd以及行驶状态数据drd。在步骤s100之后，处理进入到步骤s200。
99.在步骤s200中，处理器232计算车辆100与远程驾驶装置200之间的延迟时间。关于计算的延迟时间的详细内容将在后面叙述。在步骤s200之后，处理进入到步骤s300。
100.在步骤s300中，处理器232生成第1预测行驶路径以及第2预测行驶路径。关于步骤s300中的处理的详细内容将在后面叙述。在步骤s300之后，处理进入到步骤s400。
101.在步骤s400中，处理器232执行用于将把第1预测行驶路径以及第2预测行驶路径重叠于行驶影像rim的显示显示于显示装置dpu的处理。在步骤s400之后，在经过预定的周期后再次返回到步骤s100，重复处理。
102.3－2.延迟时间的计算
103.处理器232计算车辆100与远程驾驶装置200之间的延迟时间(图5中的步骤s200)。图6是用于说明车辆100与远程驾驶装置200之间的延迟时间的概念图。
104.图6沿着时间的流程而示出从摄影时间点至作用时间点为止的车辆100、远程驾驶装置200以及操作者op各自的事件(用圆圈记号表示)，用dti(i＝1～7)表示在各个事件期间经过的时间。也就是说，处理器232作为车辆100与远程驾驶装置200之间的延迟时间而计算各个dti。
105.dt1是从行驶影像rim被摄影的摄影时间点至进行通信信息(包括摄影时间点下的行驶影像rim以及行驶状态的信息)的发送为止经过的时间。也就是说，是在车辆100中用于发送通信信息的信息处理所涉及的延迟时间。这能够通过摄像机110、传感器类120以及通信装置150的处理时间的测量得到。也可以使用过去测量出的处理时间的数据的平均值、根
据数据推测的值。进而，也可以将摄像机110的快门速度加到延迟时间。在该情况下，例如通过获取摄像机110的设定信息，能够提供快门速度。
106.dt2是从车辆100发送通信信息直至由远程驾驶装置200接收到该通信信息为止经过的时间。也就是说，是车辆100与远程驾驶装置200之间的通信的上行链路所涉及的延迟时间。这能够根据车辆100发送通信信息的时刻与远程驾驶装置200接收通信信息的时刻的差分来提供。此时，例如通过使用由车辆100和远程驾驶装置200构成的通信网络上的ntp服务器使车辆100以及远程驾驶装置200的时刻同步，能够精度良好地提供差分。
107.dt3是从远程驾驶装置200接收通信信息起至将摄影时间点下的行驶影像rim显示于显示装置dpu为止经过的时间。也就是说，是在远程驾驶装置200中用于行驶影像rim的显示的信息处理所涉及的延迟时间。这能够通过显示装置dpu、信息处理装置230以及通信装置250的处理时间的测量得到。也可以使用过去测量出的处理时间的数据的平均值、根据数据推测的值。进而，也可以考虑显示于显示装置dpu的行驶影像rim的数据量来进行延迟时间的推测。
108.dt4是从行驶影像rim显示于显示装置dpu(当前时间点)起至操作者op识别该行驶影像rim而进行驾驶操作装置rou的操作为止经过的时间。也就是说，是操作者op的操作所涉及的反应时间。这能够根据普通人的反应时间提供。例如设为200ms。
109.dt5是从操作者op的操作被输入到驾驶操作装置rou起至进行通信信息(包括所输入的操作的信息)的发送为止经过的时间。也就是说，是在远程驾驶装置200中用于发送通信信息的信息处理所涉及的延迟时间。这能够通过远程驾驶装置200以及通信装置250的处理时间的测量得到。也可以使用过去测量出的处理时间的数据的平均值、根据数据推测的值。
110.dt6是从远程驾驶装置200发送通信信息直至车辆100接收到该通信信息为止经过的时间。也就是说，是车辆100与远程驾驶装置200之间的通信的下行链路所涉及的延迟时间。这能够与dt6同样地提供。
111.dt7是从远程驾驶装置200接收到通信信息起至致动器类140根据对当前时间点下的行驶影像rim输入的驾驶操作装置rou的操作进行驱动(作用时间点)为止经过的时间。也就是说，是在车辆100中用于进行致动器类140的驱动的信息处理所涉及的延迟时间。这能够通过控制装置130以及通信装置150的处理时间的测量得到。也可以使用过去测量出的处理时间的数据的平均值、根据数据推测的值。进而，也可以将致动器类140的驱动时间加到延迟时间。在该情况下，例如能够根据致动器类140所包含的各个致动器的规格来提供驱动时间。
112.此外，处理器232计算各个dti而更新的频度也可以因各个dti不同而不同。例如，dt2、dt6也可以每当进行延迟时间的计算时更新，另一方面，dt5、dt7也可以在预定的定时进行更新。
113.以下，将dt1～dt7的合计的延迟时间还称为“总延迟时间”。另外，将dt1～dt3的合计的延迟时间还称为“显示延迟时间”。将dt4～dt7的合计的延迟时间还称为“作用延迟时间”。
114.3－3.预测行驶路径生成
115.处理器232执行生成重叠于行驶影像rim而显示的第1预测行驶路径以及第2预测
行驶路径的处理(以下，还称为“预测行驶路径生成处理”。)(图5中的步骤s300)。图7是示出处理器232在预测行驶路径生成处理中执行的处理的流程图。
116.在步骤s310中，处理器232计算预测操作。预测操作是从当前时间点至经过预定时间的时间点为止的驾驶操作装置rou的操作的预测值，根据直至当前时间点为止所输入的驾驶操作装置rou的操作的信息而计算。在此，关于驾驶操作装置rou所包含的装置(方向盘str、加速器踏板acl、制动器踏板brk等)分别计算预测操作。另外，预定时间是预先提供给行驶影像显示程序dpg的时间，与采用本实施方式的远程驾驶系统10的环境相匹配地被在实验上最佳地决定。
117.图8是用于说明对基于方向盘str的转向所涉及的操作进行计算的预测操作的例子的图。在图8中，示出了按照顺时针旋转的方向使方向盘str转向的情况，示出了在当前时间点正在进行该转向所涉及的操作的情况。例如，是将要在向右拐的道路上行驶的情况。
118.现在，如图8所示，设为以使转向角以一定的增加量增加的方式在当前时间点之前输入方向盘str的操作。此时，处理器232如图8所示，作为预测操作而计算直至经过预定时间的时间点为止转向角以同等的增加量增加的方向盘str的操作。或者，也可以使用卡尔曼滤波器来推测预测操作。或者，也可以考虑车辆100的周围环境的信息。例如，也可以考虑要行驶的道路的形状，计算预测操作。
119.再次参照图7。在步骤s310之后，处理进入到步骤s320。
120.在步骤s320中，处理器232生成第1预测行驶路径ptr1。第1预测行驶路径ptr1是根据直至当前时间点为止所输入的驾驶操作装置rou的操作而预测车辆100行驶的预测行驶路径。第1预测行驶路径ptr1根据操作信息数据opd、行驶状态数据drd以及车辆100与远程驾驶装置200之间的延迟时间而生成。在此，延迟时间是处理器232计算出的延迟时间。
121.第1预测行驶路径ptr1提供从摄影时间点至作用时间点为止的预测行驶路径ptr。例如处理器232根据延迟时间的信息，从操作信息数据opd选择在摄影时间点尚未作用于车辆100的当前时间点之前的驾驶操作装置rou的操作的信息。这能够设为是从当前时间点起过去总延迟时间的时间点至当前时间点为止所输入的驾驶操作装置rou的操作的信息而进行。另外，从行驶状态数据drd选择摄影时间点下的车辆100的行驶状态的信息。这能够设为是从当前时间点起过去显示延迟时间的时间点的行驶状态的信息而进行。然后，设为所选择的操作作用于为所选择的行驶状态的车辆100，生成第1预测行驶路径ptr1。
122.在步骤s320之后，处理进入到步骤s330。
123.在步骤s330中，处理器232生成第2预测行驶路径ptr2。第2预测行驶路径ptr2是根据在步骤s310中计算出的预测操作而预测车辆100行驶的预测行驶路径。第2预测行驶路径ptr2根据操作信息数据opd、行驶状态数据drd、车辆100与远程驾驶装置200之间的延迟时间以及预测操作的信息而生成。在此，延迟时间是处理器232计算出的延迟时间。
124.第2预测行驶路径ptr2提供作用时间点以后的预测行驶路径ptr。例如处理器232根据操作信息数据opd、行驶状态数据drd以及延迟时间的信息，预测作用时间点下的车辆100的行驶状态。在此，作用时间点能够设为是从当前时间点起经过作用延迟时间的时间点而计算。然后，设为预测操作在作用时间点以后作用于车辆100，生成第2预测行驶路径ptr2。
125.在步骤s330之后，预测行驶路径生成处理结束。此外，在预测行驶路径生成处理中
生成的第1预测行驶路径ptr1以及第2预测行驶路径ptr2作为地图上的位置的信息而提供。例如，是在2维的地图上的位置的信息中提供的路径(参照图2的上部)。
126.图7所示的处理的顺序是一个例子，也可以适当地调换处理的顺序。例如，也可以在执行预测操作的计算(步骤s310)的处理之前，执行第1预测行驶路径的生成(步骤s320)的处理。除此之外，也可以在第1预测行驶路径的生成(步骤s320)的处理之前预先执行计算作用时间点的处理。
127.3－4.显示处理
128.处理器232执行用于将把第1预测行驶路径ptr1以及第2预测行驶路径ptr2重叠于行驶影像rim的显示显示于显示装置dpu的处理(图5中的步骤s400)。在该处理中，处理器232以成为重叠于行驶影像rim的显示的方式，进行第1预测行驶路径ptr1以及第2预测行驶路径ptr2的坐标变换。然后，生成用于将行驶影像rim显示于显示装置dpu的控制信号。由此，在显示装置dpu中，将第1预测行驶路径ptr1以及第2预测行驶路径ptr2重叠于行驶影像rim的显示显示于行驶影像rim(参照图2的下部)。在此，第1预测行驶路径ptr1以及第2预测行驶路径ptr2的坐标变换典型而言根据摄像机110的安装位置以及摄像机110的模型而进行。
129.4.效果
130.如以上说明，本实施方式的远程驾驶系统10的远程驾驶装置200将考虑了车辆100与远程驾驶装置200之间的延迟时间的第1预测行驶路径ptr1以及第2预测行驶路径ptr2重叠于行驶影像rim而显示。特别是，第2预测行驶路径ptr2是根据预测操作而预测车辆100行驶的预测行驶路径。
131.由此，操作者op通过识别第1预测行驶路径ptr1以及第2预测行驶路径ptr2，能够逐次确认根据自身的操作预测出车辆100怎样行驶，远程驾驶所涉及的操作的难度降低。进而能够提高操作者op的操作性。
132.特别是，在当生成第1预测行驶路径ptr1以及第2预测行驶路径ptr2时考虑的车辆100与远程驾驶装置200之间的延迟时间中，包含操作者op操作驾驶操作装置rou所涉及的反应时间。该反应时间是延迟时间中的占据大的比例的部分(4成左右)。因而，作为延迟时间而考虑反应时间，从而能够进一步提高第1预测行驶路径ptr1以及第2预测行驶路径ptr2的精度。
133.另外，在本实施方式的远程驾驶系统10中，在远程驾驶装置200中，生成第1预测行驶路径ptr1以及第2预测行驶路径ptr2。因而，第1预测行驶路径ptr1以及第2预测行驶路径ptr2能够考虑直至当前时间点为止所输入的所有的驾驶操作装置rou的操作的信息而生成。也就是说，驾驶操作装置rou的操作的信息不会受到车辆100与远程驾驶装置200之间的通信的影响。进而能够精度良好地生成第1预测行驶路径ptr1以及第2预测行驶路径ptr2。
134.进而，第2预测行驶路径ptr2根据预测操作而生成。由此，操作者op能够逐次确认根据自身的操作的倾向预测出在作用时间点以后车辆100怎样行驶。进而能够提高操作者op的操作性。
135.5.变形例
136.本实施方式的远程驾驶系统10也可以采用如下变形的方案。此外，以下适当地省略在前述内容中已经说明的事项。
137.5－1.变形例1
138.处理器232也可以当将行驶影像rim显示于显示装置dpu时，还显示表示预测车辆100通过第1预测行驶路径ptr1以及第2预测行驶路径ptr2的特定的地点的时间的显示。图9是示出在本实施方式的变形例1的远程驾驶系统10中显示于显示装置dpu的行驶影像rim的例子的概念图。如图9所示，在行驶影像rim中，在预测行驶路径ptr上的特定的地点处显示有时间。这表示预测在经过所显示的时间后车辆100通过对应的地点。由此，能够进一步提高操作者op的操作性。
139.5－2.变形例2
140.处理器232也可以在预测行驶路径生成处理中进一步生成表示在经过预定时间的时间点之前维持当前时间点下的驾驶操作装置rou的转向所涉及的操作的情况下的作用时间点以后的预测行驶路径的第3预测行驶路径。然后，处理器232也可以将把第3预测行驶路径与第1预测行驶路径ptr1以及第2预测行驶路径ptr2一并重叠于行驶影像rim的显示显示于显示装置dpu。
141.例如处理器232根据操作信息数据opd、行驶状态数据drd以及延迟时间的信息，预测作用时间点下的车辆100的行驶状态。然后，设为在作用时间点以后维持当前时间点下的驾驶操作装置rou的转向所涉及的操作并作用于车辆100，而生成第3预测行驶路径。
142.图10是用于说明在本实施方式的变形例2的远程驾驶系统10中显示于显示装置dpu的行驶影像rim的概要的概念图。图10示出了与图2同样的图。如图10所示，在显示于显示装置dpu的行驶影像rim中，还重叠地显示有第3预测行驶路径ptr3(双点划线)。由此，操作者op能够确认不仅根据预测操作、还根据当前时间点下的驾驶操作装置rou的操作预测出车辆100怎样行驶。进而能够进一步提高操作者的操作性。

技术特征：

1.一种远程驾驶系统，进行车辆的远程驾驶，所述远程驾驶系统的特征在于，包括：摄像机，搭载于所述车辆，对所述车辆的行驶影像进行摄影；传感器，搭载于所述车辆，检测所述车辆的行驶状态；以及远程驾驶装置，与所述车辆进行通信，远程地驾驶所述车辆，所述远程驾驶装置具备：驾驶操作装置，用于输入驾驶所涉及的操作；显示装置；以及信息处理装置，连接于所述驾驶操作装置以及所述显示装置，所述信息处理装置执行：获取由所述摄像机摄影到的所述行驶影像的处理；获取由所述传感器检测到的所述行驶状态的处理；计算所述车辆与所述远程驾驶装置之间的通信以及信息处理所涉及的延迟时间的处理；根据直至当前时间点为止所输入的所述驾驶操作装置的操作的信息，计算从所述当前时间点至经过预定时间的时间点为止的所述驾驶操作装置的预测操作的处理；根据所述延迟时间，计算在所述当前时间点输入的所述驾驶操作装置的操作作用于所述车辆的作用时间点的处理；根据所述行驶状态的信息、所述驾驶操作装置的操作的信息以及所述延迟时间，生成基于直至所述当前时间点为止所输入的所述驾驶操作装置的操作的从所述行驶影像的摄影时间点至所述作用时间点为止的所述车辆的第1预测行驶路径的处理；生成基于所述预测操作的所述作用时间点以后的所述车辆的第2预测行驶路径的处理；以及在所述显示装置中对将所述第1预测行驶路径以及所述第2预测行驶路径重叠于所述行驶影像的显示进行显示的显示处理。2.根据权利要求1所述的远程驾驶系统，其特征在于，所述信息处理装置进一步执行生成第3预测行驶路径的处理，所述第3预测行驶路径是在所述经过预定时间的时间点之前维持所述当前时间点下的所述驾驶操作装置的转向所涉及的操作的情况下的所述作用时间点以后的所述车辆的预测行驶路径，在所述显示处理中，将所述第3预测行驶路径与所述第1预测行驶路径以及所述第2预测行驶路径一并显示。3.根据权利要求1或者2所述的远程驾驶系统，其特征在于，所述延迟时间包括进行所述远程驾驶装置的操作的操作者的操作所涉及的反应时间。4.一种远程驾驶装置，与车辆进行通信，远程地驾驶所述车辆，所述远程驾驶装置的特征在于，具备：显示装置；驾驶操作装置，用于输入驾驶所涉及的操作；以及信息处理装置，所述信息处理装置执行：获取所述车辆的行驶影像的处理；
获取所述车辆的行驶状态的处理；计算所述车辆与所述远程驾驶装置之间的通信以及信息处理所涉及的延迟时间的处理；根据直至当前时间点为止所输入的所述驾驶操作装置的操作的信息，计算从所述当前时间点至经过预定时间的时间点为止的所述驾驶操作装置的预测操作的处理；根据所述延迟时间，计算在所述当前时间点输入的所述驾驶操作装置的操作作用于所述车辆的作用时间点的处理；根据所述行驶状态的信息、所述驾驶操作装置的操作的信息以及所述延迟时间，生成基于直至所述当前时间点为止所输入的所述驾驶操作装置的操作的从所述行驶影像的摄影时间点至所述作用时间点为止的所述车辆的第1预测行驶路径的处理；生成基于所述预测操作的所述作用时间点以后的所述车辆的第2预测行驶路径的处理；以及在所述显示装置中对将所述第1预测行驶路径以及所述第2预测行驶路径重叠于所述行驶影像的显示进行显示的显示处理。5.根据权利要求4所述的远程驾驶装置，其特征在于，所述信息处理装置进一步执行生成第3预测行驶路径的处理，所述第3预测行驶路径是在所述经过预定时间的时间点之前维持所述当前时间点下的所述驾驶操作装置的转向所涉及的操作的情况下的所述作用时间点以后的所述车辆的预测行驶路径，在所述显示处理中，将所述第3预测行驶路径与所述第1预测行驶路径以及所述第2预测行驶路径一并显示。6.根据权利要求4或者5所述的远程驾驶装置，其特征在于，所述延迟时间包括进行所述远程驾驶装置的操作的操作者的操作所涉及的反应时间。7.一种行驶影像显示方法，将车辆的行驶影像显示于远程驾驶装置所具备的显示装置，所述远程驾驶装置与所述车辆进行通信，远程地驾驶所述车辆，所述行驶影像显示方法的特征在于，驾驶操作装置配备于所述远程驾驶装置，是用于输入驾驶所涉及的操作的装置，所述行驶影像显示方法使计算机执行：获取所述行驶影像的处理；获取所述车辆的行驶状态的处理；计算所述车辆与所述远程驾驶装置之间的通信以及信息处理所涉及的延迟时间的处理；根据直至当前时间点为止所输入的所述驾驶操作装置的操作的信息，计算从所述当前时间点至经过预定时间的时间点为止的所述驾驶操作装置的预测操作的处理；根据所述延迟时间，计算在所述当前时间点输入的所述驾驶操作装置的操作作用于所述车辆的作用时间点的处理；根据所述行驶状态的信息、所述驾驶操作装置的操作的信息以及所述延迟时间，生成基于直至所述当前时间点为止所输入的所述驾驶操作装置的操作的从所述行驶影像的摄影时间点至所述作用时间点为止的所述车辆的第1预测行驶路径的处理；生成基于所述预测操作的所述作用时间点以后的所述车辆的第2预测行驶路径的处
理；以及在所述显示装置中对将所述第1预测行驶路径以及所述第2预测行驶路径重叠于所述行驶影像的显示进行显示的显示处理。8.根据权利要求7所述的行驶影像显示方法，其特征在于，所述行驶影像显示方法还包括生成第3预测行驶路径的处理，所述第3预测行驶路径是在所述经过预定时间的时间点之前维持所述当前时间点下的所述驾驶操作装置的转向所涉及的操作的情况下的所述作用时间点以后的所述车辆的预测行驶路径，在所述显示处理中，将所述第3预测行驶路径与所述第1预测行驶路径以及所述第2预测行驶路径一并显示。9.根据权利要求7或者8所述的行驶影像显示方法，其特征在于，所述延迟时间包括进行所述远程驾驶装置的操作的操作者的操作所涉及的反应时间。

技术总结

本发明涉及远程驾驶系统、远程驾驶装置及行驶影像显示方法。提出能提高与车辆进行通信并远程地驾驶车辆的远程驾驶装置的操作者的驾驶所涉及的操作性的远程驾驶系统。该远程驾驶系统的远程驾驶装置具备驾驶操作装置，输入驾驶所涉及的操作；显示装置；信息处理装置。信息处理装置执行如下处理计算车辆与远程驾驶装置间的延迟时间；计算从当前时间点至经过预定时间的时间点为止的驾驶操作装置的预测操作；计算基于直至当前时间点为止所输入的驾驶操作装置的操作的从摄影时间点至作用时间点为止的车辆的第1预测行驶路径及基于预测操作的作用时间点以后的车辆的第2预测行驶路径；将第1预测行驶路径及第2预测行驶路径重叠于车辆的行驶影像而显示。车辆的行驶影像而显示。车辆的行驶影像而显示。