绘制系统、显示系统、移动体、绘制方法以及程序与流程

1.本公开一般涉及一种绘制系统、显示系统、移动体、绘制方法以及程序，更详细地说，涉及一种基于探测对象物的探测系统的探测结果来进行图像的绘制的绘制系统、显示系统、移动体、绘制方法以及程序。

背景技术：

2.在专利文献1中记载了一种用于在车辆内的画面显示接近移动体的接近移动体显示装置。在该接近移动体显示装置中，基于由配置于十字路口等的摄像机拍摄到的图像来识别在摄像机的前方的道路上移动的接近移动体(移动体)，并根据识别出的接近移动体的位置信息来计算该移动体在画面上的虚拟显示位置。
3.并且，专利文献1所记载的接近移动体显示装置具有校正功能，用于基于由显示部进行显示的显示时间点相对于图像的摄像时间点的时间延迟来校正接近移动体的虚拟显示位置。具体地说，在校正功能中，根据摄像图像来计算摄像机与接近移动体之间的距离以及接近移动体的移动速度等，根据计算结果并且基于时间延迟对接近移动体的虚拟显示位置进行校正。
4.但是，在专利文献1所记载的结构中，基本上，摄像机定点设置于十字路口等，无法消除伴随用于探测对象物(接近移动体)的探测系统(摄像机)自身的移动而产生的显示位置的偏移。
5.现有技术文献
6.专利文献
7.专利文献1：日本特开2008-46744号公报

技术实现要素：

8.本公开的目的在于提供一种能够减少伴随探测系统自身的移动而产生的显示位置的偏移的绘制系统、显示系统、移动体、绘制方法以及程序。
9.本公开的一个方式所涉及的绘制系统具备绘制部和校正部。所述绘制部基于探测系统的探测结果来进行与对象物的位置相应的标记的绘制。所述探测系统搭载于移动体，用于探测所述对象物。所述校正部通过根据校正数据对基于所述探测系统的探测结果得到的所述对象物的位置进行校正，来决定由所述绘制部绘制的所述标记的绘制位置。所述校正数据是至少基于与所述移动体的移动状况有关的移动信息而求出的。
10.本公开的一个方式所涉及的显示系统具备所述绘制系统、以及用于显示由所述绘制系统绘制出的所述标记的显示装置。
11.本公开的一个方式所涉及的移动体具备显示系统和搭载所述显示系统的移动体主体。
12.本公开的一个方式所涉及的绘制方法包括绘制处理和校正处理。所述绘制处理是基于探测系统的探测结果来进行与对象物的位置相应的标记的绘制的处理。所述探测系统
搭载于移动体，用于探测所述对象物。所述校正处理是以下处理：通过根据校正数据对基于所述探测系统的探测结果得到的所述对象物的位置进行校正，来决定通过所述绘制处理绘制的所述标记的绘制位置。所述校正数据是至少基于与所述移动体的移动状况有关的移动信息而求出的。
13.本公开的一个方式所涉及的程序是用于使一个以上的处理器执行所述绘制方法的程序。
附图说明
14.图1是示出实施方式1所涉及的绘制系统和显示系统的结构的概要框图。
15.图2是表示用于说明该实施方式1所涉及的显示系统的动作例的用户视野的说明图。
16.图3是用于说明图2的情况的俯瞰图。
17.图4是概念性地表示在该实施方式1所涉及的绘制系统中产生延迟的情形的示意图。
18.图5是表示用于说明该实施方式1所涉及的显示系统的动作例的第一场景的概念图。
19.图6a示出用于说明该实施方式1所涉及的显示系统的动作例的用户视野的一部分，是在校正前位置处绘制了标记的情况下的说明图。图6b示出用于说明该实施方式1所涉及的显示系统的动作例的用户视野的一部分，是在校正后位置处绘制了标记的情况下的说明图。
20.图7是用于说明该实施方式1所涉及的绘制系统的动作例的概念图。
21.图8是表示用于说明该实施方式1所涉及的显示系统的第二场景中的动作例的用户视野的说明图。
22.图9是表示用于说明该实施方式1所涉及的显示系统的动作例的第二场景的概念图。
23.图10是说明实施方式1所涉及的绘制系统和显示系统的整体动作的流程图。
24.图11是示出实施方式2所涉及的绘制系统和显示系统的结构的概要框图。
具体实施方式
25.(实施方式1)
26.(1)概要
27.首先，参照图1～图3对本实施方式所涉及的绘制系统1的概要进行说明。
28.本实施方式所涉及的绘制系统1是基于探测系统3的探测结果d1来进行标记m1(参照图2)的绘制的系统。探测系统3是用于探测对象物50(参照图2)的系统。在本实施方式中，探测系统3搭载于移动体6(参照图2)。
29.在本实施方式中，绘制系统1与显示装置2一同构成显示系统10。换言之，本实施方式所涉及的显示系统10具备绘制系统1和显示装置2。显示装置2是用于显示由绘制系统1绘制出的标记m1的装置。
30.例如，如图2和图3所示，在用于探测移动体6的前方的“行人”等的探测系统3探测
到行人等作为对象物50的情况下，该绘制系统1进行与该对象物50的位置相应的标记m1的绘制。而且，通过由显示装置2显示由绘制系统1绘制出的标记m1，例如图2所示的那样，能够在从用户62观察时的对象物50(行人)的脚下显示标记状的标记m1。
31.本实施方式所涉及的显示系统10搭载于移动体主体61(参照图2)，与移动体主体61一同构成移动体6(参照图2)。即，本实施方式所涉及的移动体6具备显示系统10和移动体主体61。在移动体主体61中搭载有显示系统10。
32.在此，本实施方式所涉及的绘制系统1具备绘制部11和校正部12。绘制部11基于探测系统3的探测结果d1来进行与对象物50的位置相应的标记m1的绘制。探测系统3搭载于移动体6，用于探测对象物50。校正部12通过根据校正数据d2对基于探测系统3的探测结果d1得到的对象物50的位置进行校正，来决定由绘制部11绘制的标记m1的绘制位置。在此，校正数据d2是至少基于与移动体6的移动状况有关的移动信息而求出的。
33.根据该结构，绘制部11不是在基于探测系统3的探测结果d1得到的对象物50的位置处绘制标记m1，而是在由校正部12基于校正数据d2进行了校正后的绘制位置处绘制标记m1。因此，例如，即使产生了由于探测系统3内的处理引起的延迟或者由于从探测系统3向绘制系统1传送探测结果d1引起的延迟等，也能够减小这些延迟对于最终显示的标记m1的显示位置的影响。尤其是，校正部12基于搭载有探测系统3的移动体6的移动状况来进行校正，因此能够减少伴随在如上述那样的延迟的期间(延迟期间)内的探测系统3自身的移动而产生的显示位置的偏移。
34.另外，本实施方式所涉及的绘制系统1具备绘制部11和插值部13。绘制部11至少每隔第一周期t1(参照图7)基于探测系统3的探测结果d1进行与对象物50的位置相应的标记m1的绘制。在此所说的探测系统3探测对象物50，每隔第一周期t1输出探测结果d1。在绘制部11每隔比第一周期t1短的第二周期t2(参照图7)更新标记m1时，插值部13基于插值数据d3插值出作为更新后的标记m1的插值标记m11(参照图7)。
35.根据该结构，在绘制部11更新标记m1的第二周期t2比探测系统3输出探测结果d1的第一周期t1短的情况下，基于插值数据d3插值出更新后的标记m1(插值标记m11)。因而，例如，即使在从探测系统3输出探测结果d1起到下一次输出探测结果d1为止的第一周期t1的期间，也能够每当更新标记m1时就使标记m1变化，标记m1比较顺畅地运动。其结果是，不易产生标记m1的不自然的行为。
36.(2)详情
37.下面，参照图1至图10来详细地说明本实施方式所涉及的绘制系统1、显示系统10以及移动体6。
38.(2.1)前提
39.如上所述，本公开中所说的“移动体”具备显示系统10和移动体主体61。在本实施方式中，作为一例，设为移动体6是由人驾驶的汽车(乘用车)。
40.本公开中所说的“标记”是指以用户62(参照图2)能够目视确认的方式通过显示装置2进行显示的图像。标记m1可以是图形、符号、字符、数字、图案或照片等、或者它们的组合。该种标记m1包括动态图像(运动图像)和静态图像(静止图像)。并且，“动态图像”包括由通过逐帧拍摄等得到的多个静态图像构成的图像。在本实施方式中，作为一例，假定为绘制系统1绘制的标记m1是以规定的刷新率进行更新(也就是进行重写)的动态图像。并且，在本
实施方式中，作为一例，假定为绘制系统1绘制的标记m1是在由相互正交的x轴、y轴、z轴这3个轴构成的三维空间上进行显示的三维图像。也就是说，通过绘制系统1绘制的标记m1是以下的三维图像：除了具有纵向上和横向上的位置信息以外，还具有与从探测系统3到对象物50的距离相应的深度方向上的位置信息。
41.本公开中所说的“用户”是指观察由绘制系统1绘制的标记m1、也就是由显示系统10显示的标记m1的人。在本实施方式中，作为一例，假定为作为移动体6的汽车的驾驶者(driver)是用户62。
42.本公开中所说的“对象物”是成为探测系统3的探测对象的目标物，存在人或小动物等生物、或者其它移动体、墙壁、护栏或信号灯等构造物等。在此所说的“人”包括行人、跑步的人、站住的人、坐着的人、躺着的人以及骑自行车的人等。并且，对象物50不限于三维的目标物，例如描画于道路上的白线或字符等二维的目标物也能够包括在对象物50中。在本实施方式中，将想要使驾驶移动体6的用户62关注的位于移动体6的周边、尤其位于移动体6的行进方向上的前方的目标物设为对象物50的例子。具体地说，除了图8和图9的例子以外，对于对象物50是位于移动体6的行进方向上的前方的行人51的情况进行说明。在图8和图9的例子中，对象物50是位于移动体6的行进方向上的前方的信号灯55。
43.本公开中所说的“移动状况”是指与移动有关的状况，例如包括移动速度、移动量(包括移动距离和移动角度)、移动方向、加速度、移动时间或者移动时的姿势等。例如，如果是移动体6的移动状况，则包括移动体6的移动速度、移动量、移动方向或者加速度等。这样的移动状况例如是车速脉冲、施加于移动体主体61的加速度、加速踏板的踩下量(油门开度)、制动踏板的踩下量或者转向角等，能够通过搭载于移动体主体61的传感器进行检测。并且，移动体6的移动状况也能够根据能够使用gps(global positioning system：全球定位系统)等检测出的移动体主体61的位置信息来进行检测。
44.本公开中所说的“第一周期”是探测系统3输出探测结果d1的周期。也就是说，探测系统3每隔第一周期t1输出探测结果d1。另外，本公开中所说的“第二周期”是绘制部11更新标记m1的周期。也就是说，绘制部11每隔第二周期t2更新(也就是重写)标记m1。而且，当将第一周期t1与第二周期t2进行比较时，第二周期t2相对短，第一周期t1相对长(t1》t2)。总而言之，绘制部11更新标记m1的周期(第二周期t2)比探测系统3输出探测结果d1的周期(第一周期t1)短，因此在探测系统3输出一次探测结果d1的期间，绘制部11将标记m1更新一次以上。在本实施方式中，作为一例，假定为第一周期t1为600ms，第二周期t2为100ms。
45.(2.2)整体结构
46.接下来，对本实施方式所涉及的绘制系统1、显示系统10以及移动体6的整体结构进行说明。
47.如图1所示，绘制系统1连接有显示装置2和探测系统3。显示装置2及探测系统3与绘制系统1一同搭载于移动体6的移动体主体61。也就是说，本实施方式所涉及的移动体6除了具备绘制系统1和移动体主体61之外，还具备显示装置2和探测系统3。
48.并且，绘制系统1连接有移动体主体61的ecu(electronic control unit：电子控制单元)4。在本实施方式中，设为ecu 4不包括在绘制系统1的构成要素中，但ecu 4也可以包括在绘制系统1的构成要素中。
49.显示装置2用于显示由绘制系统1绘制出的标记m1。在此，从绘制系统1向显示装置
2输入图像数据d4。图像数据d4包括由绘制系统1绘制出的标记m1。因此，显示装置2通过进行图像数据d4的显示来显示由绘制系统1绘制出的标记m1。
50.在本实施方式中，作为一例，显示装置2是平视显示器(hud：head-up display)。该显示装置2通过从下方向移动体主体61的挡风玻璃611(参照图2)投影标记m1，来使用户62(移动体6的驾驶者)目视确认被挡风玻璃611反射的标记m1。
51.根据这样的显示装置2，用户62感知被投影到移动体6的前方(车外)的空间的虚像使得透过挡风玻璃611目视确认该虚像。本公开中所说的“虚像”是指在从显示装置2射出的光在挡风玻璃611等反射物上发散时，由该发散光线如实际存在物体那样所成的像。因此，驾驶移动体6的用户62目视确认叠加于在移动体6的前方扩展的实际空间中的作为由显示装置2投影的虚像的标记m1。
52.尤其，在本实施方式中，标记m1是具有与从探测系统3到对象物50的距离相应的深度方向上的位置信息的三维图像。因此，显示装置2能够将被目视确认为具有深度的标记m1投影到移动体6的前方的路面54上。
53.具体地说，如图2所示，显示装置2在用户62(移动体6的驾驶者)的视野中，在由探测系统3探测到的对象物50(在此为行人51)的周边的位置显示标记m1。由此，在用户62侧，观察到在对象物50的周边叠加地显示有立体的标记m1，因此能够使用户62注意到对象物50。即，在用户62的视野中实现在实际空间上合成了显示装置2所显示的标记m1的增强现实(ar：augmented reality)显示。
54.并且，显示装置2与绘制系统1一体化，构成显示系统10的绘制系统1及显示装置2收容于一个壳体内。而且，显示系统10(绘制系统1和显示装置2)设置于移动体主体61的仪表盘612内。
55.如上所述，探测系统3搭载于移动体6(移动体主体61)。作为探测系统3，例如利用移动体6的先进驾驶辅助系统(adas：advanced driver assistance system)或自动驾驶系统等探测系统3。在先进驾驶辅助系统或自动驾驶技术中，通过探测系统3能够探测例如移动体6的周边的对象物50的存在。
56.探测系统3例如具有摄像机31(参照图4)、声纳传感器、雷达以及lidar(light detection and ranging：光探测和测距)等感测单元。探测系统3通过这些感测单元来探测位于移动体6的周边、尤其位于移动体6的行进方向上的前方的对象物50。探测系统3每隔第一周期t1将探测结果d1输出到绘制系统1。
57.在本实施方式中，例如，如图4所示，探测系统3除了具有摄像机31等感测单元之外，还具有处理部32和通信部33。处理部32对摄像机31等的输出信号进行适当的信号处理，来探测对象物50。通信部33通过与绘制系统1进行通信，来将探测结果d1输出(发送)到绘制系统1。
58.探测系统3的探测结果d1包括在监视区域(移动体6的行进方向上的前方的预定区域)中有无对象物50的信息。并且，在存在对象物50的情况下，探测系统3的探测结果d1包括与从探测系统3(移动体6)观察到的对象物50的相对位置有关的信息、以及与对象物50的属性有关的信息。
59.本公开中所说的“相对位置”是指以探测系统3(移动体6)的代表点p1(参照图5)为基准的情况下的、从代表点p1观察到的对象物50的代表点p2(参照图5)的位置。尤其是，在
本实施方式中，“相对位置”由在俯视时(俯瞰时)以代表点p1为原点的x-y坐标系中的坐标位置来表示。在此，x轴是沿移动体6的横向(左右方向)延伸的轴，y轴是沿移动体6的纵向(前后方向)延伸的轴。根据这样的相对位置，例如，还能够确定从探测系统3(移动体6)到对象物50的距离等。
60.另外，本公开中所说的“属性”例如是指表示对象物50是否正在移动的信息，并且在对象物50正在移动的情况下，是指表示该对象物50的移动状况(例如，移动速度、移动量、移动方向、加速度、移动时间或者移动时的姿势等)的信息。并且，在本实施方式中，对象物50的属性包括对象物50的类别，也就是对象物50是否是人、对象物50是移动体(人、汽车或自行车等)还是固定物体、或者行道树、信号灯、护栏等的区别。另外，对象物50的属性还包括对象物50的大小或颜等。并且，如果对象物50是人，则其性别、身高、体型或年龄层等也能够包括在对象物50的属性中。
61.ecu 4对绘制系统1输出车辆信息d5。车辆信息d5是表示移动体6的本地状态的信息，并且是能够由搭载于移动体主体61的传感器进行检测的信息。作为具体例，车辆信息d5包括车速脉冲(移动体主体61的移动速度)、施加于移动体主体61的加速度、加速踏板的踩下量(油门开度)、制动踏板的踩下量或者转向角等信息。也就是说，车辆信息d5包括能够确定移动体6的移动状况的信息。
62.并且，由驾驶者监视器检测出的用户62的脉搏、表情及视线等、以及车宽、车高、全长及眼点等移动体主体61所固有的信息也能够包括于车辆信息d5中。另外，车辆信息d5还能够包括基于移动体6的位置的位置信息、例如移动体6的当前位置处的道路信息等能够使用gps等检测的信息。作为位置信息的具体例，存在本车位置处的道路的车道数、是否为十字路口、是否为丁字路、是否为单向通行、车道宽度、人行道的有无、坡度或弯道的曲率等。
63.通过将如上述那样的显示装置2、探测系统3以及ecu 4连接，绘制系统1例如实现如图2所示的标记m1的显示。即，绘制系统1至少基于探测系统3的探测结果d1来进行与对象物50的位置相应的标记m1的绘制。在本实施方式中，绘制系统1从探测系统3获取探测结果d1，从ecu 4获取车辆信息d5，并基于这些信息来绘制标记m1。绘制系统1生成用于使绘制出的标记m1显示于显示装置2的图像数据d4，并将该图像数据d4输出到显示装置2，由此使显示装置2进行标记m1的显示。
64.图2示出正在驾驶图3所示的状态下的移动体6的用户62的视野。在图2中，参照标记和引出线等仅是为了说明而标注的，它们实际上不会被用户62目视确认到。在此，如图2和图3所示，被探测系统3探测为对象物50的行人51在移动体6的前方正在横穿设置于移动体6所行驶的路面54上的人行横道541。
65.在图2的例子中，绘制出与作为对象物50的行人51的位置相应的标记m1。具体地说，在作为对象物50的行人51的脚下以包围行人51的方式绘制出圆环状的标记m1。即，标记m1在俯视时(俯瞰时)以与路面54重叠的方式显示于与作为对象物50的行人51对应的位置(在此为与作为对象物50的行人51相同的位置)。由此，在用户62的眼中，犹如行人51(对象物50)站在圆环状的标记m1内。
66.在本实施方式中，唯有探测系统3探测到对象物50，绘制系统1才进行标记m1的绘制。换言之，如果探测系统3的探测结果d1是“无对象物”，则绘制系统1不进行标记m1的绘制，如果探测系统3的探测结果d1是“有对象物”，则绘制系统1进行标记m1的绘制。因此，在
探测系统3的监视区域(移动体6的行进方向上的前方的规定区域)不存在对象物50的状态下，绘制系统1不进行标记m1的绘制，结果是在显示装置2中不进行标记m1的显示。
67.另外，在当从移动体6观察时对象物50相对地移动的情况下，绘制系统1一边改变标记m1的绘制位置一边进行标记m1的绘制使得标记m1追踪对象物50。在此，通过移动体6和对象物50中的至少一方进行移动，能够产生对象物50相对于移动体6的相对移动。也就是说，即使在移动体6处于固定位置的情况下，如果对象物50是如行人51那样进行移动的目标物，则当从移动体6观察时，对象物50也相对地移动。另外，即使在对象物50处于固定位置的情况下，通过移动体6移动，当从移动体6观察时，对象物50也相对地移动。无论在哪种情况下，绘制系统1均如图2所示的那样一边改变标记m1的绘制位置一边进行标记m1的绘制使得标记m1追踪对象物50。
68.另外，由绘制系统1绘制的标记m1不限于图2所示的方式。例如，标记m1可以是在前视图中包围对象物50的框，也可以是简单的图形，还可以是指示对象物50的箭头或气泡式标注、或者模拟对象物50的图标(图像)等。并且，关于标记m1的显示位置，只要是与对象物50对应的位置即可，例如，可以在对象物50的近处与对象物50重叠地进行显示，也可以显示于对象物50的上方或侧方。另外，标记m1可以是例如随着时间经过而闪烁、变、变形或移动(包括旋转等)那样的、具有运动(也就是进行变化)的标记m1。在该情况下，例如，优选的是使标记m1的运动与对象物50的运动同步，例如标记m1与作为对象物50的行人51的步调同步地跳跃等。
69.(2.3)绘制系统的结构
70.接着，更详细地说明本实施方式所涉及的绘制系统1的结构。
71.在本实施方式中，如图1所示，绘制系统1除了具备绘制部11、校正部12以及插值部13以外，还具备校正调整部121、插值调整部131、输入信息处理部14、预测部15、存储部16、传感器17以及滤波器18。
72.在本实施方式中，作为一例，绘制系统1的主结构为具有一个以上的处理器和一个以上的存储器的计算机系统(包括服务器、云计算)。处理器通过执行存储器中记录的程序来实现绘制系统1的功能。可以将程序预先记录于存储器中，也可以将程序记录于如存储卡那样的非暂态记录介质中来提供，或者通过电通信线路来提供程序。换言之，上述程序是用于使一个以上的处理器作为绘制系统1发挥功能的程序。例如，至少绘制部11、校正部12、插值部13、校正调整部121、插值调整部131、输入信息处理部14以及预测部15能够通过计算机系统来实现。
73.绘制部11基于探测系统3的探测结果d1来进行与对象物50的位置相应的标记m1的绘制。在本实施方式中，绘制部11至少每隔第一周期t1基于探测系统3的探测结果d1进行与对象物50的位置相应的标记m1的绘制。如上所述，第一周期t1是探测系统3输出探测结果d1的周期。并且，绘制部11每隔比第一周期t1短的第二周期t2更新标记m1。即，绘制部11至少每隔第一周期t1基于探测系统3的探测结果d1进行标记m1的绘制，并且每隔比第一周期t1短的第二周期t2更新标记m1。
74.绘制部11由gpu(graphics processing unit：图形处理单元)等实现，作为一例，执行依据opengl(open graphics library：开放图形库)的绘制运算处理。绘制部11将绘制出的标记m1存储于帧存储器(frame memory)。在此所说的“帧存储器”是用于存储在显示装
置2显示的1个画面(1帧)量的显示内容的存储器(帧缓冲器(framebuffer))。帧存储器既可以是专用的存储器，也可以由计算机系统的存储器的一部分区域构成。
75.校正部12通过根据校正数据d2对基于探测系统3的探测结果d1得到的对象物50的位置进行校正，来决定由绘制部11绘制的标记m1的绘制位置。在此，校正数据d2是至少基于与移动体6的移动状况有关的移动信息而求出的数据。即，校正部12至少基于反映了移动体6的移动状况的校正数据d2来对由绘制部11绘制的标记m1的绘制位置进行校正。由此，绘制部11不是根据基于探测系统3的探测结果d1得到的对象物50的位置来直接决定标记m1的绘制位置，而是根据通过校正部12对该位置进行校正后的位置来决定标记m1的绘制位置。
76.在此，将通过校正部12进行校正前的标记m1的绘制位置也称为“校正前位置”，将校正后的标记m1的绘制位置也称为“校正后位置”。于是，校正前位置是基于探测系统3的探测结果d1而求出的位置，校正后位置是通过基于校正数据d2对校正前位置进行校正而求出的位置。而且，通过绘制部11进行的标记m1的绘制不是根据校正前位置来进行，而是根据校正后位置来进行。
77.在本实施方式中，校正部12从输入信息处理部14获取基于探测系统3的探测结果d1得到的对象物50的位置来作为校正前位置，并从预测部15获取校正数据d2。校正部12使用这些信息(校正前位置和校正数据d2)来进行绘制位置的校正，并将校正后位置输出到绘制部11。
78.另外，校正部12基于校正数据d2来决定标记m1的内容。即，在本实施方式中，校正部12基于校正数据d2，不仅对由绘制部11绘制的标记m1的绘制位置进行校正，还对由绘制部11绘制的标记m1的内容进行校正。本公开中所说的“标记m1的内容”是指作为标记m1的图形、符号、字符、数字、图案或照片等、或者它们的组合的内容(content)。例如，在标记m1包括字符的情况下，通过校正部12校正标记m1的内容，标记m1中包括的字符发生变化。并且，标记m1的内容还能够包括标记m1的形态(圆环、框、图形、箭头、气泡式标注或图标等)。
79.在“(2.4.1)校正动作”一栏中对校正部12的动作详细地进行说明。
80.在绘制部11每隔第二周期t2更新标记m1时，插值部13基于插值数据d3插值出作为更新后的标记m1的插值标记m11。即，插值部13至少基于插值数据d3来插值出通过绘制部11更新后的标记m1(插值标记m11)。在本实施方式中，插值数据d3是至少基于与移动体6的移动状况有关的移动信息而求出的数据。由此，在从探测系统3输出探测结果d1起到下一次输出探测结果d1为止的第一周期t1的期间，绘制部11也能够每隔第二周期t2绘制新的标记m1(插值标记m11)。
81.在此，将通过插值部13进行插值前的标记m1的绘制位置也称为“基准位置”，将插值后的标记m1(插值标记m11)的绘制位置也称为“插值位置”。于是，基准位置是基于探测系统3的探测结果d1而求出的位置，插值位置是通过基于插值数据d3对基准位置进行插值而求出的位置。而且，通过绘制部11进行的插值标记m11的绘制不是根据基准位置来进行，而是根据插值位置来进行。但是，在本实施方式中，在绘制部11的前级设置有校正部12，因此基准位置不是校正前位置，而是通过校正部12校正后的校正后位置。
82.在本实施方式中，插值部13从校正部12获取校正后位置来作为基准位置，并从预测部15获取插值数据d3。插值部13使用这些信息(基准位置和插值数据d3)来求出插值位置，并将插值位置输出到绘制部11。由此，在绘制部11中，能够将标记m1(插值标记m11)绘制
到插值位置，通过插值部13插值出插值标记m11。总而言之，在本实施方式中，通过插值部13对插值标记m11进行的插值，标记m1(插值标记m11)的绘制位置从基准位置变化为插值位置。也就是说，在本实施方式中，插值部13基于插值数据d3来决定插值标记m11的绘制位置。
83.另外，插值部13基于插值数据d3来决定插值标记m11的内容。即，在本实施方式中，插值部13基于插值数据d3，不仅对由绘制部11绘制的插值标记m11的绘制位置进行插值，还对由绘制部11绘制的插值标记m11的内容进行插值。本公开中所说的“插值标记m11的内容”是指作为插值标记m11的图形、符号、字符、数字、图案或照片等、或者它们的组合的内容(content)。例如，在插值标记m11包括字符的情况下，通过插值部13对插值标记m11的内容进行校正，插值标记m11中包括的字符发生变化。并且，插值标记m11的内容还能够包括插值标记m11的形态(圆环、框、图形、箭头、气泡式标注或图标等)。
84.在“(2.4.2)插值动作”一栏中对插值部13的动作详细地进行说明。
85.校正调整部121对由校正部12进行的校正的强度进行调整。本公开中所说的“校正的强度”是指由校正部12进行的校正所发挥的作用的程度、也就是说校正的有效程度，强度越大，由校正部12进行的校正的效果越高。作为一例，如果校正的强度变大，则从校正前位置向校正后位置的位移量的上限值变大。另外，例如，如果校正的强度能够在“0”与“1”之间进行调整，则在校正的强度为“0”时，校正部12的校正功能无效，在校正的强度为“1”时，校正部12的校正功能有效。校正调整部121可以从多个级别的强度中选择一个强度，也可以使强度连续地变化。
86.插值调整部131对由插值部13进行的插值的强度进行调整。本公开中所说的“插值的强度”是指由插值部13进行的插值所发挥的作用的程度、也就是说插值的有效程度，强度越大，由插值部13进行的插值的效果越高。作为一例，如果插值的强度变大，则从基准位置向插值位置的位移量的上限值变大。另外，例如，如果插值的强度能够在“0”与“1”之间进行调整，则在插值的强度为“0”时，插值部13的插值功能无效，在插值的强度为“1”时，插值部13的插值功能有效。插值调整部131可以从多个级别的强度中选择一个强度，也可以使强度连续地变化。
87.输入信息处理部14是探测结果d1和车辆信息d5的输入接口。输入信息处理部14每隔第一周期t1从探测系统3获取探测结果d1。输入信息处理部14随时从ecu 4获取车辆信息d5。在此，输入信息处理部14获取车辆信息d5的周期与第一周期t1相比非常短。输入信息处理部14与探测系统3(通信部33)或ecu 4之间的通信例如通过依据以太网(注册商标)或can(controller area network)等的通信方式来实现。输入信息处理部14将探测结果d1和车辆信息d5分别输出到校正部12、预测部15以及存储部16。
88.预测部15生成校正数据d2和插值数据d3。如上所述，校正数据d2是至少基于与移动体6的移动状况有关的移动信息而求出的数据。插值数据d3也同样地是至少基于与移动体6的移动状况有关的移动信息而求出的数据。在此，至少根据移动体6的过去的行为来预测移动信息。本公开中所说的“行为”包括姿势(朝向)、移动速度、移动量(包括移动距离和移动角度)、移动方向、加速度、移动时间、移动时的姿势或轨迹等。也就是说，在预测部15中，根据移动体6的过去的行为来预测与移动体6的当前的移动状况有关的移动信息，并基于该移动信息来求出校正数据d2和插值数据d3。
89.另外，在本实施方式中，除了基于移动信息之外还基于与对象物50的移动状况有
关的对象物信息来求出校正数据d2。同样地，至少基于与对象物50的移动状况有关的对象物信息来求出插值数据d3。即，在本实施方式中，校正数据d2和插值数据d3均是基于与移动体6的移动状况有关的移动信息以及与对象物50的移动状况有关的对象物信息这两方信息而求出的数据。在此，至少根据对象物50的过去的行为来预测对象物信息。也就是说，在预测部15中，根据对象物50的过去的行为来预测与对象物50的当前的移动状况有关的对象物信息，并基于该对象物信息来求出校正数据d2和插值数据d3。
90.在“(2.4.1)校正动作”或“(2.4.2)插值动作”一栏中对预测部15的动作详细地进行说明。
91.存储部16包括如eeprom(electrically erasable programmable read-only memory：电可擦可编程只读存储器)那样的可重写的非易失性存储器。存储部16至少存储移动体6的过去的行为和对象物50的过去的行为。因而，预测部15从存储部16读取移动体6的过去的行为和对象物50的过去的行为，并将它们用于对移动信息和对象物信息的预测。
92.传感器17搭载于移动体主体61，是用于检测移动体6的移动状况的传感器。在本实施方式中，作为一例，传感器17是以“角速度”为检测对象的陀螺仪传感器(角速度传感器)。在此，传感器17将相互正交的x轴(移动体6的左右方向)、y轴(移动体6的前后方向)、z轴(铅垂方向)这3个轴的各个轴作为探测轴，将绕各探测轴的角速度作为检测对象。也就是说，根据传感器17，能够检测移动体6的纵倾(pitching)方向、侧倾(rolling)方向以及横摆(yawing)方向的角速度。
93.滤波器18设置于传感器17的后级，对传感器17的输出信号实施适当的滤波处理。由滤波器18滤波后的传感器17的输出信号被输入到预测部15。
94.(2.4)动作
95.接下来，对本实施方式所涉及的绘制系统1的操作、也就是本实施方式所涉及的绘制方法进行说明。
96.下面，以行人51被探测系统3探测为对象物50的“第一场景”、以及信号灯55被探测系统3探测为对象物50的“第二场景”为例来对绘制系统1的动作进行说明。基本上，对第一场景中的绘制系统1的动作进行说明，并且在“(2.4.3)第二场景”一栏中对第二场景中的绘制系统1的动作进行说明。
97.在第一场景中，如图2和图3所示，假定为在正在移动(正在行驶)的移动体6的前方存在正在横穿设置于路面54上的人行横道541的行人51。在第一场景中，在移动体6的前方，除了存在行人51以外，还存在处于停车的其它车辆52、53以及信号灯55等目标物。但是，在第一场景中，设定为仅行人51被探测系统3探测为对象物50。
98.另一方面，在第二场景中，如图8和图9所示，假定为在正在移动(正在行驶)的移动体6的前方不存在行人。在第二场景中也是，在移动体6的前方存在处于停车的其它车辆52、53以及信号灯55等目标物。在第二场景中，设定为仅信号灯55被探测系统3探测为对象物50。
99.(2.4.1)校正动作
100.首先，参照图4～图6b来对以校正部12为中心的校正动作进行说明。图6a和图6b均示出包括由显示系统10显示的标记m1的用户62的视野的一部分。在图6a中，设定在校正前位置(通过校正部12进行校正前的标记m1的绘制位置)绘制出标记m1的情况，在图6b中，设
定在校正后位置(通过校正部12进行校正后的标记m1的绘制位置)绘制出标记m1的情况。在图6a和图6b中，参照标记和引出线等仅是为了说明而标注的，它们实际上不会被用户62目视确认到。
101.图4是概念性地表示从由探测系统3探测到对象物50的探测时间点起到由绘制系统1中的绘制部11绘制标记m1的绘制时间点为止产生延迟的情形的示意图。即，如图4所示，从发生对象物50(行人51)出现这个事件起到绘制部11基于探测系统3对于该事件的探测结果d1绘制标记m1为止，可能由于各种原因而产生延迟。例如，在探测系统3内，从摄像机31进行摄像(曝光)到摄像机31输出摄像图像为止，可能产生几十ms左右的延迟(获取延迟)。并且，在将探测系统3的探测结果d1从探测系统3传送到绘制系统1时，也可能产生几十ms～几百ms左右的延迟(传送延迟)。除此以外，例如，还可能产生由于摄像机31的帧频引起的帧间延迟等。
102.由于这些延迟，从由探测系统3探测到对象物50的探测时间点起到由绘制系统1中的绘制部11绘制标记m1的绘制时间点为止，产生延迟期间td1这个延迟。在本实施方式中，设为延迟期间td1的起点为由探测系统3探测到对象物50的探测时间点，并且延迟期间td1的终点为由绘制部11绘制标记m1的绘制时间点。在本实施方式中，作为一例，假定为延迟期间td1的长度为500ms。
103.在图4中，“v1”表示延迟期间td1的起点时的用户62的视野，“v2”表示延迟期间td1的终点时的用户62的视野。即，在延迟期间td1的期间，移动体6和对象物50均可能移动，因此用户62(移动体6的驾驶者)的视野中的对象物50(行人51)的位置可能发生变化。
104.总而言之，如图5所示，探测系统3(移动体6)的代表点p1与对象物50的代表点p2之间的位置关系可能在延迟期间td1的期间发生变化。在图5中，将通过绘制部11绘制标记m1的绘制时间点(也就是延迟期间td1的终点)设为当前时间点，除了示出当前时间点的代表点p1、p2以外，还示出由探测系统3探测到对象物50的探测时间点(也就是延迟期间td1的起点)的代表点p1、p2。在图5中，将当前时间点的代表点p1、p2分别记为“p1(t)”、“p2(t)“，将由探测系统3探测到对象物50的探测时间点(延迟期间td1的起点)的代表点p1、p2分别记为“p1(t-td1)”、“p2(t-td1)”。
105.即，在图5的例子中，在当前时间点(t)从探测系统3(移动体6)观察到的对象物50的相对位置由下述“式1”的坐标位置表示。另一方面，在图5的例子中，在由探测系统3探测到对象物50的探测时间点(延迟期间td1的起点)从探测系统3(移动体6)观察到的对象物50的相对位置由下述“式2”的坐标位置表示。
106.(x，y)＝(x(t)，y(t))
···
(式1)
107.(x，y)＝(x(t-td1)，y(t-td1))
···
(式2)
108.像这样，从探测系统3(移动体6)观察到的对象物50的相对位置在延迟期间td1的期间发生变化，由此标记m1的校正前位置如图6a所示的那样偏离对象物50(行人51)。即，在由绘制部11绘制标记m1的绘制时间点(也就是延迟期间td1的终点)，对象物50存在于由上述式1表示的相对位置，然而探测系统3的探测结果d1示出由上述式2表示的相对位置。因此，如果是通过校正部12进行校正前的标记m1的绘制位置(校正前位置)，则如图6a所示，标记m1显示为偏离与实际的对象物50(行人51)对应的位置。
109.在本实施方式所涉及的绘制系统1中，通过校正部12进行的校正，对这样的标记m1
的位置偏移进行校正，从而如图6b所示的那样，能够在与对象物50(行人51)对应的位置显示标记m1。即，校正部12至少基于反映了移动信息(与移动体6的移动状况有关的信息)的校正数据d2来校正由绘制部11绘制的标记m1的绘制位置。而且，在本实施方式中，校正数据d2是除了基于移动信息之外还基于与对象物50的移动状况有关的对象物信息而求出的数据。也就是说，校正部12的校正反映了移动体6的移动状况和对象物50的移动状况。其结果是，如图6b所示，绘制出与作为对象物50的行人51的位置相应的标记m1。具体地说，在作为对象物50的行人51的脚下以包围行人51的方式绘制圆环状的标记m1。
110.在本实施方式中，尤其是，反映在校正数据d2中的移动信息至少是与延迟期间td1中的移动体6的移动状况有关的信息，该延迟期间td1包括从由探测系统3探测到对象物50的探测时间点起到由绘制部11进行绘制的绘制时间点的期间。由此，延迟期间td1中的移动体6和对象物50的移动状况反映在校正部12的校正中，容易减少由于延迟期间td1引起的标记m1的显示位置的偏移。
111.更详细地说，校正部12基于由预测部15生成的校正数据d2来校正由绘制部11绘制的标记m1的绘制位置。在此，预测部15至少根据移动体6的过去的行为来预测延迟期间td1中的移动体6的移动状况(移动信息)。具体地说，预测部15能够通过使用在延迟期间td1的期间获取到的传感器17的输出信号来预测延迟期间td1中的移动体6的移动状况。即，由于传感器17的输出信号实时地反映了移动体6的移动状况，因此预测部15能够根据传感器17的输出信号来预测延迟期间td1中的移动体6的移动状况。
112.并且，预测部15至少根据对象物50的过去的行为来预测延迟期间td1中的对象物50的移动状况(对象物信息)。具体地说，预测部15能够通过至少使用在紧挨延迟期间td1之前获取到的探测系统3的探测结果d1来预测延迟期间td1中的对象物50的移动状况。即，在对象物50正在移动的情况下，作为对象物50的属性，探测系统3的探测结果d1包括表示该对象物50的移动状况(例如，移动速度、移动量、移动方向、加速度、移动时间或移动时的姿势等)的信息。因此，预测部15能够至少根据紧挨延迟期间td1之前的对象物50的移动状况来预测延迟期间td1中的对象物50的移动状况。在此，预测部15还可以使用探测系统3的探测结果d1中包括的作为对象物50的属性的、对象物50的类别等来预测延迟期间td1中的对象物50的移动状况。
113.而且，预测部15基于这些移动信息和对象物信息，例如通过下述“式3”来计算延迟期间td1中的、从探测系统3(移动体6)观察到的对象物50的相对位置的变化量δx1、δy1。
114.[数1]
[0115][0116][0117]
其中，“式3”中的“α
x
(t-td1)”是时间点(t-td1)的移动体6与对象物50的x轴方向上的相对加速度，“αy(t-td1)”是时间点(t-td1)的移动体6与对象物50的y轴方向上的相对加速度。“式3”中的“v
x
(t-td1)”是时间点(t-td1)的移动体6与对象物50的x轴方向上的相对速度，“vy(t)”是时间点(t-td1)的移动体6与对象物50的y轴方向上的相对速度。
[0118]
预测部15将计算出的变化量δx1、δy1以包括于校正数据d2中的方式输出到校正部12。由此，在校正部12中，能够基于上述变化量δx1、δy1来校正由绘制部11绘制的标记
m1的绘制位置。
[0119]
(2.4.2)插值动作
[0120]
接着，参照图5和图7来对以插值部13为中心的插值动作进行说明。图7是概念性地示出探测系统3和绘制系统1的动作的说明图。在图7中，以纵轴为时间轴来示出绘制系统1从探测系统3获取探测结果d1的定时、以及绘制系统1绘制或更新标记m1的定时。在图7中，示意性地示出绘制系统1绘制或更新标记m1时的用户62的视野v1～v7。这些视野v1～v7均表示包括由显示系统10显示的标记m1的用户62的视野的一部分。在图7中，参照标记和引出线等仅是为了说明而标注的，它们实际上不会被用户62目视确认到。
[0121]
如图7所示，绘制系统1每隔第一周期t1获取探测系统3的探测结果d1。而且，绘制部11至少每隔第一周期t1基于探测系统3的探测结果d1进行与对象物50的位置相应的标记m1的绘制。在此，在图7的例子中，假定为进行在“(2.4.1)校正动作”一栏中所说明的标记m1的绘制位置的校正。因此，在绘制部11每隔第一周期t1基于探测系统3的探测结果d1进行标记m1的绘制的定时，能够在与对象物50(行人51)对应的位置显示标记m1。也就是说，在图7中的“v1”和“v7”所示的用户62的视野中，在与对象物50(行人51)对应的位置处绘制标记m1。
[0122]
并且，绘制部11每隔比第一周期t1短的第二周期t2更新标记m1。也就是说，绘制部11在从绘制系统1获取到探测系统3的探测结果d1起到下一次获取到探测结果d1为止的第一周期t1的期间，每当经过第二周期t2时就进行标记m1的更新。而且，在第二周期t2的期间，移动体6和对象物50均可能移动，因此用户62的视野中的对象物50(行人51)的位置可能发生变化。
[0123]
总而言之，如图5所示，探测系统3(移动体6)的代表点p1与对象物50的代表点p2之间的位置关系在第二周期t2的期间可能发生变化。在图5中，将基于探测系统3的探测结果d1绘制标记m1的绘制时间点设为当前时间点，并且除了示出当前时间点的代表点p1、p2之外，还示出从当前时间点起经过了第二周期t2的时间点(也就是标记m1的更新时间点)的代表点p1、p2。在图5中，将当前时间点的代表点p1、p2分别记为“p1(t)”、“p2(t)”，将从当前时间点起经过了第二周期t2的时间点(更新时间点)的代表点p1、p2分别记为“p1(t+t2)”、“p2(t+t2)”。
[0124]
即，在图5的例子中，在当前时间点(t)从探测系统3(移动体6)观察到的对象物50的相对位置由上述“式1”的坐标位置表示。另一方面，在图5的例子中，在从当前时间点起经过了第二周期t2的时间点(更新时间点)从探测系统3(移动体6)观察到的对象物50的相对位置由下述“式4”的坐标位置表示。
[0125]
(x，y)＝(x(t+t2)，y(t+t2))
···
(式4)
[0126]
像这样，从探测系统3(移动体6)观察到的对象物50的相对位置在第二周期t2的期间发生变化，由此在通过绘制部11更新标记m1的更新时间点，对象物50(行人51)偏离标记m1的基准位置。即，在通过绘制部11更新标记m1的更新时间点，对象物50存在于由上述式4表示的相对位置，然而探测系统3的探测结果d1示出由上述式1表示的相对位置。因此，如果是基于探测系统3的探测结果d1得到的标记m1的绘制位置(基准位置)，则标记m1显示为偏离与实际的对象物50(行人51)对应的位置。
[0127]
在本实施方式所涉及的绘制系统1中，通过插值部13进行的插值，即使在绘制部11
每隔第二周期t2更新标记m1时，也能够在与对象物50(行人51)对应的位置显示插值标记m11。即，插值部13至少基于反映了移动信息(与移动体6的移动状况有关的信息)的插值数据d3来决定插值标记m11的绘制位置。而且，在本实施方式中，插值数据d3是除了基于移动信息之外还基于与对象物50的移动状况有关的对象物信息而求出的数据。也就是说，被插值部13插值的插值标记m11反映了移动体6的移动状况和对象物50的移动状况。其结果是，如图7所示，在“v2”～“v6”所示的用户62的视野中，均绘制出与作为对象物50的行人51的位置相应的插值标记m11。具体地说，在作为对象物50的行人51的脚下以包围行人51的方式绘制出圆环状的插值标记m11。
[0128]
更详细地说，插值部13基于由预测部15生成的插值数据d3来插值出作为通过绘制部11更新后的标记m1的插值标记m11。在此，预测部15至少根据移动体6的过去的行为来预测第二周期t2中的移动体6的移动状况(移动信息)。具体地说，预测部15能够通过使用在第二周期t2的期间获取到的传感器17的输出信号来预测第二周期t2中的移动体6的移动状况。即，由于传感器17的输出信号实时地反映了移动体6的移动状况，因此预测部15能够根据传感器17的输出信号来预测第二周期t2中的移动体6的移动状况。
[0129]
并且，预测部15至少根据对象物50的过去的行为来预测第二周期t2中的对象物50的移动状况(对象物信息)。具体地说，预测部15能够通过至少使用在紧挨第二周期t2之前获取到的探测系统3的探测结果d1来预测第二周期t2中的对象物50的移动状况。即，在对象物50正在移动的情况下，作为对象物50的属性，探测系统3的探测结果d1中包括表示该对象物50的移动状况(例如，移动速度、移动量、移动方向、加速度、移动时间或移动时的姿势等)的信息。因此，预测部15能够至少根据紧挨第二周期t2之前的对象物50的移动状况来预测第二周期t2中的对象物50的移动状况。在此，预测部15还可以使用探测系统3的探测结果d1中包括的作为对象物50的属性的、对象物50的类别等来预测第二周期t2中的对象物50的移动状况。
[0130]
而且，预测部15基于这些移动信息和对象物信息，例如通过下述“式5”来计算在第二周期t2的经过时间点(更新时间点)从探测系统3(移动体6)观察到的对象物50的相对位置的变化量δx2、δy2。
[0131]
[数2]
[0132][0133][0134]
其中，“式5”中的“α
x
(t)”是当前时间点(t)的移动体6与对象物50的x轴方向上的相对加速度，“αy(t)”是当前时间点(t)的移动体6与对象物50的y轴方向上的相对加速度。“式5”中的“v
x
(t)”是当前时间点(t)的移动体6与对象物50的x轴方向上的相对速度，“vy(t)”是当前时间点(t)的移动体6与对象物50的y轴方向上的相对速度。
[0135]
预测部15将计算出的变化量δx2、δy2以包括于插值数据d3中的方式输出到插值部13。由此，在插值部13中，能够基于上述变化量δx2、δy2来决定插值标记m11的绘制位置。
[0136]
绘制系统1每当绘制部11更新标记m1时就进行如上所述的插值部13的插值。也就是说，每隔第二周期t2进行插值部13的插值。因而，如图7所示，在“v2”～“v6”的任意场景
中，在用户62的视野中，均绘制出与作为对象物50的行人51的位置相应的插值标记m11。
[0137]
(2.4.3)第二场景
[0138]
接着，参照图8和图9来对信号灯55被探测系统3探测为对象物50的第二场景中的绘制系统1的动作进行说明。
[0139]
图8示出正在驾驶移动体6的用户62的视野。在图8中，参照标记和引出线等仅是为了说明而标注的，它们实际上不会被用户62目视确认到。在此，如图8所示，被探测系统3探测为对象物50的信号灯55设置在移动体6的前方。
[0140]
在图8的例子中，绘制出与作为对象物50的信号灯55的位置相应的标记m1。具体地说，在作为对象物50的信号灯55的下方绘制出由用于指示对象物50的气泡式标注构成的标记m1。即，标记m1在俯视时(俯瞰时)显示于与作为对象物50的信号灯55对应的位置(在此为与作为对象物50的信号灯55相同的位置)。并且，在图8的例子中，作为对象物50的信号灯55为“红”，因此标记m1在气泡式标注内显示“停”这样的促使停车的字符串。由此，在用户62的眼中，犹如从信号灯55(对象物50)发出气泡式标注(标记m1)。
[0141]
像这样，即使在对象物50处于固定位置的情况下，通过移动体6移动，当从移动体6观察时，对象物50也相对地移动。即，如果移动体6移动，则如图9所示，探测系统3(移动体6)的代表点p1与对象物50的代表点p2之间的位置关系可能在延迟期间td1和第二周期t2的期间发生变化。在图9中，除了示出当前时间点的代表点p1、p2以外，还示出由探测系统3探测到对象物50的探测时间点的代表点p1、p2、以及从当前时间点起经过了第二周期t2的时间点的代表点p1、p2。在图9中，将当前时间点的代表点p1、p2分别记为“p1(t)”、“p2(t)”，并将由探测系统3探测到对象物50的探测时间点的代表点p1记为“p1(t-td1)”。并且，将从当前时间点起经过了第二周期t2的时间点的代表点p1记为“p1(t+t2)”。
[0142]
总而言之，即使在对象物50处于固定位置的情况下，从探测系统3(移动体6)观察到的对象物50的相对位置也可能变化。因此，在“(2.4.1)校正动作”和“(2.4.2)插值动作”中所说明的绘制系统1的动作在第二场景中也是有用的。
[0143]
(2.4.4)流程图
[0144]
图10是示出绘制系统1的整体动作、也就是绘制方法的整体流程的一例的流程图。
[0145]
绘制系统1首先通过输入信息处理部14从探测系统3获取探测系统3的探测结果d1(s1)。在此，绘制系统1确认探测系统3的探测结果d1中包括的、有无对象物50的信息(s2)。
[0146]
如果存在对象物50(s2：“是”)，则绘制系统1通过预测部15至少基于与移动体6的移动状况有关的移动信息来生成校正数据d2(s3)。然后，绘制系统1通过校正部12来执行基于所生成的校正数据d2校正标记m1的绘制位置的校正处理(s4)。并且，绘制系统1通过绘制部11来执行在校正后的绘制位置(校正后位置)绘制标记m1的绘制处理(s5)。
[0147]
之后，绘制系统1判断是否经过了第二周期t2(s6)，如果未经过第二周期t2(s6：“否”)，则进行待机。当经过第二周期t2时(s6：“是”)，绘制系统1通过预测部15至少基于与移动体6的移动状况有关的移动信息来生成插值数据d3(s7)。然后，绘制系统1通过插值部13来执行基于所生成的插值数据d3插值出插值标记m11的插值处理(s8)。通过插值处理插值后的插值标记m11在通过绘制部11进行更新时进行绘制。
[0148]
之后，绘制系统1判断是否经过了第一周期t1(s9)，如果未经过第一周期t1(s9：“否”)，则返回处理s6。当经过第一周期t1时(s9：“是”)，则绘制系统1返回处理s1。
[0149]
另外，如果在处理s2中不存在对象物50(s2：“否”)，则绘制系统1判断是否经过了第一周期t1(s10)，如果未经过第一周期t1(s10：“否”)，则进行待机。当经过第一周期t1时(s10：“是”)，则绘制系统1返回处理s1。
[0150]
绘制系统1重复地执行如上述那样的处理s1～s10。图10的流程图仅是绘制系统1的动作的一例，可以适当地省略或追加处理，也可以适当地变更处理的顺序。
[0151]
(3)变形例
[0152]
实施方式1仅是本公开的各种实施方式之一。只要能够实现本公开的目的，则实施方式1能够根据设计等进行各种变更。在本公开中所说明的各图是示意性的图，各图中的各构成要素的大小之比及厚度之比未必反映了实际的尺寸比。另外，与实施方式1所涉及的绘制系统1同样的功能也可以通过绘制方法、程序或记录有程序的非暂态记录介质等来具体实现。
[0153]
一个方式所涉及的绘制方法包括绘制处理(相当于图10的“s5”)和校正处理(相当于图10的“s4”)。绘制处理是基于探测系统3的探测结果d1来进行与对象物50的位置相应的标记m1的绘制的处理。探测系统3搭载于移动体6，用于探测对象物50。校正处理是以下处理：通过根据校正数据d2对基于探测系统3的探测结果d1得到的对象物50的位置进行校正，来决定通过绘制处理绘制的标记m1的绘制位置。至少基于与移动体6的移动状况有关的移动信息来求出校正数据d2。一个方式所涉及的程序是用于使一个以上的处理器执行上述的绘制方法的程序。
[0154]
另一方式所涉及的绘制方法包括绘制处理(相当于图10的“s5”)和插值处理(相当于图10的“s8”)。绘制处理是至少每隔第一周期t1基于探测系统3的探测结果d1进行与对象物50的位置相应的标记m1的绘制的处理。探测系统3探测对象物50，每隔第一周期t1输出探测结果d1。插值处理是在每隔比第一周期t1短的第二周期t2更新标记m1时基于插值数据d3来插值出作为更新后的标记m1的插值标记m11的处理。另一方式所涉及的程序是用于使一个以上的处理器执行上述的绘制方法的程序。
[0155]
下面，列举实施方式1的变形例。下面说明的变形例能够适当地进行组合来应用。
[0156]
本公开中的绘制系统1包括计算机系统。计算机系统以作为硬件的处理器及存储器为主要结构。通过由处理器执行计算机系统的存储器中记录的程序来实现作为本公开的绘制系统1的功能。可以预先将程序记录于计算机系统的存储器中，也可以通过电通信线路来提供程序，还可以通过将程序记录于计算机系统可读取的存储卡、光盘、硬盘驱动器等非暂态记录介质中来提供。计算机系统的处理器由包括半导体集成电路(ic)或大规模集成电路(lsi)的一个或多个电子电路构成。在此所说的ic或lsi等集成电路根据集成的程度而叫法不同，包括被称为系统lsi、vlsi(very large scale integration：超大规模集成电路)或ulsi(ultra large scale integration：甚超大规模集成电路)的集成电路。并且，关于在制造lsi后进行编程的fpga(field-programmable gate array：现场可编程门阵列)、或者能够进行lsi内部的接合关系的重构或lsi内部的电路划分的重构的逻辑器件，也能够被采用为处理器。多个电子电路可以集成于一个芯片，也可以分散地设置于多个芯片。多个芯片可以集成于一个装置中，也可以分散地设置于多个装置。在此所说的计算机系统包括具有一个以上的处理器和一个以上的存储器的微控制器。因而，微控制器也由包括半导体集成电路或大规模集成电路的一个或多个电子电路构成。
[0157]
另外，绘制系统1的至少一部分的功能集成于一个壳体内并不是绘制系统1所必须的结构，绘制系统1的构成要素也可以分散地设置于多个壳体中。例如，绘制系统1中的校正部12或插值部13可以设置于与绘制部11不同的壳体中。并且，绘制系统1的至少一部分功能也可以通过云(云计算)等来实现。
[0158]
相反地，在实施方式1中，分散于多个装置的多个功能的至少一部分也可以集成于一个壳体内。例如，分散于绘制系统1和探测系统3的功能也可以集成在一个壳体内。
[0159]
另外，显示装置2也可以不与绘制系统1一体化，构成显示系统10的绘制系统1和显示装置2也可以收容在不同的壳体内。
[0160]
另外，搭载显示系统10的移动体6不限于汽车(乘用车)，例如也可以是卡车或公共汽车等大型车辆、二轮车、铁道列车、电动车、建筑机械、飞机或船舶等。
[0161]
另外，绘制系统1绘制与对象物50的位置相应的标记m1即可，例如也可以绘制车速信息、导航信息、前方车辆信息、车道偏离信息或车辆状况信息等各种驾驶辅助信息来作为标记m1。
[0162]
另外，显示装置2不限于如平视显示器那样显示虚像的结构。例如，显示装置2也可以是液晶显示器、有机el(electro luminescence：电致发光)显示器或者投影仪装置。另外，显示装置2也可以是搭载于移动体主体61的汽车导航系统、电子镜系统或者多信息显示装置的显示器。
[0163]
另外，实施方式1所示的第一周期t1和第二周期t2的值仅是一例，第一周期t1也可以是600ms以外的值，第二周期t2也可以是100ms以外的值。例如，可以是，第一周期t1为100ms，第二周期t2为16.7ms，也可以是，第一周期t1为100ms，第二周期t2为20ms，还可以是，第一周期t1为80ms，第二周期t2为50ms。
[0164]
另外，实施方式1所示的延迟期间td1的长度仅是一例，延迟期间td1的长度也可以是500ms以外的长度。延迟期间td1的长度例如在10ms以上且1s以下的范围内根据系统结构等适当地进行决定。作为一例，延迟期间td1的长度可以是50ms，也可以是150ms，还可以是300ms。
[0165]
另外，传感器17不是必须将3轴的角速度作为检测对象，传感器17也可以将1轴、2轴或4轴以上的角速度作为检测对象。并且，传感器17不限于将角速度作为检测对象的陀螺仪传感器，例如也可以是除了以角速度为检测对象还以加速度、角加速度或速度等为检测对象的传感器，或者是将加速度、角加速度或速度等代替角速度来作为检测对象的传感器。
[0166]
另外，预测部15也可以不包括于绘制系统1中，例如，预测部15的功能也可以设置于探测系统3或ecu 4。在该情况下，绘制系统1从探测系统3或ecu 4获取由探测系统3或ecu 4的预测部15求出的校正数据d2和插值数据d3。
[0167]
另外，预测部15例如可以使用进行了机器学习的分类器来预测与移动体6的移动状况有关的移动信息以及与对象物50的移动状况有关的对象物信息。分类器可以在绘制系统1的使用中执行再学习。分类器除了能够包括例如svm(support vector machine：支持向量机)等线性分类器以外，还能够包括使用神经网络的分类器、或者通过使用多层神经网络的深度学习(deep learning)而生成的分类器。在分类器为使用学习完毕的神经网络的分类器的情况下，学习完毕的神经网络例如能够包括cnn(convolutional neural network：卷积神经网络)或bnn(bayesian neural network：贝叶斯神经网络)等。在该情况下，预测
部15通过在asic(application specific integrated circuit：专用集成电路)或fpga(field-programmable gate array：现场可编程门阵列)等集成电路中安装学习完毕的神经网络来实现。
[0168]
(实施方式2)
[0169]
如图11所示，本实施方式所涉及的绘制系统1a与实施方式1所涉及的绘制系统1的不同点在于省略了插值部13(参照图1)和插值调整部131(参照图1)。下面，对与实施方式1相同的结构标注共通的附图标记并适当地省略说明。
[0170]
在本实施方式中，由于省略了插值部13，因此也不进行预测部15中的插值数据d3(参照图1)的生成。校正部12的动作与实施方式1相同，校正部12基于校正数据d2来校正由绘制部11绘制的标记m1的绘制位置。
[0171]
在本实施方式中，绘制部11更新标记m1的第二周期t2与绘制系统1a获取探测系统3的探测结果d1的第一周期t1相同，或者比第一周期t1长。因此，在本实施方式所涉及的绘制系统1a中，能够每隔第二周期t2基于探测系统3的探测结果d1进行标记m1的绘制，不需要进行插值部13的插值。
[0172]
在实施方式2中说明的各种结构能够与在实施方式1中说明的各种结构(包括变形例)适当地进行组合来采用。
[0173]
(总结)
[0174]
如以上所说明的那样，第一方式所涉及的绘制系统(1、1a)具备绘制部(11)和校正部(12)。绘制部(11)基于探测系统(3)的探测结果(d1)来进行与对象物(50)的位置相应的标记(m1)的绘制。探测系统(3)搭载于移动体(6)，用于探测对象物(50)。校正部(12)通过根据校正数据(d2)对基于探测系统(3)的探测结果(d1)得到的对象物(50)的位置进行校正，来决定由绘制部(11)绘制的标记(m1)的绘制位置。校正数据(d2)是至少基于与移动体(6)的移动状况有关的移动信息而求出的。
[0175]
根据该方式，不是在基于探测系统(3)的探测结果(d1)得到的对象物(50)的位置处绘制标记(m1)，而是在基于校正数据(d2)进行了校正后的绘制位置处绘制标记(m1)。因此，例如，即使产生由于探测系统(3)内的处理引起的延迟等，也能够减少这些延迟对最终显示的标记(m1)的显示位置的影响。尤其是，由于基于搭载有探测系统(3)的移动体(6)的移动状况来进行校正，因此能够减少伴随在上述那样的延迟的期间(延迟期间td1)内的探测系统(3)自身的移动而产生的显示位置的偏移。
[0176]
在第二方式所涉及的绘制系统(1、1a)中，在第一方式中，至少根据移动体(6)的过去的行为来预测移动信息。
[0177]
根据该方式，能够比较高精度地预测在标记(m1)的绘制位置的校正中使用的移动体(6)的移动状况。
[0178]
在第三方式所涉及的绘制系统(1、1a)中，在第一方式或第二方式中，除了基于移动信息之外，还基于与对象物(50)的移动状况有关的对象物信息来求出校正数据(d2)。
[0179]
根据该方式，即使在对象物(50)正在移动的情况下，也能够比较高精度地校正标记(m1)的绘制位置。
[0180]
在第四方式所涉及的绘制系统(1、1a)中，在第三方式中，至少根据对象物(50)的过去的行为来预测对象物信息。
[0181]
根据该方式，能够比较高精度地预测在标记(m1)的绘制位置的校正中使用的对象物(50)的移动状况。
[0182]
在第五方式所涉及的绘制系统(1、1a)中，在第一方式～第四方式中的任一方式中，标记(m1)是具有与从探测系统(3)到对象物(50)的距离相应的深度方向上的位置信息的三维图像。
[0183]
根据该方式，从探测系统(3)到对象物(50)的距离也能够反映在标记(m1)的显示中。
[0184]
在第六方式所涉及的绘制系统(1、1a)中，在第一方式～第五方式中的任一方式中，还具备插值部(13)。探测系统(3)每隔第一周期(t1)输出探测结果(d1)。绘制部(11)至少每隔第一周期(t1)基于探测系统(3)的探测结果(d1)进行标记(m1)的绘制，并且每隔比第一周期(t1)短的第二周期(t2)更新标记(m1)。在绘制部(11)每隔第二周期(t2)更新标记(m1)时，插值部(13)基于插值数据(d3)插值出作为更新后的标记(m1)的插值标记(m11)。
[0185]
根据该方式，在更新标记(m1)的第二周期(t2)比探测系统(3)输出探测结果(d1)的第一周期(t1)短的情况下，基于插值数据(d3)插值出更新后的标记(m1)。因而，即使在第一周期(t1)的期间，也能够每当标记(m1)被更新时就使标记(m1)变化，标记(m1)比较顺畅地运动。其结果是，不易产生标记(m1)的不自然的行为。
[0186]
在第七方式所涉及的绘制系统(1、1a)中，在第一方式～第六方式中的任一方式中，校正部(12)基于校正数据(d2)来决定标记(m1)的内容。
[0187]
根据该方式，能够适当地校正标记(m1)的内容。
[0188]
在第八方式所涉及的绘制系统(1、1a)中，在第一方式～第七方式中的任一方式中，还具备校正调整部(121)，该校正调整部(121)对由校正部(12)进行的校正的强度进行调整。
[0189]
根据该方式，例如，通过减小由校正部(12)进行的校正的强度，能够减小校正的处理负荷。
[0190]
在第九方式所涉及的绘制系统(1、1a)中，在第一方式～第八方式中的任一方式中，移动信息至少是与延迟期间(td1)中的移动体(6)的移动状况有关的信息。延迟期间(td1)是包括从由探测系统(3)探测到对象物(50)的探测时间点起到由绘制部(11)进行绘制的绘制时间点为止的期间的期间。
[0191]
根据该方式，容易减少由于延迟期间(td1)产生的标记(m1)的显示位置的偏移。
[0192]
第十方式所涉及的显示系统(10)具备第一方式～第九方式中的任一方式所涉及的绘制系统(1、1a)、以及用于显示由绘制系统(1、1a)绘制出的标记(m1)的显示装置(2)。
[0193]
根据该方式，不是在基于探测系统(3)的探测结果(d1)得到的对象物(50)的位置处绘制标记(m1)，而是在基于校正数据(d2)进行了校正后的绘制位置处绘制标记(m1)。因此，例如，即使产生由于探测系统(3)内的处理引起的延迟等，也能够减小这些延迟对最终显示的标记(m1)的显示位置的影响。尤其是，基于搭载有探测系统(3)的移动体(6)的移动状况来进行校正，因此能够减少伴随在上述那样的延迟的期间(延迟期间td1)内的探测系统(3)自身的移动而产生的显示位置的偏移。
[0194]
第十一方式所涉及的移动体(6)具备第十方式所涉及的显示系统(10)、以及搭载显示系统(10)的移动体主体(61)。
[0195]
根据该方式，不是在基于探测系统(3)的探测结果(d1)得到的对象物(50)的位置处绘制标记(m1)，而是在基于校正数据(d2)进行校正后的绘制位置处绘制标记(m1)。因此，例如，即使产生由于探测系统(3)内的处理引起的延迟等，也能够减小这些延迟对最终显示的标记(m1)的显示位置的影响。尤其是，基于搭载有探测系统(3)的移动体(6)的移动状况来进行校正，因此能够减少伴随在如上述那样的延迟的期间(延迟期间td1)内的探测系统(3)自身的移动而产生的显示位置的偏移。
[0196]
第十二方式所涉及的绘制方法包括绘制处理和校正处理。绘制处理是基于探测系统(3)的探测结果(d1)来进行与对象物(50)的位置相应的标记(m1)的绘制的处理。探测系统(3)搭载于移动体(6)，用于探测对象物(50)。校正处理是以下处理：通过根据校正数据(d2)对基于探测系统(3)的探测结果(d1)得到的对象物(50)的位置进行校正，来决定通过绘制处理绘制的标记(m1)的绘制位置的处理。校正数据(d2)是至少基于与移动体(6)的移动状况有关的移动信息而求出的。
[0197]
根据该方式，不是在基于探测系统(3)的探测结果(d1)得到的对象物(50)的位置处绘制标记(m1)，而是在基于校正数据(d2)进行校正后的绘制位置处绘制标记(m1)。因此，例如，即使产生由于探测系统(3)内的处理引起的延迟等，也能够减小这些延迟对最终显示的标记(m1)的显示位置的影响。尤其是，由于基于搭载有探测系统(3)的移动体(6)的移动状况来进行校正，因此能够减少伴随在如上述那样的延迟的期间(延迟期间td1)内的探测系统(3)自身的移动而产生的显示位置的偏移。
[0198]
第十三方式所涉及的程序是用于使一个以上的处理器执行第十二方式所涉及的绘制方法的程序。
[0199]
根据该方式，不是在基于探测系统(3)的探测结果(d1)得到的对象物(50)的位置处绘制标记(m1)，而是在基于校正数据(d2)进行校正后的绘制位置处绘制标记(m1)。因此，例如，即使产生由于探测系统(3)内的处理引起的延迟等，也能够减小这些延迟对最终显示的标记(m1)的显示位置的影响。尤其是，由于基于搭载有探测系统(3)的移动体(6)的移动状况来进行校正，因此能够减少伴随在如上述那样的延迟的期间(延迟期间td1)内的探测系统(3)自身的移动而产生的显示位置的偏移。
[0200]
并不限于上述方式，实施方式1及实施方式2所涉及的绘制系统(1、1a)的各种结构(包括变形例)能够通过绘制方法或者程序来具体实现。
[0201]
关于第二方式～第九方式所涉及的结构，不是绘制系统(1、1a)所必须的结构，能够适当地省略。
[0202]
附图标记说明
[0203]
1、1a绘制系统；2：显示装置；3：探测系统；6：移动体；10：显示系统；11：绘制部；12：校正部；13：插值部；61：移动体主体；121：校正调整部；d1：探测结果；d2：校正数据；d3：插值数据；m1：标记；t1：第一周期；t2：第二周期；td1：延迟期间。

技术特征：

1.一种绘制系统，具备：绘制部，其基于搭载于移动体的用于探测对象物的探测系统的探测结果，来进行与所述对象物的位置相应的标记的绘制；以及校正部，其通过根据校正数据对基于所述探测系统的探测结果得到的所述对象物的位置进行校正，来决定由所述绘制部绘制的所述标记的绘制位置，其中，所述校正数据是至少基于与所述移动体的移动状况有关的移动信息而求出的。2.根据权利要求1所述的绘制系统，其特征在于，至少根据所述移动体的过去的行为来预测所述移动信息。3.根据权利要求1或2所述的绘制系统，其特征在于，除了基于所述移动信息之外，还基于与所述对象物的移动状况有关的对象物信息来求出所述校正数据。4.根据权利要求3所述的绘制系统，其特征在于，至少根据所述对象物的过去的行为来预测所述对象物信息。5.根据权利要求1至4中的任一项所述的绘制系统，其特征在于，所述标记是具有与从所述探测系统到所述对象物的距离相应的深度方向上的位置信息的三维图像。6.根据权利要求1至5中的任一项所述的绘制系统，其特征在于，还具备插值部，所述探测系统每隔第一周期输出探测结果，所述绘制部至少每隔所述第一周期基于所述探测系统的探测结果进行所述标记的绘制，并且每隔比所述第一周期短的第二周期更新所述标记，在所述绘制部每隔所述第二周期更新所述标记时，所述插值部基于插值数据插值出作为更新后的所述标记的插值标记。7.根据权利要求1至6中的任一项所述的绘制系统，其特征在于，所述校正部基于所述校正数据来决定所述标记的内容。8.根据权利要求1至7中的任一项所述的绘制系统，其特征在于，还具备校正调整部，所述校正调整部对由所述校正部进行的校正的强度进行调整。9.根据权利要求1至8中的任一项所述的绘制系统，其特征在于，所述移动信息至少是与延迟期间中的所述移动体的移动状况有关的信息，所述延迟期间包括从由所述探测系统探测到所述对象物的探测时间点起到由所述绘制部进行绘制的绘制时间点为止的期间。10.一种显示系统，具备：根据权利要求1～9中的任一项所述的绘制系统；以及显示装置，其显示由所述绘制系统绘制出的所述标记。11.一种移动体，具备：根据权利要求10所述的显示系统；以及移动体主体，其搭载所述显示系统。12.一种绘制方法，包括以下处理：绘制处理，基于搭载于移动体的用于探测对象物的探测系统的探测结果，来进行与所
述对象物的位置相应的标记的绘制；以及校正处理，通过根据校正数据对基于所述探测系统的探测结果得到的所述对象物的位置进行校正，来决定通过所述绘制处理绘制的所述标记的绘制位置，其中，所述校正数据是至少基于与所述移动体的移动状况有关的移动信息而求出的。13.一种程序，用于使一个以上的处理器执行根据权利要求12所述的绘制方法。

技术总结

本公开的目的在于减少伴随探测系统自身的移动产生的显示位置的偏移。绘制系统(1)具备绘制部(11)和校正部(12)。绘制部(11)基于探测系统(3)的探测结果(D1)来进行与对象物的位置相应的标记的绘制。探测系统(3)搭载于移动体，用于探测对象物。校正部(12)通过根据校正数据(D2)对基于探测系统(3)的探测结果(D1)得到的对象物的位置进行校正，来决定由绘制部(11)绘制的标记的绘制位置。校正数据(D2)是至少基于与移动体的移动状况有关的移动信息而求出的。求出的。求出的。