图像处理装置和测距装置的制作方法

图像处理装置和测距装置
1.关联申请的相互参照
2.本技术要求日本国专利申请2020-114483号(2020年7月1日申请)的优先权，在此其全部公开内容通过引用并入本文。
技术领域
3.本发明涉及一种图像处理装置和测距装置。

背景技术：

4.近年来，开发了一种根据检测电磁波的多个检测器的检测结果得到与周围有关的信息的装置。例如，已知一种降低了各检测器的检测结果中的坐标系的差异的电磁波检测装置(参照专利文献1)。
5.现有技术文献
6.专利文献
7.专利文献1：日本特开2018-200927号公报。

技术实现要素：

8.第一方面的图像处理装置具有：
9.反射强度信息获取部，根据向存在对象的空间的多个方向照射的电磁波即照射波被所述对象反射后的反射波，获取所述对象的位置处的所述照射波的反射强度信息，并根据所述反射强度信息生成表示所述空间中的所述照射波的反射强度的反射强度图像；
10.图像信息获取部，获取所述空间的亮度图像；以及
11.对应信息算出部，根据所述反射强度图像和所述亮度图像各自中的所述对象的位置，算出将所述反射强度图像与所述亮度图像建立对应关系的对应信息。
12.另外，第二方面的图像处理装置具有：
13.图像信息获取部，获取存在对象的空间的亮度图像；
14.反射强度信息获取部，获取根据照射到所述空间的电磁波即照射波被所述对象反射后的反射波而生成的、表示所述空间中的位置处的所述照射波的反射强度的反射强度图像；以及
15.对应信息算出部，算出与所述空间中的规定的位置对应的、将所述反射强度图像中包括的位置与所述亮度图像中包括的位置建立对应关系的对应信息。
16.另外，第三方面的测距装置具有：
17.反射强度信息获取部，根据向存在对象的空间的多个方向照射的电磁波即照射波被所述对象反射后的反射波，获取所述对象的位置处的所述照射波的反射强度信息，并根据所述反射强度信息生成表示所述空间中的所述照射波的反射强度的反射强度图像；
18.图像信息获取部，获取所述空间的亮度图像；
19.对应信息算出部，根据所述反射强度图像和所述亮度图像各自中的所述对象的位
置，算出将所述反射强度图像与所述亮度图像建立对应关系的对应信息；以及
20.运算部，根据与所述反射强度信息一起获取的所述反射波的检测信息，对与所述对象的距离进行运算。
附图说明
21.图1是表示一实施方式的电磁波检测装置的概略结构的结构图。
22.图2是用于说明图1的电磁波检测装置的第一状态和第二状态下的电磁波的行进方向的图。
23.图3是用于说明包括反射波的电磁波的检测的图。
24.图4是用于说明距离的运算的时序图。
25.图5是表示存在对象的空间的亮度图像的一例的图。
26.图6是用基于距离的图像表示与图5的亮度图像相同的空间的图。
27.图7是用基于反射强度的图像表示与图5的亮度图像相同的空间的图。
28.图8是说明反射强度图像与亮度图像的对应关系的图。
29.图9是表示控制部的处理的流程图。
具体实施方式
30.图1是表示一实施方式的电磁波检测装置10的概略结构的结构图。电磁波检测装置10构成为具有照射系统111、受光系统110以及控制部14。在本实施方式中，电磁波检测装置10作为测距装置发挥作用。另外，控制部14作为将后述的反射强度图像70(参照图7)和亮度图像50(参照图5)建立对应关系来执行校准的图像处理装置发挥作用。在本实施方式中，对电磁波检测装置10具有一个照射系统111和一个受光系统110的情况进行了说明，但照射系统111和受光系统110不限于一个，也可以是多个受光系统110中的每一个分别与多个照射系统111中的每一个建立对应关系的结构。
31.照射系统111具有照射部12和偏转部13。受光系统110具有入射部15、分离部16、第一检测部20、第二检测部17、切换部18以及第一后级光学系统19。控制部14具有图像信息获取部141、反射强度信息获取部142、照射控制部143、受光控制部144、运算部145以及对应信息算出部146。关于电磁波检测装置10的各功能块的详细情况将在后面叙述。
32.在附图中，连接各功能块的虚线表示控制信号或所通信的信息的流向。虚线所示的通信可以是有线通信，也可以是无线通信。另外，实线的箭头表示束状的电磁波。另外，在附图中，对象ob是电磁波检测装置10的被摄体。被摄体可以包括例如道路、中央隔离带、人行道、行道树、车辆等物体，也可以包括人。另外，对象ob不限于一个。
33.电磁波检测装置10能够通过获取包括被摄体的图像并检测由被摄体反射后的反射波来识别被摄体。如上所述，电磁波检测装置10具有测量到对象ob的距离的运算部145，作为测距装置发挥作用。
34.(照射系统)
35.照射系统111向存在对象ob的空间照射电磁波。在本实施方式中，照射系统111经由偏转部13向存在对象ob的空间照射照射部12所照射的电磁波。作为另一例，照射系统111可以是照射部12直接向对象ob照射电磁波的结构。
36.照射部12照射红外线、可见光线、紫外线以及无线电波中的至少一种。在本实施方式中，照射部12照射红外线。另外，在本实施方式中，照射部12照射宽度细的、例如0.5
°
的束状的电磁波。另外，照射部12脉冲状地照射电磁波。照射部12作为电磁波照射元件，例如可以构成为包括led(light emitting diode，发光二极管)。另外，照射部12作为电磁波照射元件，例如可以构成为包括ld(laser diode，激光二极管)。照射部12根据控制部14的控制来在电磁波的照射和停止之间进行切换。此处，照射部12构成将多个电磁波照射元件阵列状地排列而成的led阵列或ld阵列，并且可以同时照射多条光束。
37.偏转部13使照射部12所照射的电磁波向多个不同的方向输出，变更向存在对象ob的空间照射的电磁波的照射位置。向多个不同的方向的输出可以通过边改变偏转部13的朝向边反射来自照射部12的电磁波来进行。例如偏转部13以照射部12所照射的电磁波在一维方向或二维方向上扫描对象ob。此处，在照射部12例如构成为ld阵列的情况下，偏转部13可以使从ld阵列输出的多个光束全部被反射，并使它们向同一方向输出。即，对于具有一个或多个电磁波照射元件的照射部12，照射系统111可以具有一个偏转部13。
38.偏转部13构成为，输出电磁波的空间即照射区域的至少一部分包括在受光系统110的电磁波的检测范围中。因此，经由偏转部13照射到存在对象ob的空间的电磁波的至少一部分在被对象ob的至少一部分反射后，能够在受光系统110中被检测到。此处，将照射波被对象ob的至少一部分反射后的电磁波称为反射波。照射波是指从照射系统111向存在对象ob的空间的多个方向照射的电磁波。
39.偏转部13例如包括mems(micro electro mechanical systems：微机械电子系统)反射镜、多面镜和检流镜等。在本实施方式中，偏转部13包括mems反射镜。
40.偏转部13根据控制部14的控制来改变对电磁波进行反射的朝向。另外，偏转部13例如可以具有编码器等角度传感器，也可以将角度传感器检测的角度作为对电磁波进行反射的方向信息通知给控制部14。在这样的结构中，控制部14能够根据从偏转部13获取的方向信息来算出电磁波的照射位置。另外，控制部14也能够根据为了使偏转部13改变对电磁波进行反射的朝向而输入的驱动信号来算出照射位置。
41.(受光系统)
42.以下，“包括反射波的电磁波”是指包括在对象ob处被反射的反射波且入射到受光系统110的电磁波。即，为了与照射波进行划分，入射到受光系统110的电磁波有时被称为“包括反射波的电磁波”。包括反射波的电磁波不仅包括从照射系统111照射的电磁波被对象ob反射后的反射波，还包括太阳光等外部光、外部光被对象反射后的光等。
43.入射部15是具有至少一个光学部件的光学系统，对成为被摄体的对象ob的像进行成像。光学部件例如包括透镜、反射镜、光圈和光学滤波器等中的至少一个。
44.分离部16设置在入射部15与一次成像位置之间，一次成像位置是在距离入射部15规定的位置的对象ob的像的、由入射部15形成的成像位置。分离部16根据波长将包括反射波的电磁波分离，并分离成沿第一方向d1或第二方向d2行进。分离部16可以将包括反射波的电磁波分离成反射波和除反射波以外的电磁波。除反射波以外的电磁波例如可以包括可见光等光。
45.在本实施方式中，分离部16将包括反射波的电磁波的一部分向第一方向d1反射，并且将另一部分向第二方向d2透过。在本实施方式中，分离部16将入射的电磁波中太阳光
等环境光被对象ob反射后的可见光向第一方向d1反射。另外，分离部16将入射的电磁波中照射部12所照射的红外线被对象ob反射后的红外线向第二方向d2透过。作为另一例，分离部16可以将入射的电磁波的一部分向第一方向d1透过，并将电磁波的另一部分向第二方向d2反射。另外，分离部16可以使入射的电磁波的一部分向第一方向d1折射，使电磁波的另一部分向第二方向d2折射。分离部16例如是半反射镜、分束器、分镜、冷反射镜、热反射镜、超表面、偏转元件及棱镜等。
46.第二检测部17设置在从分离部16沿第一方向d1行进的电磁波的路径上。第二检测部17设置在对象ob在第一方向d1上的成像位置或成像位置附近。第二检测部17检测从分离部16沿第一方向d1行进的电磁波。
47.另外，第二检测部17可以以从分离部16沿第一方向d1行进的电磁波的第一行进轴与第二检测部17的第一检测轴平行的方式相对于分离部16进行配置。第一行进轴是从分离部16沿第一方向d1行进的、以放射状扩散的同时进行传播的电磁波的中心轴。在本实施方式中，第一行进轴是将入射部15的光轴延伸至分离部16并在分离部16以与第一方向d1平行的方式折弯的轴。第一检测轴是通过第二检测部17的检测面的中心并垂直于检测面的轴。
48.进一步，第二检测部17可以配置为第一行进轴与第一检测轴的间隔在第一间隔阈值以下。另外，第二检测部17也可以配置为第一行进轴与第一检测轴一致。在本实施方式中，第二检测部17配置为第一行进轴与第一检测轴一致。
49.另外，第二检测部17可以以使第一行进轴与第二检测部17的检测面所成的第一角度成为第一角度阈值以下或规定的角度的方式相对于分离部16进行配置。在本实施方式中，第二检测部17以第一角度为90
°
的方式配置。
50.在本实施方式中，第二检测部17是无源传感器。在本实施方式中，第二检测部17更具体地包括元件阵列。例如，第二检测部17包括图像传感器或成像阵列等拍摄元件，对在检测面上成像的电磁波的像进行拍摄，生成包括所拍摄的对象ob的空间的图像信息。
51.在本实施方式中，第二检测部17更具体地拍摄可见光的像。第二检测部17将生成的图像信息作为信号发送给控制部14。第二检测部17可以拍摄红外线、紫外线以及无线电波的像等除可见光以外的像。
52.切换部18设置在从分离部16沿第二方向d2行进的电磁波的路径上。切换部18设置在对象ob在第二方向d2上的一次成像位置或一次成像位置附近。
53.在本实施方式中，切换部18设置在成像位置。切换部18具有通过了入射部15和分离部16的电磁波所入射的作用面as。作用面as由沿二维状排列的多个切换元件se构成。作用面as是在后述的第一状态和第二状态中的至少任一状态下，使电磁波产生例如反射和透射等作用的面。
54.切换部18能够针对每个切换元件se使入射到作用面as的电磁波在沿第三方向d3行进的第一状态和沿第四方向d4行进的第二状态之间切换。在本实施方式中，第一状态是将入射到作用面as的电磁波向第三方向d3反射的第一反射状态。另外，第二状态是将入射到作用面as的电磁波向第四方向d4反射的第二反射状态。
55.在本实施方式中，更具体地说，切换部18针对每个切换元件se包括对电磁波进行反射的反射面。切换部18通过任意地变更每个切换元件se的各反射面的朝向来针对每个切换元件se在第一反射状态和第二反射状态之间进行切换。
56.在本实施方式中，切换部18例如包括dmd(digital micro mirror device：数字微镜设备)。dmd能够通过对构成作用面as的微小的反射面进行驱动来针对每个切换元件se将反射面切换为相对于作用面as为+12
°
和-12
°
中的任一个的倾斜状态。作用面as平行于dmd中的载置微小的反射面的基板的板面。
57.切换部18根据控制部14的控制来针对每个切换元件se在第一状态和第二状态之间进行切换。例如，如图2所示，切换部18同时地进行如下动作：通过将一部分切换元件se1切换为第一状态来使入射到切换元件se1的电磁波能够沿第三方向d3行进，并且通过将另一部分切换元件se2切换为第二状态来使入射到切换元件se2的电磁波能够沿第四方向d4行进。更具体地说，控制部14根据来自偏转部13的方向信息来检测电磁波的照射方向或电磁波的照射位置。然后，将与检测到的电磁波的照射方向或照射位置对应的切换元件se1设为第一状态，并且将除此之外的切换元件se1设为第二状态，由此选择性地使来自对象ob的反射波沿第三方向d3行进。在通过了分离部16的电磁波中，来自对象ob的反射波以外的电磁波沿第四方向d4行进，因此不入射到第一检测部20。
58.如图1所示，第一后级光学系统19从切换部18起设置在第三方向d3上。第一后级光学系统19例如包括透镜和反射镜中的至少一个。第一后级光学系统19对作为在切换部18中行进方向被切换了的电磁波的对象ob的像进行成像。
59.第一检测部20检测反射波。第一检测部20被配置在能够检测利用切换部18沿第三方向d3行进后经由第一后级光学系统19行进的电磁波的位置。第一检测部20检测经由第一后级光学系统19的电磁波即沿第三方向d3行进的电磁波并输出检测信号。
60.另外，第一检测部20与切换部18一起可以相对于分离部16配置为从分离部16沿第二方向d2行进后利用切换部18使行进方向切换为第三方向d3的电磁波的第二行进轴与第一检测部20的第二检测轴平行。第二行进轴是从切换部18沿第三方向d3行进的、以放射状扩散的同时传播的电磁波的中心轴。在本实施方式中，第二行进轴是将入射部15的光轴延伸至切换部18，并在切换部18以与第三方向d3平行的方式折弯的轴。第二检测轴是通过第一检测部20的检测面的中心并垂直于检测面的轴。
61.进一步，第一检测部20与切换部18可以配置为第二行进轴和第二检测轴的间隔在第二间隔阈值以下。第二间隔阈值可以是与第一间隔阈值相同的值，也可以是不同的值。另外，第一检测部20也可以配置为第二行进轴与第二检测轴一致。在本实施方式中，第一检测部20配置为第二行进轴与第二检测轴一致。
62.另外，第一检测部20与切换部18可以以使第二行进轴与第一检测部20的检测面所成的第二角度为第二角度阈值以下或规定的角度的方式相对于分离部16配置。第二角度阈值可以是与第一角度阈值相同的值，也可以是不同的值。在本实施方式中，如上所述，第一检测部20以第二角度为90
°
的方式配置。
63.在本实施方式中，第一检测部20对从照射部12向对象ob照射的电磁波的反射波进行检测的有源传感器。第一检测部20例如包括apd(avalanche photodiode：雪崩光电二极管)、pd(photodiode：光电二极管)以及测距图像传感器等单一的元件。此外，第一检测部20可以包括apd阵列、pd阵列、测距成像阵列和测距图像传感器等元件阵列。
64.在本实施方式中，第一检测部20将表示检测到来自被摄体的反射波的检测信息作为信号发送给控制部14。更具体地说，第一检测部20检测红外线的频带的电磁波。
65.另外，在本实施方式中，第一检测部20作为用于测定到对象ob的距离的检测元件使用。换言之，第一检测部20是构成测距传感器的元件，只要能够检测电磁波即可，不需要在检测面上成像。因此，第一检测部20也可以不设置在利用第一后级光学系统19进行成像的成像位置即二次成像位置。即，在该结构中，第一检测部20只要配置在来自全部视场角度的电磁波能够入射到检测面上的位置即可，可以配置在利用切换部18沿第三方向d3行进后经由第一后级光学系统19行进的电磁波的路径上的任意处。
66.通过具有如上所述的结构，电磁波检测装置10使图像上的规定位置与用于测定该位置的距离的反射波的光轴一致。
67.此处，图3是用于说明包括反射波的电磁波的检测的图。在图3中，存在对象ob的空间被照射系统111照射电磁波的每1帧的次数分割，被划分为格子状。通常，检测包括反射波的电磁波的1帧所需要的时间比由拍摄元件等获取1帧的图像的时间更长。作为一例，拍摄元件在1秒内能够获取30帧的1920
×
1080像素的图像。另一方面，对于接受所照射的电磁波的反射波进行距离测定所需要的时间而言，有时在1个点上花费20μs左右。因此，接受来自空间的反射波而获取距离信息的位置的数量(点数)每帧小于1920
×
1080。
68.在图3的例子中，从照射部12照射的束状的电磁波被偏转部13反射，作为照射波入射到空间中的一个区域r。在本实施方式中，照射波为红外线。包括被存在于区域r的对象ob反射的反射波在内的电磁波入射到入射部15中。在本实施方式中，反射波为红外线。另外，包括反射波的电磁波包括外部光被存在于区域r的对象ob反射后的可见光。分离部16将包括反射波的电磁波中的可见光向第一方向d1反射。反射后的可见光在第二检测部17中被检测。另外，分离部16将包括反射波的电磁波中的红外线向第二方向d2透过。透过分离部16的红外线被切换部18反射，从而至少一部分沿第三方向d3行进。沿第三方向d3行进的红外线通过第一后级光学系19后在第一检测部20被检测。
69.(控制部)
70.照射控制部143控制照射系统111。照射控制部143例如使照射部12在电磁波的照射和停止之间进行切换。照射控制部143例如使偏转部13改变对电磁波进行反射的朝向。
71.受光控制部144控制受光系统110。受光控制部144例如使切换部18针对每个切换元件se在第一状态和第二状态之间进行切换。
72.图像信息获取部141从用于检测来自空间的电磁波的第二检测部17，获取存在对象ob的空间的图像信息。此处，图像信息是指例如对象ob的各点的亮度值被检测到的图像，包括彩图像(rgb图像)以及单图像等。本说明书中，为了与反射强度图像70(参照图7)进行区分，有时将图像信息表示为亮度图像50。图5是表示存在对象ob的空间的亮度图像50的一例的图。在图5的例子中，对象ob包括在前方行驶中的车辆、道路、白线以及侧壁等。另外，在图5的例子中，白部分的亮度高，黑部分的亮度低。
73.运算部145根据第一检测部20的检测信息，对与对象ob的距离进行运算。运算部145能够根据获取的检测信息例如以tof(time-of-flight：飞行时间)方式对距离进行运算。
74.如图4所示，控制部14通过向照射部12输入电磁波辐射信号，使照射部12照射脉冲状的电磁波(参照“电磁波辐射信号”栏)。照射部12根据输入的电磁波辐射信号来照射电磁波(参照“照射部辐射量”栏)。由照射部12照射且由偏转部13反射从而照射到作为存在对象
ob的空间的照射区域的电磁波在照射区域反射。控制部14将照射区域的反射波的由入射部15在切换部18中形成的成像区域中的至少一部分切换元件se切换为第一状态，将其他切换元件se切换为第二状态。然后，第一检测部20检测在照射区域被反射的电磁波时(参照“电磁波检测量”栏)，将检测信息通知给控制部14。
75.运算部145获取包括检测信息的上述信号的信息。运算部145例如包括时间测量lsi(large scale integrate dcircuit：大规模集成电路)，测量从使照射部12照射电磁波的时刻t1到获取到检测信息(参照“检测信息获取”栏)的时刻t2为止的时间δt。运算部145通过将时间δt乘以光速并且除以2来算出到照射位置的距离。
76.图6是用基于距离的图像(距离图像60)表示与图5的亮度图像50相同的空间的图。距离图像60是将运算部145算出的距离可视化的图像。在图6的例子中，白部分的距离远，黑部分的距离近。在距离图像60中，例如在前方行驶中的车辆几乎处于相同的距离，因此，整体以相同的颜平坦地示出。此处，如上所述，接受来自空间的反射波而获取距离信息的位置的数量每帧中比亮度图像50的像素数少(参照图3)。因此，距离图像60的分辨率比亮度图像50低。此处，距离图像60的图像分辨率是包括被摄体的空间中的基于电磁波的距离等的检测部位数量、即获取距离信息的位置的数量。在用激光扫描空间的情况下，电磁波的检测的分辨率是指对象空间的一次扫描中的激光的照射部位的数量。
77.反射强度信息获取部142获取对象ob的位置处的照射波的反射强度信息。另外，反射强度信息获取部142根据反射强度信息生成表示空间中的照射波的反射强度的反射强度图像70(参照图7)。反射强度信息基于由第一检测部20获取的信号而获得。即，反射强度信息获取部142能够从检测反射波的第一检测部20与反射波的检测信息等一起获取反射强度信息。作为一例，反射强度信息用来自照射部12的电磁波的辐射量与该电磁波被对象ob反射后的反射波的电磁波检测量的比表示。照射波的反射强度根据对象ob的反射面的特征而变动。例如，即使是处于相同距离的对象ob，因反射面的材质的差异和颜的差异等，照射波的反射强度不同。因此，能够根据照射波的反射强度信息了解对象ob的反射面的特征。
78.图7是用基于反射强度的图像(反射强度图像70)表示与图5的亮度图像50相同的空间的图。反射强度图像70由反射强度信息获取部142生成。在图7的例子中，白部分的反射强度大，黑部分的反射强度小。在图7所示的反射强度图像70中，能够目视确认例如在前方行驶中的车辆的尾灯和车牌等特征部分。此处，由于与距离图像60相同的原因，反射强度图像70的分辨率比亮度图像50更低。
79.对应信息算出部146根据反射强度图像70和亮度图像50的各自中的对象ob的位置算出将反射强度图像70中的位置(像素)与亮度图像50中的位置(像素)建立对应关系的对应信息。即，对应信息算出部146能够使用反射强度图像70和亮度图像50执行对基于图像信息的空间与由反射波可视化的空间的位置偏移进行校正的校准。对于校准和对应信息的详细情况在后面描述。
80.此处，控制部14也可以包括1个以上的处理器。处理器可以从能够访问的存储器加载程序，可作为图像信息获取部141、反射强度信息获取部142、照射控制部143、受光控制部144、运算部145和对应信息算出部146进行动作。处理器可以包括用于读取特定的程序以执行特定的功能的通用处理器和专门用于特定的处理的专用处理器中的至少一者。专用处理器可以包括专用集成电路(asic，application specific integrated circuit)。处理器可
以包括可编程逻辑装置(pld；programmable logic device)。pld可以包括fpga(field-programmable gate array，现场可编程门阵列)。控制部14可以包括一个或多个处理器协作的soc(system-on-a-chip：系统级芯片)和sip(system in a package：系统级封装)中的至少一个。
81.(校准)
82.电磁波检测装置10被搭载于车辆等，能够在产生振动的环境和高温环境下使用。在这种环境下使用时，可能产生例如分离部16、第一检测部20、第二检测部17或切换部18等的位置偏移和变形等。于是，在基于图像信息的空间和根据反射波所识别的空间之间产生位置偏移，被摄体的位置等的检测有可能不准确。对应信息算出部146与图像信息获取部141及反射强度信息获取部142一起作为图像处理装置发挥作用，如以下说明那样，能够执行对部件的位置偏移和变形等影响进行校正的校准。校准例如可以定期执行，但不限于此。作为非定期执行的例子，校准可以在搭载了电磁波检测装置10的车辆等发动机启动時执行。或者，也可以以由未图示的温度检测机构检测的电磁波检测装置10或其构成部件(切换部18等)的温度达到规定以上作为契机来执行校准。
83.图8是说明反射强度图像70与亮度图像50的对应关系的图。在图8的例子中，电磁波检测装置10中包括的光学部件等受到热或振动影响，亮度图像50被放大并旋转，并且在一个方向上移动，需要校准。例如，由于在第二检测部17产生伴随位置偏移和旋转的变形，亮度图像50可成为图8所示的状态。对应信息算出部146算出将反射强度图像70与亮度图像50建立对应关系的对应信息，以使亮度图像50成为与反射强度图像70对应的图像的状态(图8的虚线)。对应信息包括旋转、放大缩小以及平移中的至少一个。
84.旋转的对应信息例如用下述式(1)的旋转矩阵r(θ)表示。此处，x和y是表示反射强度图像70上的位置的坐标。另外，x和y是表示亮度图像50上的位置的坐标。
85.[数学式1]
[0086][0087]
放大缩小的对应信息例如用下述式(2)的放大缩小矩阵s表示。此处，x、y、x和y与式(1)相同。
[0088]
[数学式2]
[0089][0090]
平移的对应信息例如用下述式(3)的平移矩阵t表示。此处，x、y、x和y与式(1)相同。
[0091]
[数学式3]
[0092][0093]
在校准中，对应信息算出部146提取多个反射强度图像70和亮度图像50各自包括的特征点以算出对应信息。特征点例如是图像中形状和亮度与周围不同的部分。例如，在对象ob为在前方行驶中的车辆的情况下，特征点可以为尾灯和车牌。另外，例如，如果对象ob为道路，特征点可以为白线。特征点是反射强度图像70和亮度图像50各自的图像所表示的空间的同一部位。特征点的提取例如能够使用边缘检测等已知的图像处理的方法。此处，对
应信息算出部146需要选择容易检测特征点的图像并与亮度图像50建立对应关系。例如，在图6所示的距离图像60中，难以产生对象ob的表面的特征。相对于此，反射强度图像70容易成为反映对象ob的表面形状、图案和颜的图像，容易提取图像中的特征点。因此，优选对应信息算出部146选择反射强度图像70，而不是距离图像60。
[0094]
例如，在图8的例子，对应信息算出部146从亮度图像50和反射强度图像70中提取包括左右的尾灯部分和白线部分的多个特征点。而且，对应信息算出部146以对应的特征点的坐标一致的方式算出对应信息。此处，如上所述，亮度图像50具有比反射强度图像70更高的分辨率。优选反射强度图像70与亮度图像50的图像分辨率一致或近似。因此，优选对应信息算出部146对亮度图像50进行下采样并降低分辨率以与反射强度图像70的分辨率匹配。即，优选对应信息算出部146使用进行了下采样的亮度图像50和反射强度图像70来算出对应信息。此处，对提取的特征点的数量没有限定，优选较多以能够准确地算出对应信息(例如为10处以上)。此处，反射强度图像70也可以通过超分辨率等提高分辨率来代替对亮度图像50进行下采样。反射强度图像70和亮度图像50两者的分辨率也可以改变。
[0095]
(图像处理方法)
[0096]
电磁波检测装置10的控制部14例如按照图9的流程图执行图像处理。
[0097]
控制部14的对应信息算出部146获取反射强度信息获取部142根据反射强度信息生成的反射强度图像70(步骤s1)。
[0098]
控制部14的对应信息算出部146获取图像信息获取部141生成的亮度图像50(步骤s2)。此处，对应信息算出部146获取反射强度图像70和亮度图像50的顺序也可以相反。即，步骤s2也可以在步骤s1之前执行。
[0099]
控制部14的对应信息算出部146对亮度图像50进行下采样(步骤s3)。能够通过坐标容易地掌握2个图像的特征点的位置关系，以通过下采样使亮度图像50的分辨率与反射强度图像70匹配。
[0100]
控制部14的对应信息算出部146在反射强度图像70和亮度图像50中分别提取对象ob的特征点(步骤s4)。特征点的提取例如为确定各图像中的特征点的xy坐标(像素的位置)。在图8的例子中，对应信息算出部146确定左尾灯、右尾灯、白线的反射强度图像70中的各坐标(x1，y1)、(x2，y2)、(x3，y3)。另外，对应信息算出部146确定左尾灯、右尾灯、白线的亮度图像50中的各坐标(x1，y1)、(x2，y2)、(x3，y3)。
[0101]
控制部14的对应信息算出部146算出将反射强度图像70与亮度图像50建立对应关系的对应信息(步骤s5)。在图8的例子中，对应信息算出部146以坐标(x1，y1)、(x2，y2)、(x3，y3)分别与坐标(x1，y1)、(x2，y2)、(x3，y3)对应的方式，算出式(1)的旋转矩阵r(θ)、式(2)的放大缩小矩阵s以及式(3)的平移矩阵t。此处，对于旋转矩阵r(θ)、放大缩小矩阵s和平移矩阵t而言，只要算出坐标彼此对应所需的至少一个即可。旋转矩阵r(θ)、放大缩小矩阵s和平移矩阵t是用于使坐标(x1，y1)、(x2，y2)、(x3，y3)分别与坐标(x1，y1)、(x2，y2)、(x3，y3)一致或近似的应用于亮度图像50的转换式。
[0102]
控制部14的对应信息算出部146算出的对应信息被存储在例如控制部14能够访问的存储部中。控制部14例如在计算被摄体的三维位置或输出作为行驶支援信息的图像的情况下，根据存储在存储部中的对应信息进行图像的校正。
[0103]
如上所述，图像处理装置包括在例如作为测距装置的电磁波检测装置10中，通过
上述构成执行使用反射强度图像70和亮度图像50的校准。电磁波检测装置10能够使用通过校准获得的对应信息进行图像的校正。即，本实施方式的图像处理装置和测距装置能够降低电磁波检测中的环境变化的影响。即，能够消除或者减小根据图像信息所识别的空间中的位置和根据反射波所识别的空间中的位置之间产生的位置偏移。
[0104]
(变形例)
[0105]
虽然已经根据各附图和实施例说明了本发明，但是应当注意，本领域技术人员容易根据本发明进行各种变形和修改。因此，应当注意，这些变形和修改包括在本发明的范围内。
[0106]
在上述实施方式中，对应信息算出部146对亮度图像50进行下采样，但也可以省略该处理。另外，特征点并不限于上述例子。例如，对象ob为行人，也可以使用衣服和头部作为特征点。另外，例如，对象ob为道路，也可以使用除白线以外的路面标识作为特征点。
[0107]
在上述实施方式中，如上所述，电磁波检测装置10是照射激光并通过直接测定到返回为止的时间的直接飞行时间(direct tof)来创建距离信息的结构。但是，电磁波检测装置10并不限于这种结构。例如，电磁波检测装置10也可以以固定的周期放射状地(即，在多个方向上同时)照射电磁波并根据照射的电磁波与返回的电磁波的位相差通过间接测定到返回为止的时间的闪速飞行时间(flash tof)来创建距离信息。另外，电磁波检测装置10也可以通过其他tof方式，例如，阶段性飞行时间(phased tof)来创建距离信息。
[0108]
在上述实施方式中，切换部18能够将入射到作用面as的电磁波的行进方向切换成两个方向，但也可以不切换成两个方向中的任意一个方向，而切换成三个以上的方向。
[0109]
在上述实施方式的切换部18中，第一状态和第二状态是使入射到作用面as的电磁波分别向第三方向d3反射的第一反射状态和向第四方向d4反射的第二反射状态，但也可以是其他的方式。
[0110]
例如，第一状态可以是使入射到作用面as的电磁波透过而沿第三方向d3行进的透过状态。更具体地说，代替上述切换部18的另一结构的切换部181针对每个切换元件可以包括具有使电磁波向第四方向d4反射的反射面的快门。在这种结构的切换部181中，通过对每个切换元件的快门进行开闭，能够针对每个切换元件在作为第一状态的透过状态和作为第二状态的反射状态之间进行切换。
[0111]
作为这种结构的切换部181，例如可举出包括由能够开闭的多个快门以阵列状排列而成的mems快门的切换部。另外，切换部181可举出包括液晶快门的切换部，该液晶快门能够根据液晶取向来在对电磁波进行反射的反射状态和使电磁波透过的透过状态之间进行切换。在这种结构的切换部181中，能够通过对每个切换元件的液晶取向进行切换来针对每个切换元件在作为第一状态的透过状态和作为第二状态的反射状态之间进行切换。
[0112]
另外，在电磁波检测装置10中，受光系统110还可以具有第二后级光学系统和第三检测部。第二后级光学系统从切换部18起设置在第四方向d4上，对对象ob的像进行成像。第三检测部设置在利用切换部18沿第四方向d4行进后经由第二后级光学系统行进的电磁波的路径上，检测沿第四方向d4行进的电磁波。
[0113]
另外，在上述实施方式中，电磁波检测装置10具有第二检测部17为无源传感器且第一检测部20为有源传感器的结构。但是，电磁波检测装置10不限于这样的结构。例如，在电磁波检测装置10中，无论第二检测部17和第一检测部20都是有源传感器的结构，还是都
是无源传感器的结构，都能得到与上述实施方式类似的效果。
[0114]
在本实施方式中，对于电磁波检测装置10而言，运算部145测定到对象ob的距离，具有作为测距装置的功能。此处，电磁波检测装置10并不限于测定距离。例如，电磁波检测装置10也可以为检测作为路上的障碍物的对象ob的存在并警告的驾驶支援装置。此时，控制部14也可以为不包括运算部145的结构。作为另一例，电磁波检测装置10也可以为检测周围的可疑对象ob的存在的监视装置。
[0115]
图像信息获取部141、反射强度信息获取部142、照射控制部143、受光控制部144、运算部145以及对应信息算出部146的一部分也可以并不包括在控制部14中，而与控制部14分开设置。例如，运算部145也可以设置为与控制部14独立的控制装置。
[0116]
控制部14中设置的图像信息获取部141、反射强度信息获取部142、对应信息算出部146等各功能不需要包括在电磁波检测装置10中，也可以作为其他装置而设置。
[0117]
虽然在上述实施方式中描述了代表性的例子，但是本领域技术人员显而易见的是在本发明的主旨和范围内能够进行多种改变和替换。因此，本发明不应被理解为受上述实施方式的限制，并且能够在不脱离权利要求的范围内进行各种变形和改变。例如，能够将实施方式的结构图中记载的多个结构块组合成一个或者对一个结构块进行分割。
[0118]
另外，虽然将本发明的解决方案作为装置进行了说明，但本发明也可以作为包括以上这些的方式来实现，另外，也可以作为与以上这些实质上相当的方法、程序、存储了程序的存储介质来实现，应理解的是，本发明的范围也包括以上这些。
[0119]
附图标记说明
[0120]
10：电磁波检测装置；
[0121]
12：照射部；
[0122]
13：偏转部；
[0123]
14：控制部；
[0124]
15：入射部；
[0125]
16：分离部；
[0126]
17：第二检测部；
[0127]
18、181：切换部；
[0128]
19：第一后级光学系；
[0129]
20：第一检测部；
[0130]
50：亮度图像；
[0131]
60：距离图像；
[0132]
70：反射强度图像；
[0133]
110：受光系统；
[0134]
111：照射系统；
[0135]
141：图像信息获取部；
[0136]
142：反射强度信息获取部；
[0137]
143：照射控制部；
[0138]
144：受光控制部；
[0139]
145：运算部；
[0140]
146：对应信息算出部；
[0141]
as：作用面；
[0142]
d1、d2、d3、d4：第一方向、第二方向、第三方向、第四方向；
[0143]
ob：对象。

技术特征：

1.一种图像处理装置，其中，具有：反射强度信息获取部，根据向存在对象的空间的多个方向照射的电磁波即照射波被所述对象反射后的反射波，获取所述对象的位置处的所述照射波的反射强度信息，并根据所述反射强度信息生成表示所述空间中的所述照射波的反射强度的反射强度图像；图像信息获取部，获取所述空间的亮度图像；以及对应信息算出部，根据所述反射强度图像和所述亮度图像各自中的所述对象的位置，算出将所述反射强度图像与所述亮度图像建立对应关系的对应信息。2.根据权利要求1所述的图像处理装置，其中，所述对应信息包括将所述反射强度图像与所述亮度图像建立对应关系的旋转、放大缩小以及平移的至少一个。3.根据权利要求1或2所述的图像处理装置，其中，配置为所述亮度图像中的规定位置与来自所述规定位置的所述反射波的光轴一致。4.根据权利要求3所述的图像处理装置，其中，所述反射强度信息获取部从检测所述反射波的第一检测部获取所述反射强度信息，所述图像信息获取部从检测所述光的第二检测部获取所述图像信息，所述第一检测部检测从包括所述反射波的电磁波中根据波长而分离的所述反射波，所述第二检测部检测从包括所述反射波的电磁波中根据波长而分离的所述光。5.根据权利要求1～4中任一项所述的图像处理装置，其中，所述亮度图像具有比所述反射强度图像更高的分辨率，所述对应信息算出部使用分辨率降低后的所述亮度图像和所述反射强度图像算出所述对应信息、或者使用所述亮度图像和分辨率提高后的所述反射强度图像算出所述对应信息。6.根据权利要求1～5中任一项所述的图像处理装置，其中，具有根据所述对应信息对所述亮度图像进行校正的控制部。7.一种图像处理装置，其中，具有：图像信息获取部，获取存在对象的空间的亮度图像；反射强度信息获取部，获取根据照射到所述空间的电磁波即照射波被所述对象反射后的反射波而生成的、表示所述空间中的位置处的所述照射波的反射强度的反射强度图像；以及对应信息算出部，算出与所述空间中的规定的位置对应的、将所述反射强度图像中包括的位置与所述亮度图像中包括的位置建立对应关系的对应信息。8.根据权利要求7所述的图像处理装置，其中，所述对应信息是用于使所述反射强度图像中包括的位置和所述亮度图像中包括的位置近似或一致的应用于所述反射强度图像或所述亮度图像的转换式。9.一种测距装置，其中，具有：反射强度信息获取部，根据向存在对象的空间的多个方向照射的电磁波即照射波被所述对象反射后的反射波，获取所述对象的位置处的所述照射波的反射强度信息，并根据所述反射强度信息生成表示所述空间中的所述照射波的反射强度的反射强度图像；图像信息获取部，获取所述空间的亮度图像；
对应信息算出部，根据所述反射强度图像和所述亮度图像各自中的所述对象的位置，算出将所述反射强度图像与所述亮度图像建立对应关系的对应信息；以及运算部，根据与所述反射强度信息一起获取的所述反射波的检测信息，对与所述对象的距离进行运算。

技术总结

本发明提供能够降低电磁波检测中的环境变化、随时间变化的影响的图像处理装置和测距装置。图像处理装置具有：反射强度信息获取部(142)，根据向存在对象(ob)的空间的多个方向照射的电磁波即照射波被对象反射后的反射波，获取对象的位置处的照射波的反射强度信息，并根据反射强度信息生成表示空间中的照射波的反射强度的反射强度图像；图像信息获取部(141)，获取空间的亮度图像；以及对应信息算出部(146)，根据反射强度图像和亮度图像各自中的对象的位置，算出将反射强度图像与亮度图像建立对应关系的对应信息。建立对应关系的对应信息。建立对应关系的对应信息。