成像电路、成像装置和成像方法与流程

1.本公开涉及一种成像电路、成像装置和成像方法。

背景技术：

2.在一般的成像装置中，经常使用在同步信号的定时拍摄图像数据(帧)的同步成像元件。但是，同步成像同步成像元件仅能够得到同步信号的每个周期(例如1/60秒)的图像数据，并不适合于高速地获取图像数据的目的。由此，已经提出异步成像元件。异步成像元件的像素包括能够针对每个地址实时地检测光量超过阈值作为事件的事件检测电路。
3.引用列表
4.专利文献
5.专利文献1：日本专利申请公开号2016-533140

技术实现要素：

6.本发明要解决的问题
7.异步成像元件可以比同步成像元件以更高速度产生和输出数据。异步成像元件的使用通过高速执行识别人或障碍物的图像的处理来实现例如在交通领域中的安全性的提高。但是，为每个像素设置地址事件检测电路，则存在安装面积比同步成像元件大的问题。
8.本公开提供了一种能够在减小电路尺寸的同时执行高速读取的成像电路、成像装置和成像方法。
9.问题的解决方案
10.根据本公开的成像电路的一方面可包括：多个电路块，每个电路块包括光电转换元件和电流-电压转换电路，光电转换元件被配置为光电转换入射光以产生光电流，电流-电压转换电路被配置为将光电流转换为电压信号；量化器，被配置为根据将从所述多个电路块中的至少一个电路块提供的电压信号与阈值进行比较的结果来生成地址事件的检测信号；解复用器，连接至所述量化器的后级；以及多个锁存电路，连接到所述解复用器的不同输出端。
11.所述多个锁存电路中的每一个可被配置为存储由所述量化器检测到的所述地址事件。
12.锁存电路的数量可以等于或大于2并且等于或小于光电转换元件的数量的两倍。
13.多个电路块中的每个电路块可包括被配置为执行阻抗变换的缓冲电路和被配置为将电压信号转换成差分电压的减法器。
14.量化器可在从多个电路块中的至少一个电路块提供的电压信号超过第一阈值电压的情况下检测on事件。
15.量化器可在从多个电路块中的至少一个电路块提供的电压信号下降到第二阈值电压以下的情况下检测off事件。
16.成像电路可以被配置为针对多个光电转换元件中的至少一些所选的光电转换元
件读取on事件和off事件两者，并且将on事件和off事件存储在多个锁存电路中。
17.成像电路可以被配置为在经由读取线传输存储在多个锁存电路中的on事件和off事件之后，针对多个光电转换元件中的其余光电转换元件读取on事件和off事件两者，并且将on事件和off事件存储在多个锁存电路中。
18.多个光电转换元件可以被布置在基本垂直于读取线的方向上。
19.多个光电转换元件可以被布置在基本平行于读取线的方向上。
20.根据本公开的成像装置的一方面可包括：存储单元；以及多个成像电路，其中，分别包括在成像电路中的多个锁存电路可连接至不同的读取线，多个成像电路的对应的锁存电路可连接至同一读取线，并且存储单元可连接至多条读取线的后级。
21.所述成像装置可被配置为针对成像电路中的每个将存储于所述锁存电路中的所述地址事件传输至所述存储单元。
22.成像装置可被配置为针对所述成像电路中的每个交替地读取存储在锁存电路中的on事件或off事件，并将on事件或off事件传输至存储单元。
23.根据本公开的成像装置的一方面可包括：存储单元；以及多个成像电路，其中，分别包括在成像电路中的多个锁存电路连接至多条读取线中的一些；分别包括在所述成像电路中的所述多个锁存电路被分成组，每个组连接至相同的读取线，连接至所述多个锁存电路的读取线根据所述成像电路的不同而不同，并且所述存储单元连接至多条所述读取线的后级。
24.所述成像装置可被配置为针对多个所述成像电路读取存储在属于各所述组的所述锁存电路之一中的地址事件，且将所述地址事件传输至所述存储单元。
25.从每个成像电路读取并传输至存储单元的地址事件可包括on事件和off事件两者。
26.所述成像装置可被配置为针对多个所述成像电路交替地读取存储在所述锁存电路中的on事件或off事件，且将所述on事件或off事件传输至所述存储单元。
27.根据本发明的成像方法包括：从多个电路块中的至少一个电路块输出电压信号并将电压信号提供给量化器的步骤，每个电路块包括光电转换元件和电流-电压转换电路，光电转换元件被配置为光电转换入射光以产生光电流，电流-电压转换电路被配置为将光电流转换为电压信号；
28.在所述量化器处根据所述电压信号与阈值的比较结果生成地址事件的检测信号的步骤；
29.在解复用器处将由所述量化器生成的所述检测信号解复用到多个系统中并输出所述检测信号的步骤；以及
30.在对应于该多个系统的多个锁存电路处锁存该检测信号的步骤。
附图说明
31.图1是示出根据本公开的成像装置的配置实例的框图。
32.图2是示出成像元件的堆叠结构的实例的示图。
33.图3是示出根据本公开的光接收芯片的实例的平面图。
34.图4是示出根据本公开的检测芯片的实例的平面图。
35.图5是示出地址事件检测单元的实例的平面图。
36.图6是示出地址事件检测电路的配置实例的框图。
37.图7是示出根据本公开的地址事件电路的实例的电路图。
38.图8是示出锁存电路的实例的电路图。
39.图9是示出具有数量等于光电二极管数量的一半的锁存电路的地址事件电路的实例的示图。
40.图10是示出具有数量等于光电二极管数量的两倍的锁存电路的地址事件电路的实例的示图。
41.图11是示出具有与光电二极管的数量相等的数量的锁存电路的地址事件电路的实例的示图。
42.图12是示出具有三个锁存电路的地址事件电路的实例的示图。
43.图13是示出连接至四条读取线的地址事件电路的实例的示图。
44.图14是示出连接至四条读取线的多个地址事件电路的实例的示图。
45.图15是示出连接至两条读取线的地址事件电路的实例的示图。
46.图16是示出读取模式a的阶段#n的实例的示图。
47.图17是示出读取模式a的阶段#(n+1)的实例的示图。
48.图18是示出读取模式b的阶段#n的实例的示图。
49.图19是示出读取模式b的阶段#(n+1)的实例的示图。
50.图20是示出读取模式c的阶段#n的实例的示图。
51.图21是示出读取模式c的阶段#(n+1)的实例的示图。
52.图22是示出读取模式d的阶段#n的实例的示图。
53.图23是示出读取模式d的阶段#(n+1)的实例的示图。
54.图24是示出读取模式e的阶段#n的实例的示图。
55.图25是示出读取模式e的阶段#(n+1)的实例的示图。
56.图26是示出读取模式f的阶段#n的实例的示图。
57.图27是示出读取模式f的阶段#(n+1)的实例的示图。
58.图28是示出读取模式g的阶段#n的实例的示图。
59.图29是示出读取模式g的阶段#(n+1)的实例的示图。
60.图30是示出读取模式h的阶段#n的实例的示图。
61.图31是示出读取模式h的阶段#(n+1)的实例的示图。
62.图32是示出根据本公开的成像装置的成像处理的实例的流程图。
63.图33是示出车辆控制系统的示意性配置实例的框图。
64.图34是示出设置成像单元和外部信息检测单元的位置的实例的示图。
具体实施方式
65.在下文中，将参考附图详细描述本公开的优选实施方式。注意，在本说明书和附图中，具有基本相同的功能配置的部件将由相同的参考标号来表示，并且将省略冗余的描述。
66.[成像装置的配置实例]
[0067]
图1是示出根据本公开的成像装置的配置实例的框图。图1中的成像装置100包括
成像透镜110、成像元件200、存储单元120和控制单元130。成像装置100例如是安装在可穿戴装置上的相机或车载相机。
[0068]
成像透镜110将入射光会聚在成像元件200上。
[0069]
成像元件200具有多个像素。所述多个像素中的每个像素在亮度变化量的绝对值超过阈值的情况下都会生成地址事件。地址事件例如包括on事件和off事件。这里，on事件指示检测到的亮度超过第一阈值。off事件指示检测到的亮度下降到第二阈值以下。例如，可以使用大于参考值的值作为第一阈值。另外，可以使用小于参考值的值作为第二阈值。然而，用于设置第一阈值和第二阈值的方法不受限制。
[0070]
成像元件200的每个像素输出指示地址事件的检测结果的检测信号。每个检测信号包括例如指示on事件的存在或不存在的on事件检测信号vch和指示off事件的存在或不存在的off事件检测信号vcl。注意，成像元件200中的像素可以同时检测on事件和off事件两者，或者可以检测这些事件中的一个。
[0071]
成像元件200可以从检测信号生成图像数据。并且，成像元件200对图像数据执行识别处理等预定的处理。然后，成像元件200经由信号线209向存储单元120输出处理后的数据。
[0072]
存储单元120记录从成像元件200输出的数据。控制单元130控制成像元件200在期望的定时捕获图像数据。
[0073]
[成像元件的配置实例]
[0074]
图2示出了成像元件200的堆叠结构的实例。图2中的成像元件200包括检测芯片202和堆叠在检测芯片202上的光接收芯片201。这些芯片可以经由诸如通孔的连接部分彼此电连接。芯片例如可通过cu-cu结或凸块以及通孔电连接。
[0075]
图3是示出光接收芯片201的实例的平面图。光接收芯片201设置有光接收部分220。在光接收部分220中，多个光电二极管221被布置成二维晶格图案。光电二极管221被配置为光电转换入射光以产生光电流。例如，包括行地址和列地址的像素地址被分配给这些光电二极管221中的每一个。因此，可以指定行地址、列地址或像素地址并且执行各种控制。
[0076]
图4是示出检测芯片202的实例的平面图。图4的检测芯片202包括信号处理电路230、行驱动电路251、列驱动电路252、地址保持单元253和地址事件检测单元260。
[0077]
对于多个光电二极管221(像素)中的每个，当亮度变化量的绝对值超过预定阈值时，地址事件检测单元260生成地址事件。然后，地址事件检测单元260生成指示每个像素的地址事件的检测结果的检测信号。然后，地址事件检测单元260根据使能信号将检测信号输入到信号处理电路230。
[0078]
在此，使能信号是指定是否使能各像素的检测信号的输出的信号。在使能信号具有使能输出的波形的情况下，从对应像素输出检测信号。另一方面，在使能信号具有使输出无效的波形的情况下，不从对应像素输出检测信号。
[0079]
行驱动电路251被配置为选择行地址，并将与行地址对应的检测信号输出至地址事件检测单元260。
[0080]
列驱动电路252被配置为选择列地址，并将与列地址对应的检测信号输出至地址事件检测单元260。
[0081]
地址保持单元253被配置为保持发生了异常的缺陷像素的像素地址。
[0082]
信号处理电路230对来自地址事件检测单元260的检测信号执行预定信号处理。信号处理电路230将检测信号布置为二维晶格图案作为像素信号以获取图像数据。然后，信号处理电路230对图像数据执行诸如图像识别处理等信号处理。
[0083]
此外，信号处理电路230也可以具有获取各像素的地址事件的检测频率，并根据该检测频率的统计结果来指定缺陷像素的功能。在这种情况下，信号处理电路230将缺陷像素的像素地址保持在地址保持单元253中。此外，信号处理电路230生成每个像素的使能信号并且将使能信号提供给地址事件检测单元260。对于与缺陷像素对应的使能信号，输出具有使输出无效的波形的使能信号。
[0084]
图5是地址事件检测单元260的平面图的实例。在图5中，在地址事件检测单元260中，多个地址事件检测电路300以二维晶格图案布置。像素地址被分配给每个地址事件检测电路300。此外，地址事件检测电路300连接到具有相同地址或相应地址的光电二极管221。
[0085]
地址事件检测电路300被配置为根据来自对应的光电二极管221的光电流对电压信号进行量化。此外，地址事件检测电路300被配置为输出根据使能信号量化的电压信号作为检测信号。
[0086]
[地址事件检测电路的配置实例]
[0087]
图6是示出地址事件检测电路300的配置实例的框图。图6中的地址事件检测电路300包括电流-电压转换电路310、缓冲器320、减法器430、量化器340、传输电路350以及n型晶体管361和362。
[0088]
电流-电压转换电路310被配置为将来自相应的光电二极管221的电流信号转换成电压信号。此外，电流-电压转换电路310将电压信号提供给缓冲器320。
[0089]
缓冲器320被配置为将输入电压信号输出至减法器430。缓冲器320的使用可增加用于驱动后续电路的功率。另外，缓冲器320可确保与后续阶段中的切换操作相关的噪声隔离。
[0090]
减法器430被配置为通过执行减法处理来获得校正信号的变化量。减法器430将变化量作为差分信号提供给后级中的量化器340。
[0091]
量化器340被配置为将差分信号与预定阈值进行比较，并将模拟差分信号转换为数字检测信号。该处理对应于量化处理。例如，量化器340将差分信号与第一阈值和第二阈值进行比较，并将比较结果作为2比特检测信号提供给传输电路350。注意，量化器340是比较器的实例。
[0092]
n型晶体管361和362可根据使能信号打开和关闭提供给电流-电压转换电路310、缓冲器320、减法器430、量化器340和传输电路350的电源。作为这些n型晶体管，例如，可以使用金属氧化物半导体(mos)晶体管。n型晶体管361和362串联连接在电源端和电源线363之间，并且从信号处理电路230提供的使能信号enx和eny被输入到其栅极。电源线363连接到电流-电压转换电路310、缓冲器320、减法器430和量化器340的各个电源端子。注意，n型晶体管361和362是晶体管的实例。
[0093]
在此，使能信号enx和eny是指示是否使能具有像素地址(x,y)的像素的输出的信号。例如，在使能像素的输出的情况下，对使能信号enx和eny都设置高电平。此外，在像素的输出被禁用的情况下，低电平被设置为使能信号enx和eny中的至少一个。
[0094]
传输电路350被配置为根据来自列驱动电路252的列驱动信号将检测信号传输到
信号处理电路230。
[0095]
图7是示出根据本公开的地址事件检测电路示例的电路图。这里，地址事件电路是成像电路的实例。图7详细示出了与图6中的光电二极管221、电流-电压转换电路310、缓冲器320、减法器430、量化器340和传输电路350对应的部分。然而，与图6的电路不同，图7的地址事件检测电路300a包含多个光电二极管pd。此外，如图7所示，在根据本公开的成像电路中，可以采用其中在多个光电二极管pd之间共享在光电二极管pd之后的阶段的至少一部分电路的配置。
[0096]
图7中的地址事件检测电路300a具有n个电路块。这里，n是等于或大于2的任意整数。每个电路块包括光电二极管pd、电流-电压转换电路2、缓冲器3、减法器4和开关22。虽然在图7中示出了电路块500_1和电路块500_n，但是电路块的数量可以大于此。
[0097]
光电二极管pd的阳极接地。作为地，例如，可以使用电路的参考电位或基板的参考电位。然而，用作地的参考电位的类型不受限制。
[0098]
电流-电压转换电路2包括晶体管20、晶体管21和电流源s0。作为晶体管20和晶体管21，例如，可以使用nmos晶体管。此外，作为电流源s0，例如，可以使用pmos晶体管。
[0099]
晶体管20的源极连接到光电二极管pd的阴极。晶体管20的漏极连接到电源电位。晶体管20的栅极连接到晶体管21的源极。此外，电流源s0连接在电源电位和晶体管20的栅极和晶体管21的源极之间的节点之间。此外，晶体管21的栅极连接到晶体管20的源极和光电二极管pd的阴极。晶体管21的漏极接地。
[0100]
电流-电压转换电路2将流过光电二极管pd的电流转换为对数输出电压值。图7中的电流-电压转换电路2是源极接地的对数转换电路，但是该配置仅是实例。因此，可以使用具有将电流转换成电压的另一配置的电路。例如，作为电流-电压转换电路2，可以使用二极管型电路、栅极接地电路、或增益提升(多级)对数转换电路。
[0101]
缓冲器3包括晶体管30和电流源s1。作为晶体管30，例如，可使用nmos晶体管。作为电流源s1，例如，可以使用pmos晶体管。晶体管30的源极连接到电源电位。晶体管30的栅极连接至电流-电压转换电路2(在图7的实例的情况下，为电流源s0和晶体管21的源极之间的节点)。电流源s1连接在晶体管30的漏极和地之间。
[0102]
如上所述，缓冲器3是进行阻抗变换的源极跟随电路。源极跟随电路的使用使得能够维持高输入阻抗和低输出阻抗，而不管从电流-电压转换电路2输出的电压信号的振幅如何。
[0103]
减法器4包括电容器c1、电容器c2、晶体管31、晶体管32以及电流源s2。作为晶体管31和晶体管32，例如，可使用pmos晶体管。作为电流源s2，例如，可以使用nmos晶体管。
[0104]
晶体管32的源极连接到电源电位。电流源s2连接在晶体管32的漏极和地之间。此外，电容器c1和电容器c2串联连接在耦合晶体管32的漏极和电流源s2的节点与耦合晶体管30的漏极和电流源s1的节点之间。晶体管32的栅极和晶体管31的源极都连接到耦合电容器c1和电容器c2的节点。晶体管31的漏极连接到耦合晶体管32的漏极和电流源s2的节点。
[0105]
晶体管32和电流源s2形成反相器，该反相器具有作为输入侧的晶体管32的栅极以及作为输出侧的耦合晶体管32的漏极和电流源s2的节点。反相器被配置为将输入电压反相并且输出反相的输入电压。电容器c2与反相器并联连接。晶体管31的栅极电压由行驱动信号控制。因此，晶体管31的源极和漏极根据行驱动信号开启和关闭。
[0106]
当电压信号v
init
被输入到电容器c1的缓冲器3侧(输入侧)时，当晶体管31的源极/漏极变为导通时，电容器c1的相对侧变为虚拟接地端。在假设虚拟接地端的电位为零的情况下，存储在电容器c1中的电位q
init
由以下公式(1)表示，其中，电容器c1的电容为c1。
[0107]
公式(1)
[0108]qinit
＝c1
×vinit
ꢀꢀꢀ
(1)
[0109]
另一方面，电容器c2的两端在这种情况下都被短路，并且因此，电容器c2的存储电荷基本上变为零。
[0110]
接下来，将描述晶体管31的源极/漏极处于非导通状态时的操作。在该情况下，考虑电容器c1的缓冲器3侧(输入侧)的电压变化为v
after
的情况。在这种情况下，存储在电容器c1中的电荷q
after
由以下公式(2)表示。
[0111]
公式(2)
[0112]qafter
＝c1
×vafter
ꢀꢀꢀ
(2)
[0113]
另一方面，在这种情况下存储在电容器c2中的电荷q2由以下公式(3)表示，其中，输出电压为vout并且电容器c2的静电电容为c2。
[0114]
公式(3)
[0115]
q2＝-c2
×vout
ꢀꢀꢀ
(3)
[0116]
不管晶体管31的源极和漏极之间的导通状态如何，电容器c1和电容器c2的总电荷量都不改变，因此，下述公式(4)成立。
[0117]
公式(4)
[0118]qinit
＝q
after
+q2
ꢀꢀꢀ
(4)
[0119]
如果将公式(1)至(3)代入公式(4)，可以获得下述公式(5)。
[0120]
公式(5)
[0121][0122]
公式(5)表示电压信号的减法运算。减法运算的增益为c1/c2。为了最大化增益，可以进行设计使得c1值变大并且c2值变小。然而，如果c2的值被设置为太小，则ktc噪声增加，并且存在影响特性的可能性。因此，需要考虑增益和噪声之间的权衡来进行设计。注意，为每个像素安装包括减法器4的地址事件检测电路300，因此，电容器c1和电容器c2具有面积限制。
[0123]
开关22设置在每个减法器4的输出侧与量化器5的输入侧之间。在地址事件检测电路300a的操作期间，与要读取的电路块相对应的开关22可被打开，并且与不读取的电路块相对应的开关22可被断开。
[0124]
量化器5包括晶体管33至36。作为晶体管33和晶体管34，例如，可以使用pmos晶体管。此外，例如，nmos晶体管可以用作晶体管35和晶体管36。
[0125]
晶体管33的源极连接到电源电位。晶体管33的漏极连接到晶体管35的源极。晶体管35的漏极接地。晶体管34的源极连接到电源电位。晶体管34的漏极连接到晶体管36的源极。晶体管36的漏极连接到地。量化器5的输入端连接至晶体管33的栅极和晶体管34的栅极。
[0126]
偏置电压vbon被施加至晶体管35的栅极。另一方面，偏置电压vboff被施加到晶体
管36的栅极。在此，偏置电压vbon对应于第一阈值，偏置电压vboff对应于第二阈值。另外，量化器5的一个输出端连接到耦合晶体管33的漏极和晶体管35的源极的节点。输出端的电压对应于on事件检测信号vch。量化器5的另一输出端连接到耦合晶体管34的漏极和晶体管36的源极的节点。输出端的电压对应于off事件检测信号vcl。
[0127]
换言之，量化器5被配置为在差分信号超过第一阈值的情况下输出高电平on事件检测信号vch，并且在差分信号低于第二阈值的情况下输出低电平off事件检测信号vcl。要注意的是，量化器5的数量可为一个。在这种情况下，量化器5可被配置为按时间序列输出on事件检测信号vch和off事件检测信号vcl。
[0128]
传输电路6包括多路复用器23、解复用器24、锁存电路25a至25d、以及读取电路26a至26d。例如，读取电路26a至26d中的每个是包括选择晶体管的电路。量化器5的两个输出端连接至多路复用器23的对应输入端。多路复用器23的输出端连接至解复用器24的输入端。多路复用器24具有多个输出端。锁存电路和读取电路串联连接至解复用器24的各输出端的后级。每个读取电路的输出侧连接至读取线(l1至l4)中的一个。
[0129]
例如，多路复用器23可以根据第一控制信号(未示出)在后续阶段将输入到输入端之一的信号提供给多路复用器24。此外，多路复用器24可以例如根据第二控制信号(未示出)输出从输出端之一提供给输入端的信号。其中，第一控制信号和第二控制信号可以是共同的信号，也可以是不同的信号。作为第一控制信号和第二控制信号，例如，可以使用由控制电路或时钟发生器(均未示出)生成的时钟信号或定时信号。然而，第一控制信号和第二控制信号的类型不受限制。
[0130]
如上所述，根据本发明的成像电路可包括多个电路块、量化器、多路分解器和多个锁存电路。多个电路块包括光电转换元件和电流-电压转换电路，光电转换元件光电转换入射光以产生光电流，电流-电压转换电路将光电流转换为电压信号。光电二极管pd是光电转换元件的实例。量化器根据对从多个电路块中的至少一个电路块提供的电压信号与阈值进行比较的结果来生成地址事件的检测信号。解复用器连接至量化器的后级。多个锁存电路连接到解复用器的不同输出端。所述多个锁存电路中的每个可被配置成存储由所述量化器检测到的地址事件。
[0131]
多个电路块中的每个电路块可包括执行阻抗变换的缓冲电路和将电压信号转换成差分电压的减法器。量化器可被配置为在从多个电路块中的至少一个电路块提供的电压信号超过第一阈值电压的情况下检测on事件。量化器可被配置为在从多个电路块中的至少一个电路块提供的电压信号下降到第二阈值电压以下的情况下检测off事件。
[0132]
图7的传输电路6包括m个锁存电路，每个锁存电路连接到解复用器24的对应输出端。可以进行设计使得锁存电路的数量m例如等于或大于2并且等于或小于2
×
n(光电二极管pd的数量n的两倍)。这可以防止地址事件检测电路变得复杂并且防止安装面积的增加。然而，锁存电路的数量m不受限制。
[0133]
如上所述，锁存电路的数量可以等于或大于2并且等于或小于光电转换元件的数量的两倍。如在图7的实例中，多个光电转换元件可以被布置在基本上平行于读取线的方向上。然而，布置多个光电转换元件的方向不受限制。
[0134]
图8示出了可以在地址事件检测电路中实现的锁存电路的实例。例如，图8中的锁存电路40可以用作锁存电路25a至25d。锁存电路40包括开关41、反相器42、反相器43和开关
44。反相器42的输出侧连接到反相器43的输入侧。反相器42的输入侧与反相器43的输出侧连接。开关41连接在锁存电路40的输入端和耦合反相器42的输入侧和反相器43的输出侧的节点之间。此外，开关44连接在耦合反相器42的输出侧和反相器43的输入侧的节点与锁存电路40的输出端之间。
[0135]
当开关41处于导通状态并且开关44处于断开状态时，锁存电路40保持输入端的电压电平。当开关41处于断开状态并且开关44处于接通状态时，锁存电路40从输出端输出所保持的电压电平。
[0136]
图8的电路仅是锁存电路的实例。因此，可以使用具有不同配置的锁存电路。
[0137]
接下来，将描述包括多个光电二极管pd的地址事件检测电路中的锁存电路25的数量的连接关系。
[0138]
图9中的地址事件检测电路包括四个光电二极管pd。另外，在光电二极管pd的后级依次连接有对应的电流-电压转换电路2、缓冲器3和减法器4。另一方面，图9的地址事件检测电路包括一个量化器5。由此，从各减法器4输出的检测信号被输入到共用量化器5。此外，多路复用器23和解复用器24a顺次连接至量化器5的后级。锁存电路25与解复用器24a的两个输出端分别连接。此外，读取线连接到每个锁存电路25的后级。
[0139]
通过与图7的实例相似的方式，多路复用器23可由第一控制信号控制。此外，解复用器24a可以由第二控制信号控制。另外，在以下的附图中，为了简化说明，省略锁存电路25与读取线之间的读取电路。
[0140]
在图9的地址事件检测电路中，例如，通过使用两个锁存电路25，可以同时保持任何光电二极管pd中的on事件和off事件。但是，需要对所有的4个光电二极管pd依次进行读取以获取on事件和off事件，这使得读取所需的时间更长。
[0141]
图10的地址事件检测电路还包括四个光电二极管pd。对应的电流-电压转换电路2、缓冲器3和减法器4依次连接至每个光电二极管pd的后级。另一方面，图10的地址事件检测电路包括一个量化器5。由此，从各减法器4输出的检测信号被输入到共用量化器5。多路复用器23和解复用器24b顺序地连接到量化器5的后级。锁存电路25与解复用器24b的8个输出端分别连接。此外，读取线连接到每个锁存电路25的后级。
[0142]
通过与图7的实例相似的方式，多路复用器23可由第一控制信号控制。此外，解复用器24b可以由第二控制信号控制。
[0143]
图10中的地址事件检测电路包括光电二极管pd的数量的两倍的数量的锁存电路25。因此，能够在所有的光电二极管pd中同时保持on事件和off事件。然而，该配置增加了锁存电路25的数量并且增加了安装面积。
[0144]
图11的地址事件检测电路还包括四个光电二极管pd。对应的电流-电压转换电路2、缓冲器3和减法器4依次连接至每个光电二极管pd的后级。另一方面，图11的地址事件检测电路包括一个量化器5。由此，从各减法器4输出的检测信号被输入到共用量化器5。多路复用器23和解复用器24依次连接至量化器5的后级。锁存电路25与多路复用器24的4个输出端分别连接。此外，读取线连接到每个锁存电路25的后级。
[0145]
通过与图7的实例相似的方式，多路复用器23可由第一控制信号控制。此外，解复用器24可以由第二控制信号控制。
[0146]
如上所述，锁存电路的数量m可等于或大于2且等于或小于2
×
n(光电二极管pd的
数量n的两倍)。在图11的地址事件检测电路的情况下，在为四个光电二极管pd读取on事件之后，可为四个光电二极管pd读取off事件。此外，两个锁存电路可以用于保持光电二极管pd中的一个的on事件和off事件，并且剩余的两个锁存电路可以用于保持其他光电二极管pd的on事件和off事件。通过执行这种流水线操作，可以在减少锁存电路的数量的同时扩展地址事件检测电路的功能。
[0147]
图12中的地址事件检测电路对应于图11中的地址事件检测电路，其中，在多路复用器24的后级的锁存电路25的数量是3个。在使用图12的地址事件检测电路的情况下，可使每个锁存电路以指定顺序执行与三个步骤中的任一个有关的处理。例如，在某个时刻，可以使锁存电路#1执行读取处理，可以使锁存电路#2执行比较操作(保持处理)，并且可以使锁存器#3执行复位处理。在这种情况下，锁存电路#1可以执行复位处理，锁存电路#2可以执行读取处理，并且锁存电路#3可以在下一定时执行比较操作(保持处理)。通过执行这样的流水线操作，可以有效地读取事件。
[0148]
以类似于图11的地址事件检测电路的方式，图13的地址事件检测电路包括四个光电二极管pd和四个锁存电路25。然而，与图11的实例不同，锁存电路25的后续阶段连接至不同的读取线(l1至l4)。如上所述，锁存电路25可以采用其中在后续阶段的读取线不同的配置。结果，可以并行读取由多个锁存电路25保持的内容，使得可以实现更高速的操作。在采用图13的配置的情况下，另一地址事件检测电路(未示出)的锁存电路25可以进一步连接到每条读取线(l1至l4)。换言之，读取线l1至l4可被多个地址事件检测电路共享。通过采用如图13所示的配置，可以减少重新排列数据所需的行存储器的数量。
[0149]
图14示出多个地址事件电路的输出侧连接到公共读取线的实例。在图14的实例中，多个地址事件电路中的对应锁存电路连接至相同的读取线。即，锁存电路#1与读取线l1连接。锁存电路#2连接至读取线l2。锁存电路#3连接至读取线l3。锁存电路#4连接到读取线l4。例如，在图14的电路中，对于每个地址事件电路，可读取锁存电路25的内容。在这种情况下，从读取线l1至l4同时输出的内容是从相同地址事件电路读取的事件，从而便于后续电路中的数据的重新排列。
[0150]
在图15的地址事件电路中，连接至后续级的读取线的数量是两个。如上所述，连接到地址事件电路的后续级的读取线的数量可以不必等于包括在地址事件电路中的锁存电路的数量m。例如，连接到地址事件电路的后级的读取线的数量可被设置为通过将地址事件电路中包括的锁存电路的数量m除以正整数而获得的值。在图15中，通过将m＝4除以2获得的值2是读取线的数量。然而，连接到地址事件电路的后续级的读取线的数量不一定满足该规则。如果不满足该规则，可以同时读取多个地址事件电路。
[0151]
在图15的地址事件电路中，锁存器#1和锁存器#3连接到读取线l1。此外，锁存器#2和锁存器#4连接到读取线l2。
[0152]
图16和17示出了在连接到读取线l1到l4的地址事件电路50和51中的读取模式(读取模式a)的示例。地址0x01至0x04被分配给地址事件电路50的多个光电二极管pd。另一方面，地址0x05至0x08被分配给地址事件电路51的多个光电二极管pd。在地址事件电路50和51中，锁存电路#1连接到读取线l1。此外，在地址事件电路50和51中，锁存电路#2连接到读取线l2。同样，锁存电路#3与读取线l3连接，锁存电路#4与读取线l4连接。
[0153]
如上所述，根据本公开的成像装置可包括存储单元和多个成像电路。上述存储器
是存储单元的实例。包括在每个成像电路中的多个锁存电路可以连接到不同的读取线。此外，多个成像电路的对应锁存电路可以连接到同一读取线。存储单元可连接至多条读取线的后级。
[0154]
图16示出了在阶段#n中的操作。在阶段#n中，针对地址事件电路50的地址0x01至0x04处的光电二极管pd读取on事件。在该阶段读取的on事件经由读取线l1至l4存储在存储器45中。存储器45中的四个数据片段46中的每一个对应于读取on事件。
[0155]
图17示出了在对应于图16中的阶段的下一阶段的阶段#(n+1)中的操作。在阶段#(n+1)中，针对地址事件电路51的地址0x05至0x08处的光电二极管pd读取on事件。与前一阶段中读取的on事件对应的四个数据片段46在后续阶段从存储器45传输至电路。然后，在该阶段读取的on事件经由读取线l1至l4存储在存储器45中。存储器45中的四个数据片段47中的每个对应于在阶段#(n+1)中读取的on事件。
[0156]
在使用图16和17所示的读取模式(读取模式a)的情况下，连接到读取线l1到l4的存储器45可以是具有四条线的缓冲器。虽然在图16和图17的实例中，读取on事件的情况已被描述为实例，但是可使用类似方法读取off事件。如上所述，根据本公开的成像装置可被配置为针对成像电路中的每个将存储在锁存电路中的地址事件传输至存储单元。
[0157]
图18和19示出了在连接到读取线l1到l4的地址事件电路52和53中的读取模式(读取模式b)的示例。将地址0x01至0x04分配给地址事件电路52的多个光电二极管pd。另一方面，地址0x05至0x08的地址被分配给地址事件电路53的多个光电二极管pd。
[0158]
在地址事件电路52和53中，与读取线l1至l4的连接关系不同于上述地址事件电路50和51的连接关系。换句话说，地址事件电路52的锁存电路#1和锁存电路#3连接到读取线l1。另一方面，地址事件电路52的锁存电路#2和锁存电路#4连接到读取线l2。地址事件电路53的锁存电路#1和锁存电路#3连接到读取线l3。地址事件电路53的锁存电路#2和锁存电路#4连接到读取线l4。
[0159]
如上所述，根据本公开的成像装置可包括存储单元和多个成像电路。包括在每个成像电路中的多个锁存电路可以连接到多条读取线中的一些。此外，包括在每个成像电路中的多个锁存电路可以被分成组，每个组连接到相同的读取线。多个锁存电路连接到的读取线可根据成像电路的不同而不同。存储单元可连接至多条读取线的后级。
[0160]
图18示出了阶段#n中的操作。在阶段#n中，针对地址事件电路52的地址0x01和0x02以及地址事件电路53的地址0x05和0x06处的光电二极管pd读取on事件。在该阶段读取的on事件经由读取线l1至l4存储在存储器45a中。存储器45a中的四个数据片段46中的每一个对应于读取on事件。
[0161]
图19示出了在对应于图18中的阶段的下一阶段的阶段#(n+1)中的操作。在阶段#(n+1)中，针对在地址事件电路52的地址0x03和0x04以及地址事件电路53的地址0x07和0x08处的光电二极管pd读出on事件。在该阶段读取的on事件经由读取线l1至l4存储在存储器45a中。在存储器45a中的四个数据片段47中的每个对应于在阶段#(n+1)中读取的on事件。
[0162]
在图18和19所示的读取模式(读取模式b)被使用的情况下，在一个地址事件电路中的事件的读取在多个阶段中完成。因此，需要使用具有8行的缓冲器作为连接到读取线l1至l4的存储器45a。虽然在图18和图19的实例中，读取on事件的情况已被描述为实例，但是
可使用类似方法读取off事件。如上所述，根据本公开的成像电路可被配置为使得同时读取多个地址事件电路。此外，根据本公开的成像装置可被配置为针对多个成像电路读取存储在属于各组的锁存电路之一中的地址事件并且将地址事件传输至存储单元。
[0163]
图20和21图示了连接到读取线l1到l4的地址事件电路50和51中的读取模式(读取模式c)的示例。图20和图21的实例中的与读取线l1至l4的地址分配和连接关系与上述图16和图17的实例中的那些相似。
[0164]
图20示出了阶段#n中的操作。在阶段#n中，针对地址事件电路50的地址0x01至0x04处的光电二极管pd读取on事件。在该阶段读取的on事件经由读取线l1至l4存储在存储器45中。存储器45中的四个数据片段46中的每一个对应于在阶段#n中读取的on事件。
[0165]
图21示出了在对应于图20中的阶段的下一阶段的阶段#(n+1)中的操作。在阶段#(n+1)中，对于地址事件电路50的地址0x01至0x04处的光电二极管pd读取off事件。与前一阶段中读取的on事件对应的四个数据片段46在后续阶段从存储器45转移到电路。然后，在该阶段读取的off事件经由读取线l1至l4存储在存储器45中。存储器45中的四个数据片段47中的每个对应于在阶段#(n+1)中读取的off事件。
[0166]
如图20和21的读取模式(读取模式c)所示，可以针对每个地址事件电路交替地读取on事件。此外，对于每个地址事件电路，可以交替地读取off事件。如上所述，根据本公开的成像装置可被配置为针对每个成像电路交替地读取存储在锁存电路中的on事件或off事件，且将on事件或off事件传输至存储单元。
[0167]
图22和23示出了在连接到读取线l1到l4的地址事件电路52和53中的读取模式(读取模式d)的示例。图22和图23的实例中的与读取线l1至l4的地址分配和连接关系类似于上述图18和图19的实例中的地址分配和连接关系。
[0168]
图22示出了阶段#n中的操作。在阶段#n中，针对地址事件电路52的地址0x01和0x02以及地址事件电路53的地址0x05和0x06处的光电二极管pd读取on事件。在该阶段读取的on事件经由读取线l1至l4存储在存储器45a中。存储器45a中的四个数据片段46中的每一个对应于在阶段#n中读取的on事件。
[0169]
图23示出了在对应于图22中的阶段的下一阶段的阶段#(n+1)中的操作。在阶段#(n+1)中，对于地址事件电路52的地址0x03和0x04处的光电二极管pd和地址事件电路53的地址0x07和0x08处的光电二极管pd读取off事件。在该阶段读取的on事件经由读取线l1至l4存储在存储器45a中。存储器45a中的四个数据片段47中的每个对应于在阶段#n中读取的on事件。
[0170]
如在图22和23的读取模式(读取模式d)中所示，对于多个地址事件电路，可以同时读取on事件或off事件。在使用图22和23中所示的读取模式(读取模式d)的情况下，在一个地址事件电路中的事件的读取在多个阶段中完成，并且因此，必须使用具有八条8线的缓冲器作为连接到读取线l1到l4的存储器45a。如上所述，根据本公开的成像装置可被配置为针对多个成像电路交替读取存储在锁存电路中的on事件或off事件并将on事件或off事件传输至存储单元。
[0171]
图24和25示出了连接到读取线l1到l4的地址事件电路50和51中的读取模式(读取模式e)的示例。图24和图25的实例中的与读取线l1至l4的地址分配和连接关系类似于上述图16和图17的实例中的地址分配和连接关系。
[0172]
图24示出了阶段#n中的操作。在阶段#n中，针对地址事件电路50的地址0x01和0x02处的光电二极管pd读取on事件和off事件。由此，地址事件电路50被控制成使得地址0x01处的光电二极管pd的on事件、地址0x01处的光电二极管pd的off事件、地址0x02处的光电二极管pd的on事件和地址0x02处的光电二极管pd的off事件被存储在锁存电路25中的任一个中。换句话说，在阶段#n中，对于地址事件电路50中的相同电路块执行两次读取处理。
[0173]
在该阶段中读取的事件经由读取线l1至l4存储在存储器45中。存储器45中的四个数据片段46中的每一个对应于在阶段#n中读取的事件。
[0174]
如上所述，根据本公开的成像电路可以被配置为针对多个光电转换元件中的至少一些所选的光电转换元件读取on事件和off事件两者，并且将on事件和off事件中的每一个存储在多个锁存电路中。
[0175]
图25示出了在对应于图24中的阶段的下一阶段的阶段#(n+1)中的操作。在阶段#(n+1)中，对于地址事件电路50的地址0x03和0x04处的光电二极管pd，读取on事件和off事件。由此，地址事件电路50被控制成使得地址0x03处的光电二极管pd的on事件、地址0x03处的光电二极管pd的off事件、地址0x04处的光电二极管pd的on事件和地址0x04处的光电二极管pd的off事件被存储在锁存电路25中的任一个中。换言之，在阶段#(n+1)中，对于地址事件电路50中的相同电路块执行读取处理两次。
[0176]
对应于在先前阶段中读取的事件的四个数据片段46从存储器45转移到后续电路。然后，在该阶段中读取的事件的内容经由读取线l1至l4存储在存储器45中。在存储器45中的四个数据片段47中的每个对应于在阶段#(n+1)中读取的事件。
[0177]
如上所述，根据本公开的成像电路可以被配置为在经由读取线传输存储在多个锁存电路中的on事件和off事件之后，针对多个光电转换元件中的其余光电转换元件读取on事件和off事件两者，并且将on事件和off事件中的每一个存储在多个锁存电路中。
[0178]
在采用图24和25的读取模式(读取模式e)的情况下，通过读取处理的两个阶段获得与一个地址事件电路中的on事件和off事件对应的数据。此外，在该读取模式的情况下，仅需要使用具有四行的缓冲器作为存储器45。
[0179]
图26和27示出了连接到读取线l1到l4的地址事件电路50和51中的读取模式(读取模式f)的示例。图24和图25的实例中的与读取线l1至l4的地址分配和连接关系类似于上述图18和图19的实例中的地址分配和连接关系。
[0180]
图26示出了阶段#n中的操作。在阶段#n中，对于地址事件电路52的地址0x01处的光电二极管pd和地址事件电路53的地址0x05处的光电二极管pd，读取on事件和off事件。由此，控制地址事件电路52，使得地址0x01的光电二极管pd的on事件和地址0x01的光电二极管pd的off事件被存储在锁存电路25中的任一个中。另外，控制地址事件电路53，使得地址0x05的光电二极管pd的on事件和地址0x05的光电二极管pd的off事件被存储在任一个锁存电路25中。换句话说，在阶段#n中，地址事件电路52和53对相同电路块执行两次读取处理。
[0181]
在该阶段中读取的事件经由读取线l1至l4存储在存储器45中。存储器45中的四个数据片段46中的每一个对应于在阶段#n中读取的事件。
[0182]
图27示出了在对应于图26中的阶段的下一个阶段的阶段#(n+1)中的操作。在阶段#(n+1)中，对于地址事件电路52的地址0x02和地址事件电路53的地址0x06处的光电二极管pd，读取on事件和off事件。由此，控制地址事件电路52，使得地址0x02的光电二极管pd的
on事件和地址0x02的光电二极管pd的off事件被存储在锁存电路25中的任一个中。另外，地址事件电路53被控制为将地址0x06的光电二极管pd的on事件和地址0x06的光电二极管pd的off事件存储在任一个锁存电路25中。换言之，在阶段#(n+1)中，地址事件电路52和53对于相同的电路块执行两次读取处理。
[0183]
对应于在先前阶段中读取的事件的四个数据片段46从存储器45转移到后续电路。然后，在该阶段中读取的事件的内容经由读取线l1至l4存储在存储器45中。在存储器45中的四个数据片段47中的每个对应于在阶段#(n+1)中读取的事件。
[0184]
在随后的阶段中，地址事件电路52的地址0x03和0x04处的光电二极管pd和地址事件电路53的地址0x07和0x08处的光电二极管pd中的事件可以通过类似于如上所述的处理的处理而读取。如上所述，在根据本公开的成像装置中，从成像电路读取并传输到存储单元的地址事件可包括on事件和off事件两者。
[0185]
在根据本公开的成像电路中，多个光电二极管pd不一定必须布置在基本平行于如上所述的读取线的方向上。例如，如图28和图29所示，包括在一个地址事件电路中的光电二极管pd可以布置成两行(两列)。此外，如以下图30和图31所示，地址事件电路中的多个光电二极管pd可以布置在基本垂直于读取线的方向上。换言之，多个光电转换元件可被布置在基本垂直于读取线的方向上。
[0186]
图28和29示出了连接到读取线l1到l4的地址事件电路54和55中的读取模式(读取模式g)的示例。地址0x11、0x12、0x21和0x22被分配给地址事件电路54的多个光电二极管pd。另一方面，地址0x31、0x32、0x41和0x42被分配给地址事件电路55的多个光电二极管pd。地址0x11、0x21、0x31和0x41处的光电二极管pd形成与读取线平行的列(行)。以类似的方式，地址0x12、0x22、0x32和0x42处的光电二极管pd也形成与读取线平行的列(行)。
[0187]
在地址事件电路54和55中，锁存电路#1连接到读取线l1。此外，在地址事件电路50和51中，锁存电路#2连接到读取线l2。同样，锁存电路#3与读取线l3连接，锁存电路#4与读取线l4连接。
[0188]
图28示出了阶段#n中的操作。在阶段#n中，针对地址事件电路54的地址0x11、0x12、0x21和0x22处的光电二极管pd读取on事件。在该阶段读取的on事件经由读取线l1至l4存储在存储器45中。存储器45中的四个数据片段46中的每一个对应于读取on事件。
[0189]
图29示出了在对应于图28中的阶段的下一个阶段的阶段#(n+1)中的操作。在阶段#(n+1)中，对于地址事件电路55的地址0x31、0x32、0x41和0x42处的光电二极管pd读取on事件。与前一阶段中读取的on事件对应的四个数据片段46在后续阶段从存储器45传输至电路。然后，在该阶段读取的on事件经由读取线l1至l4存储在存储器45中。存储器45中的四个数据片段47中的每个对应于在阶段#(n+1)中读取的on事件。
[0190]
在使用图28和29中所示的读取模式(读取模式g)的情况下，仅需要使用具有四条线的缓冲器作为连接到读取线l1到l4的存储器45。虽然在图28和图29的实例中，已经作为实例描述了读取on事件的情况，但是可使用类似方法读取off事件。此外，如上所述，可以使地址事件电路在同一阶段中多次执行读取处理，并且可以在同一阶段中读取on事件和off事件两者。
[0191]
图30和31示出了在连接到读取线l1到l4的地址事件电路56和57中的读取模式(读取模式h)的示例。向地址事件电路56的多个光电二极管pd分配0x51、0x52、0x53和0x54的地
址。另一方面，地址0x61、0x62、0x63和0x64被分配给地址事件电路57的多个光电二极管pd。地址0x51、0x52、0x53和0x54处的光电二极管pd在基本垂直于读取线的方向上形成列(行)。以类似的方式，地址0x61、0x62、0x63和0x64处的光电二极管pd也在基本垂直于读取线的方向上形成列(行)。
[0192]
在地址事件电路56和57中，锁存电路#1连接到读取线l1。在地址事件电路56和57中，锁存电路#2连接到读取线l2。同样，锁存电路#3与读取线l3连接，锁存电路#4与读取线l4连接。
[0193]
图30示出了阶段#n中的操作。在阶段#n中，针对地址事件电路56的地址0x51、0x52、0x53和0x54处的光电二极管pd读取on事件。在该阶段读取的on事件经由读取线l1至l4存储在存储器45中。存储器45中的四个数据片段46中的每一个对应于读取on事件。
[0194]
图31示出了在对应于图30中的阶段的下一阶段的阶段#(n+1)中的操作。在阶段#(n+1)中，针对在地址事件电路57的地址0x61、0x62、0x63和0x64处的光电二极管pd读取on事件。与前一阶段中读取的on事件对应的四个数据片段46在后续阶段从存储器45转移到电路。然后，在该阶段读取的on事件经由读取线l1至l4存储在存储器45中。存储器45中的四个数据片段47中的每个对应于在阶段#(n+1)中读取的on事件。
[0195]
在使用图30和31所示的读取模式(读取模式h)的情况下，仅需要使用具有四条线的缓冲器作为连接到读取线l1到l4的存储器45。虽然在图30和图31的实例中，读取on事件的情况已被描述为实例，但是可使用类似方法读取off事件。此外，如上所述，可以使地址事件电路在同一阶段中多次执行读取处理，并且可以在同一阶段中读取on事件和off事件两者。
[0196]
如果使用根据本公开的成像电路，则可以执行高速事件读取，同时减少要安装在地址事件电路上的锁存电路的数量。由此，能够实现能够在缩小电路规模的同时高速生成并输出数据的异步成像元件。例如，在交通领域中，可以通过高速执行识别人或障碍物的图像的处理来提高安全性。
[0197]
图32是示出根据本公开的成像装置100的成像处理的实例的流程图。首先，从多个电路块中的至少一个电路块输出电压信号，并且电压信号被提供给量化器(步骤s1)，所述多个电路块包括光电转换元件(光电二极管pd)和电流-电压转换电路2，所述光电转换元件对入射光进行光电转换以产生光电流，所述电流-电压转换电路2将光电流转换为电压信号。
[0198]
接下来，量化器5根据电压信号与阈值的比较结果生成地址事件的检测信号(步骤s2)。
[0199]
接着，由量化器5产生的检测信号被输出，同时检测信号在解复用器24处被解复用到多个系统(步骤s3)。
[0200]
接着，成像处理包括通过与多个系统对应的多个锁存电路25a至25d来锁存检测信号的步骤。
[0201]
根据本公开的技术(本技术)可应用于各种产品。例如，根据本公开的技术可实现为安装在任何类型的移动主体(诸如汽车、电动车辆、混合电动车辆、摩托车、自行车、个人移动性、飞机、无人机、船舶和机器人)上的设备。
[0202]
图33是示出了车辆控制系统的示意性配置实例的框图，该车辆控制系统是可以应
用根据本公开内容的技术的移动车身控制系统的实例。
[0203]
车辆控制系统12000包括经由通信网络12001连接的多个电子控制单元。在图33所示的实例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、外部信息检测单元12030、车载信息检测单元12040和集成控制单元12050。此外，作为集成控制单元12050的功能配置，示出了微型计算机12051、音频/图像输出单元12052和车载网络接口(i/f)12053。
[0204]
驱动系统控制单元12010根据各种程序控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元12010用作用于产生车辆的驱动力(诸如内燃机和驱动电动机)的驱动力产生装置、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆的转向角的转向机构、用于产生车辆的制动力的制动装置等的控制装置。
[0205]
车身系统控制单元12020根据各种程序控制安装在车身上的各种装置的操作。例如，车身系统控制单元12020用作无钥匙进入系统、智能钥匙系统、电动车窗装置或诸如车头灯、车尾灯、刹车灯、闪光信号灯和雾灯的各种灯的控制装置。在这种情况下，可以将从替代钥匙的便携式装置发送的无线电波或各种开关的信号输入到车身系统控制单元12020。车身系统控制单元12020接收这些无线电波或信号的输入并且控制车辆的门锁装置、电动车窗装置、灯等。
[0206]
外部信息检测单元12030检测安装有车辆控制系统12000的车辆外部的信息。例如，成像单元12031与外部信息检测单元12030连接。外部信息检测单元12030使成像单元12031拍摄车辆外部的图像并接收拍摄的图像。外部信息检测单元12030可以基于接收到的图像来执行人、车辆、障碍物、标志、路面上的文字等的物体检测处理或距离检测处理。
[0207]
成像单元12031是接收光并输出与所接收的光量对应的电信号的光学传感器。成像单元12031可以将电信号作为图像进行输出，也可以将电信号作为测距信息进行输出。另外，成像单元12031接受的光可以是可见光，也可以是红外光等不可见光。
[0208]
车载信息检测单元12040检测车辆内部的信息。例如，在车载信息检测单元12040上连接有检测驾驶员的状态的驾驶员状态检测单元12041。驾驶员状态检测单元12041包括例如拍摄驾驶员的照相机，并且车载信息检测单元12040可以基于从驾驶员状态检测单元12041输入的检测信息计算驾驶员的疲劳度或集中度，或者可以确定驾驶员是否打瞌睡。
[0209]
微型计算机12051可以基于由外部信息检测单元12030或车载信息检测单元12040获取的车辆内部和外部的信息，计算驱动力产生装置、转向机构或制动装置的控制目标值，并且向驱动系统控制单元12010输出控制命令。例如，微型计算机12051可以执行协作控制，以实现高级驾驶员辅助系统(adas)的功能，包括车辆的碰撞避免或冲击缓解、基于车辆之间的距离的后续行驶、在保持车辆速度的同时行驶、车辆碰撞的警告、车辆偏离车道的警告等。
[0210]
另外，微型计算机12051根据由外部信息检测单元12030或车载信息检测单元12040取得的车辆周边的信息，对驱动力产生装置、转向机构、制动装置等进行控制，从而进行不依赖于驾驶员的操作而自主行驶的自动驾驶等的协调控制。
[0211]
另外，微型计算机12051可以根据由外部信息检测单元12030取得的外部信息，向车身系统控制单元12020输出控制命令。例如，微型计算机12051可以通过根据由外部信息检测单元12030检测的前面车辆或对面车辆的位置控制前照灯，来执行用于防止眩光的协
作控制，例如，从高光束切换到近光束。
[0212]
音频/图像输出单元12052将音频或图像中的至少一个的输出信号发送到能够视觉地或听觉地向车辆的乘客或车辆的外部通知信息的输出装置。在图33的实例中，音频扬声器12061、显示单元12062和仪表板12063被示为输出装置。例如，显示单元12062可包括板上显示器或平视显示器中的至少一个。
[0213]
图34是表示设置成像单元12031的位置的例子的图。
[0214]
在图34中，车辆12100具备成像单元12101、12102、12103、12104、12105作为成像单元12031。
[0215]
成像单元12101、12102、12103、12104和12105例如设置在车辆12100的车辆内部中的诸如前鼻、侧视镜、后保险杠、后门、以及挡风玻璃的上部的位置处。设置在车辆内部的前鼻处的成像单元12101和设置在挡风玻璃的上部处的成像单元12105主要获取车辆12100前方的图像。设置在侧视镜处的成像单元12102和12103主要获取车辆12100的侧面的图像。设置在后保险杠或后门上的成像单元12104主要获取车辆12100后面的图像。由成像单元12101和12105获取的前方图像主要用于检测前方车辆、行人、障碍物、交通灯、交通标志、车道等。
[0216]
需注意，图34示出了成像单元12101至12104的成像范围的实例。成像范围12111指示设置在前鼻处的成像单元12101的成像范围，成像范围12112和12113分别指示设置在侧视镜处的成像单元12102和12103的成像范围，并且成像范围12114指示设置在后保险杠或后门处的成像单元12104的成像范围。例如，通过叠加由成像单元12101至12104捕捉的图像数据，可获得从上方观看的车辆12100的全景图像。
[0217]
成像单元12101至12104中的至少一个可具有获取距离信息的功能。例如，成像单元12101至12104中的至少一个可以是包括多个成像元件的立体相机，或者可以是具有用于相位差检测的像素的成像元件。
[0218]
例如，微型计算机12051可以通过基于从成像单元12101至12104获得的距离信息获得在成像范围12111至12114内到每个三维物体的距离以及该距离的时间变化(相对于车辆12100的相对速度)，来提取在与车辆12100大致相同的方向上以预定速度(例如，等于或大于0km/h)行驶的三维物体(具体地，在车辆12100的行驶路径上最靠近的三维物体)作为前面车辆。此外，微型计算机12051可以相对于前面车辆预先设定要确保的车间距离，并且可以执行自动制动控制(包括随动停止控制)、自动加速控制(包括随动启动控制)等。如上所述，可以执行用于自动驾驶等的目的的协作控制，其中，车辆不依赖于驾驶员的操作而自主行驶。
[0219]
例如，微型计算机12051可以基于从成像单元12101至12104获得的距离信息，在将三维物体数据分类为二轮车、普通车辆、大型车辆、行人和其他三维物体(诸如电线杆)的同时，提取关于三维物体的三维物体数据，并且使用该三维物体数据用于自动避免障碍物。例如，微型计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员能够视觉识别的障碍物和难以视觉识别的障碍物。然后，微型计算机12051判断指示与各障碍物碰撞的风险的程度的碰撞风险，并且当碰撞风险等于或高于设定值且存在碰撞的可能性时，微型计算机可以通过经由音频扬声器12061或显示单元12062向驾驶员输出警报或经由驱动系统控制单元12010执行强制减速或躲避转向来执行用于防碰撞的驾驶辅助。
[0220]
成像单元12101至12104中的至少一个可以是检测红外光的红外相机。例如，微型计算机12051可以通过确定在成像单元12101至12104的拍摄图像中是否存在行人来识别行人。这样的行人识别通过例如提取作为红外照相机的成像单元12101至12104的拍摄图像中的特征点的过程和对表示对象的轮廓的一系列特征点执行图案匹配处理以确定对象是否是行人的过程来执行。如果微型计算机12051确定在成像单元12101至12104的拍摄图像中存在行人并识别出行人，则音频/图像输出单元12052控制显示单元12062重叠并显示用于强调识别出的行人的正方形轮廓。此外，音频/图像输出单元12052可控制显示单元12062显示在期望位置处指示行人的图标等。
[0221]
上面已经描述了可以应用根据本公开的技术的车辆控制系统的实例。例如，根据本公开的技术可应用于上述部件中的成像单元12031。具体而言，也可以将上述的成像电路或成像装置搭载于成像单元12031上。通过将根据本公开的技术应用于成像单元12031，可以在宽亮度动态范围的环境中获得精确的距离信息，从而可以提高车辆12100的功能和安全性。
[0222]
应注意，本技术可具有以下配置。
[0223]
(1)
[0224]
一种成像电路，包括：
[0225]
多个电路块，每个电路块包括光电转换元件和电流-电压转换电路，所述光电转换元件被配置为光电转换入射光以产生光电流，所述电流-电压转换电路被配置为将所述光电流转换为电压信号；
[0226]
量化器，被配置为根据将从所述多个电路块中的至少一个电路块提供的电压信号与阈值进行比较的结果来生成地址事件的检测信号；
[0227]
解复用器，解复用器连接至量化器的后级；以及
[0228]
多个锁存电路，连接到所述解复用器的不同输出端。
[0229]
(2)
[0230]
根据(1)所述的成像电路，其中，
[0231]
所述多个锁存电路中的每一个被配置为存储由所述量化器检测到的所述地址事件。
[0232]
(3)
[0233]
根据(1)或(2)所述的成像电路，其中，
[0234]
所述锁存电路的数量等于或大于2且等于或小于所述光电转换元件的数量的两倍。
[0235]
(4)
[0236]
根据(1)至(3)中任一项所述的成像电路，其中，
[0237]
所述多个电路块中的每个电路块包括：缓冲电路，被配置为执行阻抗变换；以及减法器，被配置为将所述电压信号转换成差分电压。
[0238]
(5)
[0239]
根据(1)至(4)中任一项所述的成像电路，其中，
[0240]
在从所述多个电路块中的至少一个电路块提供的电压信号超过第一阈值电压的情况下，所述量化器检测on事件。
[0241]
(6)
[0242]
根据(5)所述的成像电路，其中，
[0243]
所述量化器在从所述多个电路块中的至少一个电路块提供的电压信号下降到第二阈值电压以下的情况下检测off事件。
[0244]
(7)
[0245]
根据(6)所述的成像电路，其中，
[0246]
所述成像电路被配置为针对所述多个光电转换元件中的至少一些所选的光电转换元件读取on事件和off事件两者，并将所述on事件和off事件存储在所述多个锁存电路中。
[0247]
(8)
[0248]
根据(7)所述的成像电路，其中，
[0249]
所述成像电路被配置为在经由读取线传输存储在所述多个锁存电路中的on事件和off事件之后，针对所述多个光电转换元件中的其余光电转换元件读取on事件和off事件两者，并将所述on事件和off事件存储在所述多个锁存电路中。
[0250]
(9)
[0251]
根据(1)至(8)中任一项所述的成像电路，其中，
[0252]
多个所述光电转换元件被布置在基本垂直于读取线的方向上。
[0253]
(10)
[0254]
根据(1)至(9)中任一项所述的成像电路，其中，
[0255]
多个所述光电转换元件被布置在基本平行于读取线的方向上。
[0256]
(11)
[0257]
一种成像装置，包括：
[0258]
存储单元；以及
[0259]
多个根据(1)至(4)中任一项所述的成像电路；其中，
[0260]
分别包括在所述成像电路中的多个锁存电路连接至不同的读取线，所述多个成像电路的对应的锁存电路连接至同一读取线，并且所述存储单元连接至多个所述读取线的后级。
[0261]
(12)
[0262]
根据(11)所述的成像装置，其中，
[0263]
所述成像装置被配置为针对每个所述成像电路将存储在所述锁存电路中的所述地址事件传输至所述存储单元。
[0264]
(13)
[0265]
根据(11)所述的成像装置，其中，
[0266]
所述成像装置被配置为针对所述成像电路中的每个交替地读取存储在所述锁存电路中的on事件或off事件，并且将所述on事件或所述off事件传输至所述存储单元。
[0267]
(14)
[0268]
一种成像装置，包括：
[0269]
存储单元；以及
[0270]
多个根据(1)至(4)中任一项所述的成像电路；其中，
[0271]
分别包括在所述成像电路中的多个锁存电路连接至多个所述读取线中的一些；
[0272]
分别包括在所述成像电路中的所述多个锁存电路被分成组，每个组连接至相同的读取线；以及
[0273]
连接至多个锁存电路的读取线根据成像电路的不同而不同，并且存储单元连接至多条读取线的后级。
[0274]
(15)
[0275]
根据(14)所述的成像装置，其中，
[0276]
所述成像装置被配置为，针对多个所述成像电路，读取存储在属于各所述组的所述锁存电路之一中的所述地址事件，并且将所述地址事件传输至所述存储单元。
[0277]
(16)
[0278]
根据(15)所述的成像装置，其中，
[0279]
从每个所述成像电路读取并传输至所述存储单元的所述地址事件包括on事件和off事件两者。
[0280]
(17)
[0281]
根据(15)所述的成像装置，其中，
[0282]
所述成像装置被配置为，针对多个所述成像电路，交替地读取存储在所述锁存电路中的on事件或off事件，并且将所述on事件或所述off事件传输至所述存储单元。
[0283]
(18)
[0284]
一种成像方法，包括：
[0285]
从多个电路块中的至少一个电路块输出电压信号并将所述电压信号提供给量化器的步骤，所述多个电路块中的每个电路块包括光电转换元件和电流-电压转换电路，所述光电转换元件被配置为光电转换入射光以产生光电流，所述电流-电压转换电路被配置为将所述光电流转换为所述电压信号；
[0286]
在所述量化器处根据所述电压信号与阈值的比较结果生成地址事件的检测信号的步骤；
[0287]
在解复用器处将由所述量化器生成的所述检测信号解复用到多个系统中并输出所述检测信号的步骤；以及
[0288]
在对应于该多个系统的多个锁存电路处锁存该检测信号的步骤。
[0289]
本公开的各方面不限于上述各个实施例，而是包括可由本领域技术人员想到的各种修改，并且本公开的效果不限于上述内容。换言之，在不背离从在权利要求及其等同物中限定的内容获得的本公开的概念构思和精神的情况下，可进行各种添加、修改、以及部分删除。
[0290]
附图标记列表
[0291]
pd
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
光电二极管
[0292]2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
电流-电压转换电路
[0293]3ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
缓冲器
[0294]4ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
减法器
[0295]5ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
量化器
[0296]6ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
传输电路
[0297]
23多路复用器
[0298]
24解复用器
[0299]
25、25a、25b、25c、25d、40锁存电路
[0300]
26a、26b、25c、25d读取电路
[0301]
41、44开关
[0302]
42、43反相器
[0303]
45、45a存储器
[0304]
50、51、52、53成像电路
[0305]
100成像装置。

技术特征：

1.一种成像电路，包括：多个电路块，每个电路块包括光电转换元件和电流-电压转换电路，所述光电转换元件被配置为光电转换入射光以产生光电流，所述电流-电压转换电路被配置为将所述光电流转换为电压信号；量化器，被配置为根据将从所述多个电路块中的至少一个电路块提供的电压信号与阈值进行比较的结果来生成地址事件的检测信号；解复用器，连接至所述量化器的后级；以及多个锁存电路，连接到所述解复用器的不同输出端。2.根据权利要求1所述的成像电路，其中，所述多个锁存电路中的每一个被配置为存储由所述量化器检测到的所述地址事件。3.根据权利要求1所述的成像电路，其中，所述锁存电路的数量等于或大于2且等于或小于所述光电转换元件的数量的两倍。4.根据权利要求1所述的成像电路，其中，所述多个电路块中的每个电路块包括：缓冲电路，被配置为执行阻抗变换；以及减法器，被配置为将所述电压信号转换成差分电压。5.根据权利要求1所述的成像电路，其中，在从所述多个电路块中的至少一个电路块提供的电压信号超过第一阈值电压的情况下，所述量化器检测on事件。6.根据权利要求5所述的成像电路，其中，在从所述多个电路块中的至少一个电路块提供的电压信号下降到第二阈值电压以下的情况下，所述量化器检测off事件。7.根据权利要求6所述的成像电路，其中，所述成像电路被配置为针对多个所述光电转换元件中的至少一些所选的光电转换元件读取on事件和off事件两者，并将所述on事件和off事件存储在所述多个锁存电路中。8.根据权利要求7所述的成像电路，其中，所述成像电路被配置为在经由读取线传输存储在所述多个锁存电路中的on事件和off事件之后，针对多个所述光电转换元件中的其余光电转换元件读取on事件和off事件两者，并将所述on事件和off事件存储在所述多个锁存电路中。9.根据权利要求1所述的成像电路，其中，多个所述光电转换元件被布置在基本垂直于读取线的方向上。10.根据权利要求1所述的成像电路，其中，多个所述光电转换元件被布置在基本平行于读取线的方向上。11.一种成像装置，包括：存储单元；以及多个根据权利要求1所述的成像电路；其中，分别包括在所述成像电路中的多个锁存电路连接至不同的读取线，多个所述成像电路的对应的锁存电路连接至同一读取线，并且所述存储单元连接至多个所述读取线的后级。12.根据权利要求11所述的成像装置，其中，所述成像装置被配置为针对所述成像电路中的每个将存储在所述锁存电路中的所述
地址事件传输至所述存储单元。13.根据权利要求11所述的成像装置，其中，所述成像装置被配置为针对所述成像电路中的每个交替地读取存储在所述锁存电路中的on事件或off事件，并且将所述on事件或所述off事件传输至所述存储单元。14.一种成像装置，包括：存储单元；以及多个根据权利要求1所述的成像电路；其中，分别包括在所述成像电路中的多个锁存电路连接至多个读取线中的一些；分别包括在所述成像电路中的所述多个锁存电路被分成组，每个组连接至相同的读取线；以及所述多个锁存电路所连接的所述读取线根据成像电路的不同而不同，并且所述存储单元连接至多条所述读取线的后级。15.根据权利要求14所述的成像装置，其中，所述成像装置被配置为，针对多个所述成像电路，读取存储在属于各所述组的所述锁存电路之一中的所述地址事件，并且将所述地址事件传输至所述存储单元。16.根据权利要求15所述的成像装置，其中，从每个所述成像电路读取并传输至所述存储单元的所述地址事件包括on事件和off事件两者。17.根据权利要求15所述的成像装置，其中，所述成像装置被配置为，针对多个所述成像电路，交替地读取存储在所述锁存电路中的on事件或off事件，并且将所述on事件或所述off事件传输至所述存储单元。18.一种成像方法，包括：从多个电路块中的至少一个电路块输出电压信号并将所述电压信号提供给量化器的步骤，所述多个电路块中的每个电路块包括光电转换元件和电流-电压转换电路，所述光电转换元件被配置为光电转换入射光以产生光电流，所述电流-电压转换电路被配置为将所述光电流转换为所述电压信号；在所述量化器处根据所述电压信号与阈值的比较结果生成地址事件的检测信号的步骤；在解复用器处将由所述量化器生成的所述检测信号解复用到多个系统中并输出所述检测信号的步骤；以及在对应于所述多个系统的多个锁存电路处锁存所述检测信号的步骤。

技术总结

[问题]提供一种成像电路和成像装置，利用它可以在限制电路尺寸的同时进行高速读取。[解决方案]根据本公开的成像电路具有多个电路块，每个电路块包括光电转换元件，用于通过使入射光进行光电转换而产生光电流，以及电流-电压转换电路，用于将光电流转换为电压信号；量化器，根据从多个电路块中的至少一个提供的电压信号与阈值的比较结果，生成地址事件检测信号；连接在量化器之后的解复用器；以及连接到解复用器的不同输出端的多个锁存电路。连接到解复用器的不同输出端的多个锁存电路。连接到解复用器的不同输出端的多个锁存电路。