感测装置、车辆用灯具、车辆的制作方法

1.本公开涉及一种感测装置。


背景技术：

2.为了进行自动驾驶、前照灯的配光的自动控制，利用对存在于车辆的周围的物体的位置以及种类进行感测的物体识别系统。物体识别系统包含传感器和对传感器的输出进行解析的运算处理装置。传感器从摄像机、lidar(light detection and ranging：光探测和测距，laser imaging detection and ranging：激光成像探测和测距)、毫米波雷达、超声波声纳等中考虑用途、要求精度、成本来选择。
3.在现有的自动制动、车道维持辅助等先进驾驶辅助系统(adas：advanced physical assisance systems)中，毫米波雷达和摄像机是主要的感测设备，但在等级4以上的自动驾驶系统中，需要对存在于市区的各种物体进行检测、识别，因此，lidar被视为有力。
4.现有技术文献
5.专利文献
6.专利文献1：日本专利第6412673号公报


技术实现要素：

7.发明所要解决的问题
8.由lidar生成的点群数据不仅包含物体的形状，还包含到物体为止的距离信息，但与一般的摄像机相比分辨率低。
9.本公开是在这样的状况下完成的，其某一方式的例示性的目的之一在于提供一种能够得到更多的信息的感测装置。
10.用于解决问题的手段
11.1.本公开的一种方式的感测装置具备：照明装置，其能够对将视野分割而成的多个小区分别照射在空间上被图案化后的照明光；受光元件阵列，其包含与多个小区对应的多个受光元件；以及运算处理装置，其基于tof(飞行时间)法，生成多个小区的每个小区的距离信息，并且基于相关法来生成多个小区的图像数据。
12.2.本公开的一种方式的感测装置具备：照明装置，其能够对将视野分割而成的多个n个(n≥2)小区分别照射在空间上被图案化后的照明光；受光元件阵列，其包含分别输出二值的检测信号的k(k≥2)
×
n个受光元件，对多个n个小区分别分配k个受光元件；以及运算处理装置，其进行如下处理：(i)通过tof(飞行时间)法，针对所述多个n个小区的每一个小区，基于与各小区对应的k个受光元件的至少一个受光元件的输出来生成距离信息，并且，(ii)针对多个n个小区的每一个小区，基于与各小区对应的k个受光元件的输出，生成多值的检测强度，通过相关法生成各小区的图像数据。
13.本公开的另一方式也是感测装置。该装置具备：照明装置，其能够对将视野分割而
成的多个n个(n≥2)小区分别照射在空间上被图案化后的照明光；受光元件阵列，其包含与多个n个小区对应且分别输出二值的检测信号的多个n个受光元件；以及运算处理装置，其进行如下处理：(i)针对多个n个小区的每一个小区，基于n个受光元件的对应的一个受光元件输出的检测信号，通过tof(飞行时间)法，生成以距离为灰度级的直方图，并基于直方图生成各小区的距离信息，并且，(ii)基于直方图而生成检测强度，通过利用了该检测强度的相关法来生成各小区的图像数据。
14.发明效果
15.根据本公开的某一方式，能够得到距离信息和图像信息。
附图说明
16.图1是表示第一实施方式所涉及的感测装置的图。
17.图2是说明图1的成像装置中的测距的图。
18.图3是图1的成像装置的测距的时序图。
19.图4是说明图1的成像装置中的图像数据的生成的图。
20.图5是图1的成像装置中的图像数据的生成的时序图。
21.图6是说明基于相关法的图像数据的生成的图。
22.图7是表示第二实施方式所涉及的感测装置的图。
23.图8是说明图7的感测装置中的测距的图。
24.图9中的(a)是图7的感测装置的测距的时序图，图9中的(b)是将距离设为灰度级的直方图。
25.图10是说明第一变形例的直方图的生成的图。
26.图11是说明第二变形例的直方图的生成的图。
27.图12是图7的感测装置中的一个图像数据的生成的时序图。
28.图13是表示第三实施方式所涉及的感测装置的图。
29.图14是表示直方图hist
ij
与检测强度b
ij
的关系的图。
30.图15是图13的感测装置中的测距以及图像数据生成的流程图。
31.图16是物体识别系统的框图。
32.图17是表示具备感测装置的机动车的图。
33.图18是表示具备物体检测系统的车辆用灯具的框图。
具体实施方式
34.(实施方式的概要)
35.说明本公开的几个例示性的实施方式的概要。该概要作为后述的详细说明的前置，以实施方式的基本理解为目的，简化说明一个或多个实施方式的几个概念，并不限定发明或公开的范围。另外，该概要不是所考虑的所有实施方式的总括的概要，也不限定实施方式的不可欠缺的构成要素。为了方便，“一实施方式”有时作为指在本说明书中公开的一个实施方式(实施例、变形例)或多个实施方式(实施例、变形例)而使用。
36.1.一个实施方式所涉及的感测装置具备：照明装置，其能够对将视野分割而成的多个小区分别照射在空间上被图案化后的照明光；受光元件阵列，其包含与多个小区对应
的多个受光元件；以及运算处理装置，其基于tof(飞行时间)法，生成多个小区的每个小区的距离信息，并且基于相关法来生成多个小区的图像数据。
37.根据该结构，在能够获取每个小区的距离信息的基础上，还能够获取每个小区的图像信息。
38.在一实施方式中，照明装置也可以依次对各小区照射强度分布随机的多束照明光。运算处理装置也可以基于各受光元件的输出，通过tof法获取对应的小区的距离信息，并且通过相关法生成对应的小区的图像数据。由此，通过照明装置的一次动作，能够得到距离信息和图像信息这两者。
39.在基于相关法生成图像数据时，照明装置也可以依次对各小区照射强度分布随机的多束照明光。另一方面，在基于tof法生成距离信息时，照明装置也可以对各小区照射均匀的照明光。或者，在基于tof法生成距离信息时，照明装置也可以对各小区的一部分照射照明光。
40.一实施方式所涉及的感测装置具备：照明装置，其能够对将视野分割而成的多个n个(n≥2)小区分别照射在空间上被图案化后的照明光；受光元件阵列，其包含分别输出二值的检测信号的k(k≥2)
×
n个受光元件，对多个n个小区分别分配k个受光元件；以及运算处理装置，其进行如下处理：(i)通过tof(飞行时间)法，针对多个n个小区的每一个小区，基于与各小区对应的k个受光元件的至少一个受光元件输出来生成距离信息，并且，(ii)针对多个n个小区的每一个小区，基于与各小区对应的k个受光元件的输出，生成多值的检测强度，通过相关法生成各小区的图像数据。
41.根据该结构，能够针对多个小区分别获取距离信息。进而，通过汇总多个k个二值传感器的输出而进行多值化，通过基于多值化的检测强度的相关计算，能够复原图像数据。
42.在一个实施方式中，在利用相关法生成图像数据时，照明装置也可以在包含k个小区的区域中，连续地照射强度分布随机的多束照明光。
43.在一个实施方式中，在通过tof法生成距离信息时，照明装置也可以对各小区照射均匀的照明光。
44.在一个实施方式中，在通过tof法生成距离信息时，照明装置也可以对各小区的一部分照射照明光。
45.在一个实施方式中，也可以利用在通过相关法生成图像数据时由照明装置生成的多束照明光，进行通过tof法的距离信息的生成。
46.一个实施方式所涉及的感测装置具备：照明装置，其能够对将视野分割而成的多个n个(n≥2)小区分别照射在空间上被图案化后的照明光；受光元件阵列，其包含与多个n个小区对应且分别输出二值的检测信号的多个n个受光元件；以及运算处理装置，其进行如下处理：(i)针对多个n个小区的每一个小区，基于n个受光元件的对应的一个受光元件输出的检测信号，通过tof(飞行时间)法，生成以距离为灰度级的直方图，并基于直方图生成各小区的距离信息，并且，(ii)基于直方图而生成检测强度，通过利用了该检测强度的相关法来生成各小区的图像数据。
47.根据该结构，能够一边进行测距，一边生成图像数据。
48.在一个实施方式中，运算处理装置也可以将直方图的最频值中的频数作为检测强度。
49.(实施方式)
50.以下，基于优选的实施方式，参照附图对本发明进行说明。对各附图所示的相同或同等的构成要素、构件、处理标注相同的符号，适当省略重复的说明。另外，实施方式并不限定发明，只是例示，实施方式中记述的所有特征或其组合不一定是发明的本质。
51.本说明书中的“强度分布随机”并不意味着是完全的随机，只要随机到在重影成像中能够重建图像的程度即可。因此，本说明书中的“随机”能够在其中内含某种程度的规则性。另外，“随机”并不要求完全不能预测，也可以能够预测、再生。
52.图1是表示第一实施方式所涉及的感测装置100的图。感测装置100具备照明装置110、受光元件阵列120、运算处理装置130。
53.感测装置100将视野fov分割为多个n个小区cell1～celln而进行感测。照明装置110构成为能够对将视野fov分割而成的多个小区cell1～celln分别照射在空间上被图案化后的照明光sref1～srefn。图案化中还包含均匀的强度分布。
54.在图1中，视野fov被分割为3行
×
4列的矩阵状的小区cell1～celln，小区的个数n为12。此外，多个小区的个数n以及配置并不限定于此。照明光sref1～srefn可以同时照射，也可以以时分方式照射，但以下为同时照射。
55.例如，照明装置110包含光源112、图案化器件114以及图案产生器116。在照明装置110的出射端设置有投光透镜(准直透镜)、反射镜等光学系统，但省略了图示。光源112生成具有均匀的强度分布的光束s0。光源112也可以使用激光、发光二极管等。照明光sref的波长、光谱没有特别限定，但在本实施方式中为红外。
56.图案化器件114具有配置成矩阵状的多个像素，构成为能够基于多个像素的接通、断开的组合，对光的强度分布i(x，y)进行空间调制。在本说明书中，将接通状态的像素称为接通像素，将断开状态的像素称为断开像素。此外，在以下的说明中，为了容易理解，各像素仅取接通和断开这两个值(1，0)，但不限于此，也可以是中间的灰度。也可以在图案化器件114与光源112之间插入包含透镜等的光学系统。
57.作为图案化器件114，能够使用反射型的dmd(digital micromirror device：数字微镜器件)、透射型的液晶器件。图案产生器116所产生的图案化数据(图像数据)被提供给图案化器件114。
58.图案产生器116产生指定照明光srefi的强度分布ii的图案化数据ptni，按每个时隙切换图案信号ptnr(r＝1，2，
…
m)。由此，光s0在每个时隙以不同的图案被空间地调制，生成照明光s1。基于传感器单元100的感测作为一组进行m个图案照射，与m个图案照射对应地生成一个复原图像。将基于m个图案照射的一次感测称为一帧。即，一帧包含m个时隙。图案产生器116也可以安装在运算处理装置130的内部。
59.受光元件阵列120包含与多个小区cell1～celln对应的多个受光元件(光电转换元件：photo transducer)pt1～ptn。受光元件pt的构造、种类没有特别限定，可以使用光电二极管、光电倍增管、光导电元件等。另外，在受光元件阵列120的前表面配置有包含聚光透镜等的光学系统，但省略图示。
60.各受光元件pt具有与照明装置110生成的照明光s1相同的波长的灵敏度。第i个受光元件pti接收来自对应的小区celli的光，更详细而言，接收存在于该小区celli的物体obj反射了照明光srefi的反射光，生成与光量相应的多值的、或者模拟的检测信号。构成受光
元件阵列120的各受光元件pt也可以是光检测器(光电检测器)。
61.运算处理装置130接受受光元件阵列120的输出、即多个受光元件pt1～ptn的检测信号sp1～spn。运算处理装置130包含tof处理部132和spi(single pixel imaging：单像素成像)处理部134。
62.tof处理部132针对多个小区cell1～celln分别计算距离信息。具体而言，tof处理部132基于第i个(1≤i≤n)受光元件pti的输出、即检测信号spi，通过tof法获取到与该受光元件pti对应的小区cell为止的距离信息。例如，tof处理部132从照明装置110的照明光srefi的照射开始时刻获取到对应的检测信号spi变化为止的延迟时间τi，将延迟时间τi设为距离信息di。从运算处理装置130输出多个小区cell1～celln各自的距离信息d1～dn。该距离信息d1～dn的集合能够理解为与lidar中的点群数据对应的集合。
63.另外，spi处理部134针对多个小区cell1～celln分别计算图像数据gi(x，y)。spi处理部134基于第i个受光元件pti的输出、即检测信号spi，基于相关法(也称为单像素成像)获取与该受光元件pti对应的小区celli的图像数据(也称为复原图像)gi(x，y)。
64.作为基于相关法的图像复原，能够使用重影成像。照明装置110对第i个(1≤i≤n)小区celli依次照射m个随机图案ptn
i1
～ptn
im
。照射到多个小区cell1～celln的第j个(1≤j≤m)的图案ptn
1j
～ptn
nj
可以相同也可以不同。
65.将照射第j个随机图案ptn
ij
时得到的检测信号spi记为sp
ij
。运算处理装置130获取与检测信号sp
ij
对应的检测强度b
ij
。在一个图案的照射中，在仅对一次检测信号sp
ij
进行采样的情况下，将该值设为检测强度b
ij
即可。在一个图案的照射中，在多次对检测信号sp
ij
进行采样的情况下，可以将多个采样值的平均值设为检测强度b
ij
，也可以筛选全部采样值中的几个，使用筛选出的采样值的积分值、平均值、最大值。多个采样值的筛选例如可以提取从最大值开始数起从第x个序列到第y个序列，也可以将比任意的阈值低的数字值排除，也可以提取信号变动的大小较小的范围的采样值。
66.若照射m个随机图案，则得到m个检测强度b
i1
～b
im
。运算处理装置130进行m个检测强度b
i1
～b
im
和m个图案化数据ptni1～ptnim的相关计算，生成小区celli的复原图像gi(x，y)。
67.相关计算中使用式(1)的相关函数。i
ij
是向第i个小区celli照射的第j个照明光sref
ij
、即随机图案ptn
ij
的强度分布。
68.[数学式1]
[0069][0070]
运算处理装置130可以分别输出多个小区cell1～celln各自的图像g1～gn，也可以将它们合成，作为小区整体的一张图像输出。多个小区cell为横u
×
纵v的矩阵，在图案的分辨率为x
×
y时，最终图像的分辨率为横x
×
u、纵y
×
v。
[0071]
运算处理装置130能够通过cpu(central processing unit：中央处理单元)、mpu(micro processing unit：微处理单元)、微控制器等处理器(硬件)和处理器(硬件)所执行的软件程序的组合来实现。运算处理装置130也可以是多个处理器的组合。或者，运算处理
装置130也可以仅由硬件构成。
[0072]
以上是感测装置100的结构。接着，对其动作进行说明。
[0073]
图2是说明图1的感测装置100中的测距的图。为了便于理解，设n＝4，着眼于四个小区cell1～cell4。
[0074]
照明装置110对多个小区cell1～cell4分别照射用于测距的照明光sref1～sref4。此时的照明光sref1～sref4可以兼作用于图像数据的生成的照明光，也可以是与之不同的测距专用的光。在测距专用的光的情况下，能够使照明光sref1～sref4各自的强度分布均匀。
[0075]
考虑在小区cell1和cell4中存在物体obj1、物体obj4的行驶场景。照明光sref1被物体obj1反射，其返回光sback1被受光元件阵列120的受光元件pt1检测。同样地，照明光sref4被物体obj4反射，该返回光sback4被受光元件阵列120的受光元件pt4检测。在从感测装置100到存在于第i个小区celli的物体obji为止的距离为di时，从照明装置110射出照明光srefi起到受光元件pt1的输出spi变化为止的延迟时间τi成为下式，将c设为光速，
[0076]
τi＝2
×di
/c。
[0077]
即，延迟时间τi与距离di成比例。运算处理装置130通过获取从发光定时到检测信号spi的变化为止的延迟时间τi，能够得到表示距离di的距离信息di。
[0078]
延迟时间τ的测定方法没有特别限定。例如，在检测信号spi以预定的采样率(或者作为图像数据的一个像素，以预定的帧率)输出的情况下，在从照明装置110的发光起的第几个采样中，根据检测信号spi是否发生了变化，能够获取延迟时间τi。在采样周期为t
smp
时，在第x个采样中检测信号spi变化的情况下，延迟时间τi能够设为τi＝x
×
t
smp
而得到。
[0079]
或者延迟时间τi也可以利用定时器来测定。
[0080]
通过对所有的小区cell进行同样的处理，能够得到表示到存在于多个小区cell1～celln的物体的距离d1～dn的距离信息d1～dn。即，通过感测装置100，能够得到n个点群数据。
[0081]
图3是图1的感测装置100的测距的时序图。在存在多个同时获取多个延迟时间τ的硬件(计数器、定时器)的情况下，如图3所示，多束照明光sref1～sref4也可以同时射出。相反，在用于时间测定的硬件的个数少的情况下，也可以以时分方式射出多束照明光sref1～sref4。在多个小区cell1～celln如图1所示被规定为矩阵状的情况下，也可以按每行同时照射而进行测距。或者，也可以按每列同时照射而进行测距。
[0082]
图4是说明图1的感测装置100中的图像数据的生成的图。在生成图像数据gi(x，y)时，照射到各小区celli的照明光srefi以x
×
y的分辨率随机地被图案化，m个图案ptn
i1
～ptn
im
被顺序切换。照射第j个图案ptn
ij
时的、基于对应的受光元件pti的输出sp
ij
的检测强度b
ij
依赖于图案ptn
ij
和物体obji的形状以及各部分的反射率。运算处理装置130基于关于小区celli得到的m个检测强度b
i1
～b
im
和对应的图案的强度分布i
i1
(x，y)～i
im
(x，y)的相关计算，复原图像数据gi(x，y)。图像数据gi(x，y)的分辨率与图案的分辨率相等。
[0083]
图5是图1的感测装置100中的图像数据g1～gn的生成的时序图。照射到小区celli的照明光srefi的空间强度分布按照m个图案ptn
i1
～ptn
im
依次被调制。受光元件pti的输出spi表示来自存在于小区celli的物体obji的反射光的强度，每当切换图案ptn
ij
时变化。具体而言，检测信号spi对应于多个图案ptn
i1
～ptn
im
，检测信号spi变化为sp
i1
、sp
i2
、
…
sp
im
，生成
多个检测强度b
i1
～b
im
。利用这样得到的多个检测强度b
i1
～b
im
，恢复图像数据gi(x，y)。
[0084]
图6是基于相关法生成图像数据的时序图。图6示出了一个小区cell的图像复原。在一帧的图像生成中，依次照射具有m个随机的强度分布i1～im的照明光sref。在图6中，以4
×
4的分辨率对照明光进行图案形成。然后，针对每个强度分布，生成检测强度b，进行相关计算。
[0085]
以上是感测装置100的结构。根据该感测装置100，能够得到与多个小区cell1～celln对应的点群的距离信息，能够作为lidar进行动作。
[0086]
在一般的lidar中，如果到物体的距离接近，则由多个点表示相同的物体，因此能够根据点群数据获取物体的形状、种类，但若到物体的距离变远，则表现物体的点的数量减少，因此无法判别物体的形状。在现有技术中，为了增加远方的物体的点数，需要增加lidar的点群的个数(本说明书中的n)，成为成本上升的主要原因。与此相对，根据本实施方式，具有如下优点：即使不增大n，也能够通过相关计算来复原各小区的图像数据。
[0087]
对与第一实施方式相关联的变形例进行说明。
[0088]
(第一变形例)
[0089]
在图1中，将多个小区cell1～celln配置为矩阵状，但也可以设为一行n列的横向的一维的配置。
[0090]
(第二变形例)
[0091]
图像数据的生成和测距可以分别进行，但也可以在图像数据的生成的同时进行测距。如图5所示，受光元件pti的输出sp
ij
变化的定时与对应的照明光sref
ij
的发光定时的延迟时间τi与到物体obji的距离di成比例。因此，也可以利用用于生成图像数据的图案化后的照明光，测定延迟时间，获取距离。
[0092]
(变形例3)
[0093]
在实施方式中，照明装置110由光源112和图案化器件114的组合构成，但不限于此。例如，照明装置110也可以构成为由配置成矩阵状的多个半导体光源(led(发光二极管)、ld(激光二极管))的阵列构成，能够控制各个半导体光源的接通、断开(或者亮度)。
[0094]
(变形例4)
[0095]
在基于tof法生成距离信息时，照明装置110也可以对各小区的一部分(例如仅中央)点状地照射照明光。
[0096]
(变形例5)
[0097]
在实施方式中，作为重影成像(或者单像素成像)的方法，说明了使用了相关计算的方法，但图像的重建的方法并不限定于此。在一些实施方式中，也可以代替相关计算，通过使用傅里叶变换或阿达马逆变换(hadamard逆变换)的解析的方法、求解稀疏建模等的最佳化问题的方法、以及利用了ai/机器学习的算法来重建图像。
[0098]
(第二实施方式)
[0099]
图7是表示第二实施方式所涉及的感测装置100a的图。感测装置100a将视野fov分割为多个n个小区cell1～celln而进行感测。
[0100]
感测装置100a具备照明装置110、受光元件阵列120a、运算处理装置130a。照明装置110构成为能够对将视野fov分割而成的多个n个小区cell1～celln分别照射在空间上被图案化后的照明光sref1～srefn。图案化中还包含均匀的强度分布。
[0101]
在图7的例子中，视野fov被分割为6行
×
8列的矩阵状的小区cell1～celln，小区的个数n为48，但实际上，小区的个数n也可以为数百～数百万。此外，多个小区的个数n以及配置并不限定于此。照明光sref1～srefn可以同时照射，也可以以时分方式照射，但以下为同时照射。
[0102]
例如，照明装置110包含光源112、图案化器件114以及图案产生器116。在照明装置110的出射端设置有投光透镜(准直透镜)、反射镜等光学系统，但省略了图示。光源112生成具有均匀的强度分布的光束s0。光源112也可以使用激光、发光二极管等。照明光sref的波长、光谱没有特别限定，但在本实施方式中为红外。
[0103]
图案化器件114具有配置成矩阵状的多个像素，构成为能够基于多个像素的接通、断开的组合，对光的强度分布i(x，y)进行空间调制。在本说明书中，将接通状态的像素称为接通像素，将断开状态的像素称为断开像素。另外，在以下的说明中，为了容易理解，各像素仅取接通和断开这两个值(1，0)，但不限于此，也可以是中间的灰度。也可以在图案化器件114与光源112之间插入包含透镜等的光学系统。
[0104]
作为图案化器件114，能够使用反射型的dmd(digital micromirror device：数字微镜器件)、透射型的液晶器件。图案产生器116所产生的图案化数据(图像数据)被提供给图案化器件114。
[0105]
图案产生器116产生用于指定照明光srefi的强度分布ii的图案化数据ptni。图案产生器116也可以安装在运算处理装置130a的内部。
[0106]
受光元件阵列120a包含多个k个受光元件(光电转换元件：photo transducer)pt
11
…
pt
1k
、pt
21
…
pt
2k
、
…
、pt
n1
…
pt
nk
。其中k≥2。受光元件pt输出二值的检测信号，对与照明装置110生成的照明光s1相同的波长具有灵敏度。受光元件pt的结构和种类没有特别限定，优选spad(single photon avalanche diode：单光子雪崩二极管)，因此受光元件阵列120a可以是spad图像传感器。作为spad图像传感器，市售有数十万像素～100万像素左右的图像。另外，在受光元件阵列120的前表面配置有包含聚光透镜等的光学系统，但省略图示。
[0107]
对多个n个小区cell分别分配k个受光元件pt。与一个小区celli对应的k个受光元件pt
i1
～pt
ik
接收来自对应的小区celli的光，更详细而言，接收存在于该小区celli的物体obj反射了照明光srefi的反射光sbacki，基于受光元件所具有的光子检测概率，输出成为1或0的检测信号sp
i1
～sp
ik
。在该例中设为k＝4。
[0108]
运算处理装置130a接收受光元件阵列120a的输出、即多个受光元件pt
11
～pt
1k
、pt
21
～pt
2k
、
…
、pt
n1
～pt
nk
的检测信号sp
11
～sp
1k
、sp
21
～sp
2k
、
…
、sp
n1
～sp
nk
。运算处理装置130a包含tof处理部132和spi(single pixel imaging：单像素成像)处理部134。
[0109]
tof处理部132针对多个小区cell1～celln分别计算距离信息。具体而言，tof处理部132基于与第i个(1≤i≤n)的小区对应的k个受光元件pt
i1
～pt
ik
的输出、即检测信号sp
i1
～sp
ik
的一个或多个，通过tof法获取到小区celli为止的距离信息。
[0110]
例如，tof处理部132从照明装置110的照明光srefi的照射定时，获取到对应的检测信号sp
i1
～sp
ik
中的一个或多个变化为止的延迟时间τi，基于延迟时间τi生成距离信息di。从运算处理装置130a输出多个小区cell1～celln各自的距离信息d1～dn。该距离信息d1～dn的集合能够理解为与lidar中的点群数据对应的集合。
[0111]
另外，spi处理部134针对多个小区cell1～celln，计算图像数据g1(x，y)～gn(x，
y)。
[0112]
spi处理部134关于第i个小区celli的图像数据gi(x，y)的生成，基于与该小区celli对应的k个受光元件pt
i1
～pt
ik
的输出sp
i1
～sp
ik
，生成多值的检测强度bi。然后，利用检测强度bi，通过相关法(也称为单像素成像)，生成图像数据gi(x，y)。即，在照射照明光srefi后，在预定的时间窗口中，k个sp
i1
～sp
ik
中的x个成为1时，将检测强度bi的值设为x。x可以取0～k。
[0113]
作为基于相关法的图像复原，能够使用重影成像。照明装置110对第i个(1≤i≤n)小区celli依次照射m个随机图案ptn
i1
～ptn
im
。照射到多个小区cell1～celln的第j个(1≤j≤m)的图案ptn
1j
～ptn
nj
可以相同也可以不同。
[0114]
将在照射第j个随机图案ptn
ij
时得到的检测强度表述为“b
ij”。若照射m个随机图案，则得到m个检测强度b
i1
～b
im
。运算处理装置130a进行m个检测强度b
i1
～b
im
和m个图案化数据ptn
i1
～ptn
im
的相关计算，生成小区celli的复原图像gi(x，y)。
[0115]
相关计算中使用式(1)的相关函数。i
ij
是向第i个小区celli照射的第j个照明光sref
ij
、即随机图案ptn
ij
的强度分布。
[0116]
[数学式2]
[0117][0118]
运算处理装置130a可以分别输出多个小区cell1～celln各自的图像数据g1～gn，也可以将它们合成，作为视场fov整体的一张图像输出。多个小区cell为横u
×
纵v的矩阵，在图案的分辨率为x
×
y时，最终图像的分辨率为横x
×
u、纵y
×
v。
[0119]
运算处理装置130a能够通过cpu(central processing unit：中央处理单元)、mpu(micro processing unit：微处理单元)、微控制器等处理器(硬件)和处理器(硬件)所执行的软件程序的组合来实现。运算处理装置130a也可以是多个处理器的组合。或者，运算处理装置130a也可以仅由硬件构成。
[0120]
以上是感测装置100a的结构。接着，对其动作进行说明。
[0121]
图8是说明图7的感测装置100a中的测距的图。
[0122]
照明装置110对多个小区cell1～celln分别照射用于测距的照明光sref1～srefn。此时的照明光sref1～srefn可以兼作用于图像数据的生成的照明光，也可以是与之不同的测距专用的光。在测距专用的光的情况下，能够使照明光sref1～srefn各自的强度分布均匀。
[0123]
考虑在小区cell1和celln中存在物体obj1、物体objn的行驶场景。照明光sref1被物体obj1反射，该返回光sback1入射到受光元件阵列120a的受光元件pt
11
～pt
1k
。同样地，照明光srefn被物体objn反射，该返回光sbackn入射到受光元件阵列120a的受光元件ptn1～ptnk。在从感测装置100a到存在于第i个小区celli的物体obji为止的距离为di时，从照明装置110射出照明光srefi起到入射到受光元件阵列120为止的往返时间tdi成为下式，将c设为光速，
[0124]
tdi＝2
×di
/c。
[0125]
即，往返时间tdi与距离di成比例。
[0126]
运算处理装置130a通过获取从照明光srefi的发光定时到检测信号sp
ij
的变化为止的延迟时间τ
ij
，能够得到表示往返时间tdi进而表示距离di的距离信息di。
[0127]
延迟时间τ的测定方法没有特别限定。例如，在检测信号sp
ij
以预定的采样率(或者作为图像数据的一个像素，以预定的帧率)输出的情况下，在从照明装置110的发光起的第几个采样中，根据检测信号sp
ij
发生了变化，能够获取延迟时间τi。在采样周期为t
smp
时，在第x个采样中检测信号sp
ij
变化的情况下，延迟时间τi能够设为τ
ij
＝x
×
t
smp
而得到。或者，延迟时间τ
ij
也可以利用定时器来测定。
[0128]
一个小区cell相当于使用了spad的lidar中的点。与使用spad的lidar同样地，在一个小区celli的测距中，多次照射照明光srefi，针对每个照射测定延迟时间τ
ij
，生成以延迟时间τ
ij
、即距离di为灰度级的直方图，能够基于直方图生成距离信息di。例如，可以将直方图的最频值作为距离信息，也可以将直方图的平均值作为距离信息。
[0129]
通过对所有的小区cell进行同样的处理，能够得到表示到存在于多个小区cell1～celln的物体的距离d1～dn的距离信息d1～dn。即，通过感测装置100a，能够得到n个点群数据。
[0130]
图9中的(a)是图7的感测装置100a的测距的时序图，图9中的(b)是将距离设为灰度级的直方图。在直方图的生成中，也可以仅利用k个受光元件pt
i1
～pt
ik
中的一个。即，也可以仅监视k个检测信号sp
i1
～sp
ik
中的一个，多次测定一个检测信号sp
ij
的延迟时间τ
ij
，生成直方图。在此，对在第i个小区celli的测距中仅使用一个检测信号sp
i1
的情况进行说明。照明装置110反复照射照明光srefi。在第i个小区celli中，在距感测装置100a的距离di的位置存在物体obji时，在从发光经过往返时间tdi＝2
×
d/c之后，受光元件pt
i1
接受返回光sbacki。理想的是，受光元件pti
i1
的输出sp
i1
仅响应返回光sbacki，延迟时间τ
i1
与往返行程时间tdi一致。然而，实际上，由于干扰的影响，检测信号sp会表现出统计上的动作，有时也会在与返回光sbacki的受光定时不同的定时发生变化。因此，为了获取往返时间tdi，需要对延迟时间τ
i1
进行统计处理。
[0131]
运算处理装置130a反复测定从发光到检测信号sp
i1
变化为止的时间τ
i1
，生成将时间τ
i1
(换言之，距离)设为灰度级的直方图。然后，如图9中的(b)所示，获取该直方图的最频值作为与实际的距离对应的延迟时间τi、即往返行程时间tdi。此外，也可以不使用最频值，而是使用平均值。
[0132]
图10是说明第一变形例的直方图的生成的图。在该变形例中，在直方图的生成中，也可以利用k个受光元件pt
i1
～pt
ik
全部(或者比其更少的多个)。即，也可以多次测定k个检测信号sp
i1
～sp
ik
各自的延迟时间τ
i1
～τ
ik
，生成直方图。
[0133]
图11是说明第二变形例的直方图的生成的图。在该变形例中，在直方图的生成中，也可以利用k个受光元件pt
i1
～pt
ik
全部(或者比其更少的多个)。也可以监视k个检测信号sp
i1
～sp
ik
，将其中的预定数量个变化为止的时间作为延迟时间τi，多次测定延迟时间τi，生成直方图。在图11中，将到两个检测信号变化为止的时间设为延迟时间τi。
[0134]
根据第一变形例或第二变形例的测定，能够提高时间测定的精度。
[0135]
在存在多个同时获取多个延迟时间τ的硬件(计数器、定时器)的情况下，也可以同时射出多束照明光sref1～srefn。相反，在用于时间测定的硬件的个数少的情况下，也可以
以时分方式射出多束照明光sref1～srefn。在多个小区cell1～celln如图7所示被规定为矩阵状的情况下，也可以按每行同时照射而进行测距。或者，也可以按每列同时照射而进行测距。
[0136]
图11是说明图7的感测装置100a中的图像数据的生成的图。如上所述，针对每个小区进行图像数据的生成。
[0137]
在生成图像数据gi(x，y)时，照射到各小区celli的照明光srefi以x
×
y的分辨率随机地被图案化，m个图案ptn
i1
～ptn
im
被顺序切换。将照射第j个图案ptn
ij
时的、对应的受光元件pt
i1
～pt
ik
的输出sp
i1
～sp
ik
的检测强度bi表述为b
ij
。检测强度b
ij
是照射第j个图案ptn
ij
时的k个检测信号sp
i1
～sp
ik
中的值为1的个数。
[0138]
运算处理装置130a基于关于小区celli、根据m个图案的照射的结果得到的检测强度b
i1
～b
im
与对应的图案的强度分布i
i1
(x，y)～i
im
(x，y)的相关计算，复原图像数据gi(x，y)。图像数据gi(x，y)的分辨率与图案的分辨率相等。
[0139]
图12是图7的感测装置100a中的一个图像数据gi的生成的时序图。照射到小区celli的照明光srefi的空间强度分布按照m个图案ptn
i1
～ptn
im
依次被调制。作为k个受光元件pt
i1
～pt
ik
的输出的检测信号sp
i1
～sp
ik
与来自存在于小区celli的物体obji的反射光对应，基于检测信号sp
i1
～sp
ik
，生成多值的检测强度bi。若使照明光srefi的图案变化为ptn
i1
、ptn
i2
……
、ptn
im
，则生成多个检测强度b
i1
、b
i2
、
…
、b
im
。利用这样得到的多个检测强度b
i1
～b
im
，恢复图像数据gi(x，y)。
[0140]
另外，也可以在一定程度上长时间照射一个图案sp
ij
，在此期间多次采样检测信号sp
i1
～sp
ik
，生成检测强度b
ij
。
[0141]
以上是感测装置100a的结构。根据该感测装置100a，能够得到与多个小区cell1～celln对应的点群的距离信息，能够作为lidar工作。
[0142]
在一般的lidar中，如果到物体的距离接近，则由多个点表示相同的物体，因此能够根据点群数据获取物体的形状、种类，但若到物体的距离变远，则表现物体的点的数量减少，因此无法判别物体的形状。在现有技术中，为了增加远方的物体的点数，需要增加lidar的点群的个数(本说明书中的n)，成为成本上升的主要原因。与此相对，根据本实施方式，具有如下优点：即使不增大n，也能够通过相关计算来复原各小区的图像数据。
[0143]
在第二实施方式中，图像数据的生成和测距可以分别进行，但也可以在图像数据的生成的同时进行测距。如图12所示，受光元件pti的输出sp
ij
变化的定时与对应的照明光sref
ij
的发光定时的延迟时间τi与到物体obji的距离di成比例。因此，也可以利用用于生成图像数据的图案化后的照明光，测定延迟时间，获取距离。
[0144]
(第三实施方式)
[0145]
图13是表示第三实施方式所涉及的感测装置100b的图。感测装置100b将视野fov分割为多个n个小区cell1～celln而进行感测。
[0146]
感测装置100b具备照明装置110、受光元件阵列120b、运算处理装置130b。照明装置110构成为能够对将视野fov分割而成的多个n个小区cell1～celln分别照射在空间上被图案化后的照明光sref1～srefn。
[0147]
受光元件阵列120b包含多个n个受光元件pt1～ptn。受光元件pt与第二实施方式同样地输出二值的检测信号，对与照明装置110生成的照明光s1相同的波长具有灵敏度。
[0148]
n个受光元件pt1～ptn的一个pti接收存在于对应的小区celli的物体obj反射了照明光srefi的反射光sbacki，基于光子检测概率，输出1或0的检测信号spi。
[0149]
运算处理装置130b接收受光元件阵列120b的输出、即多个检测信号sp1～spn。运算处理装置130b包含tof处理部132和gi(ghost imaging：重影成像)处理部134。
[0150]
在本实施方式中，照明装置110对各小区celli依次照射强度分布随机的多个m个照明光srefi。第j个(1≤j≤m)的图案ptn
ij
的照明光sref
ij
被照射多个l次(l≥2)。
[0151]
tof处理部132针对多个小区cell1～celln分别计算距离信息d1～dn。具体而言，tof处理部132基于与第i个(1≤i≤n)的小区对应的受光元件pti的输出、即检测信号spi，通过tof法获取到小区celli为止的距离信息。测距例如能够以相同的图案ptn
ij
的l次照射作为循环来执行。
[0152]
tof处理部132在每次照射l次的图案时，从发光定时获取到对应的检测信号sp
ij
变化为止的延迟时间τi，生成以延迟时间τi为灰度级的直方图hist
ij
。然后，tof处理部132基于直方图hist
ij
，将其最频值决定为往返时间td
ij
，将往返时间td
ij
作为距离信息di输出。从运算处理装置130b输出多个小区cell1～celln各自的距离信息d1～dn。该距离信息d1～dn的集合能够理解为与lidar中的点群数据对应的集合。
[0153]
由tof处理小区132生成的直方图hist
ij
还被用于生成图像数据gi。spi处理部134基于直方图hist
ij
生成检测强度b
ij
。图14是表示直方图hist
ij
与检测强度b
ij
的关系的图。例如，spi处理部134能够将直方图hist
ij
的最频值中的频数(或者平均值中的频数)作为检测强度b
ij
(图14中的(i))。或者，也可以将包含直方图hist
ij
的最频值(或平均值)的预定的灰度级范围的频数的积分值(面积)设为检测强度b
ij
(图14中的(ii))。
[0154]
若使对各小区celli照射的照明光srefi的图案分别变化为ptn
i1
、ptn
i2
、
…
、ptn
im
，则生成直方图hist
i1
、hist
i2
、
…
、hist
im
，生成检测强度b
i1
、b
i2
、
…
、b
im
。spi处理部134基于检测强度b
i1
、b
i2
、
…
、b
im
和图案的强度分布i
i1
(x，y)、i
i2
(x，y)、
…iim
(x，y)，进行相关计算，复原图像数据gi(x，y)。
[0155]
运算处理装置130b可以分别输出多个小区cell1～celln各自的图像数据g1～gn，也可以将它们合成，作为视场fov整体的一张图像输出。多个小区cell为横u
×
纵v的矩阵，在图案的分辨率为x
×
y时，最终图像的分辨率为横x
×
u、纵y
×
v。
[0156]
以上是感测装置100b的结构。接着，对其动作进行说明。图15是图13的感测装置100b中的测距以及图像数据生成的流程图。
[0157]
变量i被初始化(s100)，接着，变量j被初始化(s102)。对小区celli反复照射l次图案ptn
ij
的照明光sref
ij
，针对每个照射，获取受光元件pti的输出sp
ij
的延迟时间τ
ij
(s104)。基于l个延迟时间τ
ij
的测定结果，生成直方图hist
ij
(s106)。
[0158]
然后，基于直方图hist
ij
，生成小区celli的距离信息di(s108)。另外，基于直方图hist
ij
，生成检测强度b
ij
(s110)。
[0159]
接着，使变量j递增(s112)，更新照明光的图案ptn
ij
。在不是j＞m时(s114的“否”)，即在m个全部的图案的照射未完成的情况下，返回到处理s104。当j＞m时(s114的“是”)，通过相关法生成图像数据gi(x，y)(s116)。
[0160]
接着，变量i递增(s118)，转移到下一个小区celli的测定。
[0161]
在不是i＞n时(s120的“否”)，即在n个全部的小区的处理未完成的情况下，返回到
处理s102。当i＞n时(s120的“是”)，结束处理。
[0162]
以上是感测装置100b的动作。根据该感测装置100b，对在tof法中使用的照明光进行图案化，生成用于测距的直方图。由此，能够利用直方图来获取距离信息，并且能够将二值输出的受光元件的输出信号转换为多值的检测强度，能够基于相关法生成图像数据。
[0163]
另外，在图15的流程图中，按顺序对多个小区进行了分时处理，但也可以将它们并行地进行处理。
[0164]
对与第二实施方式或者第三实施方式相关联的变形例进行说明。
[0165]
(第一变形例)
[0166]
在图7中，将多个小区cell1～celln配置为矩阵状，但也可以设为一行n列的横向的一维的配置。
[0167]
(第二变形例)
[0168]
在实施方式中，照明装置110由光源112和图案化器件114的组合构成，但不限于此。例如，照明装置110也可以构成为由配置成矩阵状的多个半导体光源(led(发光二极管)、ld(激光二极管))的阵列构成，能够控制各个半导体光源的接通、断开(或者亮度)。
[0169]
(变形例3)
[0170]
在第二实施方式中，在基于tof法生成距离信息时，照明装置110也可以对各小区的一部分(例如仅中央)点状地照射照明光。
[0171]
(变形例4)
[0172]
在实施方式中，作为重影成像(或者单像素成像)的方法，说明了使用了相关计算的方法，但图像的重建的方法并不限定于此。在一些实施方式中，也可以代替相关计算，通过使用傅里叶变换或阿达马逆变换的解析的方法、求解稀疏建模等的最佳化问题的方法、以及利用了ai/机器学习的算法来重建图像。
[0173]
(用途)
[0174]
接着，对感测装置100的用途进行说明。图16是物体识别系统10的框图。该物体识别系统10搭载于机动车、摩托车等车辆，判定存在于车辆的周围的物体obj的种类(类别)。
[0175]
物体识别系统10具备第一实施方式至第三实施方式中说明的感测装置100、100a、100b中的任一个(简记为100)和运算处理装置40。如上所述，感测装置100向物体obj照射照明光sref，测定反射光s2，由此生成物体obj的复原图像g。
[0176]
运算处理装置40对感测装置100的输出图像g进行处理，判定物体obj的位置以及种类(类别)。
[0177]
运算处理装置40的分类器42接受图像g作为输入，对其所包含的物体obj的位置以及种类进行判定。分类器42基于通过机器学习而生成的模型来安装。分类器42的算法没有特别限定，可以采用yolo(you only look once)、ssd(single shot multibox detector)、r-cnn(region-based convolutter neural network)、sppnet(spatial pyramid pooling)、faster r-cnn、dssd(deconvolution-ssd)、maskr-cnn等，或者可以采用将来开发的算法。
[0178]
图17是表示具备感测装置100的机动车的图。机动车300具备前照灯302l、302r。感测装置100内置于前照灯302l、302r的至少一方。前照灯302位于车体的最前端，在检测周围的物体的基础上，作为感测装置100的设置部位最有利。
[0179]
图18是表示具备物体检测系统210的车辆用灯具200的框图。车辆用灯具200与车辆侧ecu304一起构成灯具系统310。车辆用灯具200具备光源202、点灯电路204、光学系统206。此外，在车辆用灯具200中设置有物体检测系统210。物体检测系统210与上述的物体识别系统10对应，包含感测装置100和运算处理装置40。
[0180]
与运算处理装置40检测出的物体obj有关的信息也可以用于车辆用灯具200的配光控制。具体而言，灯具侧ecu208基于运算处理装置40生成的物体obj的种类及其位置相关的信息，生成适当的配光图案。点灯电路204及光学系统206以可获得灯具侧ecu208所生成的配光图案的方式进行动作。
[0181]
另外，运算处理装置40检测出的与物体obj有关的信息也可以发送到车辆侧ecu304。车辆侧ecu也可以基于该信息进行自动驾驶。
[0182]
另外，感测装置100的用途并不限定于车载，也能够应用于其他用途。
[0183]
实施方式只不过示出了本发明的原理、应用的一个侧面，在实施方式中，在不脱离技术方案所规定的本发明的思想的范围内，能够确认到较多的变形例、配置的变更。
[0184]
工业实用性
[0185]
本公开涉及一种感测装置。
[0186]
附图标记说明
[0187]
obj：物体；10：物体识别系统；40：运算处理装置；42：分类器；100：感测装置；110：照明装置；112：光源；114：图案化器件；116：图案产生器；120：受光元件阵列；130：运算处理装置；132：tof处理部；134：spi处理部；200：车辆用灯具；202：光源；204：点亮电路；206：光学系统；300：机动车；302：前照灯；310：灯具系统；304：车辆侧ecu。

技术特征：
1.一种感测装置，其特征在于，所述感测装置具备：照明装置，其能够对将视野分割而成的多个小区分别照射在空间上被图案化后的照明光；受光元件阵列，其包含与所述多个小区对应的多个受光元件；以及运算处理装置，其基于tof(飞行时间)法，生成所述多个小区的每个小区的距离信息，并且基于相关法来生成所述多个小区的图像数据。2.根据权利要求1所述的感测装置，其特征在于，所述照明装置依次对各小区照射强度分布随机的多束照明光，所述运算处理装置基于各受光元件的输出，通过tof法获取对应的小区的所述距离信息，并且通过相关法生成对应的小区的所述图像数据。3.根据权利要求1所述的感测装置，其特征在于，在基于所述相关法来生成所述图像数据时，所述照明装置依次对各小区照射强度分布随机的多束照明光。4.根据权利要求3所述的感测装置，其特征在于，在基于所述tof法生成所述距离信息时，所述照明装置对各小区照射均匀的照明光。5.根据权利要求3所述的感测装置，其特征在于，在基于所述tof法生成所述距离信息时，所述照明装置对各小区的一部分照射照明光。6.一种感测装置，其特征在于，所述感测装置具备：照明装置，其能够对将视野分割而成的多个n个(n≥2)小区分别照射在空间上被图案化后的照明光；受光元件阵列，其包含分别输出二值的检测信号的k(k≥2)
×
n个受光元件，对所述多个n个小区分别分配k个受光元件；以及运算处理装置，其进行如下处理：(i)通过tof(飞行时间)法，针对所述多个n个小区的每一个小区，基于与各小区对应的k个受光元件的至少一个受光元件的输出来生成距离信息，并且，(ii)针对所述多个n个小区的每一个小区，基于与各小区对应的k个受光元件的输出，生成多值的检测强度，通过相关法生成各小区的图像数据。7.根据权利要求6所述的感测装置，其特征在于，在通过所述相关法生成所述图像数据时，所述照明装置对各小区依次照射强度分布随机的多束照明光。8.根据权利要求7所述的感测装置，其特征在于，在通过所述tof法生成所述距离信息时，所述照明装置对各小区照射均匀的照明光。9.根据权利要求7所述的感测装置，其特征在于，在通过所述tof法生成所述距离信息时，所述照明装置对各小区的一部分照射照明光。10.根据权利要求7所述的感测装置，其特征在于，利用在通过所述相关法生成所述图像数据时由所述照明装置生成的所述多束照明光，进行通过所述tof法的所述距离信息的生成。11.一种感测装置，其特征在于，所述感测装置具备：
照明装置，其能够对将视野分割而成的多个n个(n≥2)小区分别照射在空间上被图案化后的照明光；受光元件阵列，其包含与所述多个n个小区对应且分别输出二值的检测信号的多个n个受光元件；以及运算处理装置，其进行如下处理：(i)针对所述多个n个小区的每一个小区，基于所述n个受光元件的对应的一个受光元件输出的所述检测信号，通过tof(飞行时间)法，生成以距离为灰度级的直方图，并基于所述直方图生成各小区的距离信息，并且，(ii)基于所述直方图而生成检测强度，通过利用了该检测强度的相关法来生成各小区的图像数据。12.根据权利要求11所述的感测装置，其特征在于，所述运算处理装置将所述直方图的最频值中的频数作为所述检测强度。13.一种车辆用灯具，其特征在于，所述车辆用灯具具备权利要求1至12中任一项所述的感测装置。14.一种车辆，其特征在于，所述车辆具备权利要求1至12中任一项所述的感测装置。

技术总结
照明装置110能够对多个小区CELL1～CELL


技术研发人员：杉本真太郎 春濑祐太 鸟居辉明 林幸雄
受保护的技术使用者：株式会社小糸制作所
技术研发日：2021.11.15
技术公布日：2023/7/22