距离图像摄像装置以及距离图像摄像方法与流程

1.本发明涉及距离图像摄像装置以及距离图像摄像方法。
2.本技术主张2021年1月14日在日本提交的特愿2021-004414号的优先权，并将其内容援用于此。


背景技术：

3.一直以来，作为用于计测与物体之间的距离的技术，存在对光脉冲的飞行时间进行测定的技术。这种技术被称为飞行时间(time of flight，以下称为tof)。在tof中，利用光的速度为已知的情况，向物体照射近红外区域的光脉冲。然后，测定照射了该光脉冲的时刻与对所照射的光脉冲由物体反射回来的反射光进行受光的时刻之间的时间差。基于该时间差来计算与物体的距离。使用光电二极管(光电转换元件)来检测用于测定距离的光的测距传感器被实用化。
4.并且，近年来，不仅能够取得与物体之间的距离，还能够得到包含物体的二维图像中的每个像素的进深信息即针对物体的三维信息的测距传感器被实用化。这种测距传感器也被称为距离图像摄像装置。在距离图像摄像装置中，包括光电二极管的像素在硅基板上以二维矩阵状配置有多个，通过该像素面对被物体反射的反射光进行受光。在距离图像摄像装置中，通过将基于各个像素受光的光量(电荷)的光电转换信号输出一个图像量，由此能够得到包括物体的二维图像以及构成该图像的每个像素的距离信息。例如，专利文献1公开了一种技术，针对一个像素设置有三个电荷蓄积部，依次分配电荷而计算距离。
5.现有技术文献
6.专利文献
7.专利文献1：日本专利第4235729号公报


技术实现要素：

8.发明要解决的课题
9.在这样的距离图像摄像装置中，如果能够由各个像素对更多的反射光进行受光，则能够高精度地计测距离。因此，在距离图像摄像装置中，要求各个像素能够进行受光的曝光时间(分配电荷的累计次数以及曝光量)更长。
10.一般来说，已知光的强度按照距离的平方来衰减。因此，来自处于近距离的物体的反射光的强度几乎不衰减地被受光部受光，但来自处于远距离的物体的反射光的强度衰减而被受光部受光。在如专利文献1所记载的距离图像装置那样向三个电荷蓄积部分配电荷而蓄积的情况下，在对来自近距离的反射光进行受光的像素(以下，称为近距离受光像素)中，在被分配了比较早到达的反射光的第一电荷蓄积部与第二电荷蓄积部中蓄积电荷。在对来自远距离的反射光进行受光的像素(以下，称为远距离受光像素)中，在被分配了比较迟到达的反射光的第二电荷蓄积部与第三电荷蓄积部中蓄积电荷。
11.在该情况下，近距离受光像素对强度比较大的反射光进行受光。因此，能够使电荷
蓄积部蓄积较多的电荷，能够高精度地测定距离。但是，在超过能够使电荷蓄积部蓄积的容量的上限的情况(饱和的情况)下，无法计算准确的距离。因此，需要以使电荷蓄积部不饱和的方式设定曝光时间的上限。即，根据第一电荷蓄积部蓄积的电荷量来决定曝光时间的上限。
12.另一方面，远距离受光像素对强度比较小的反射光进行受光。因此，如果是与近距离受光像素相同的曝光时间，则三个电荷蓄积部不会饱和。但是，在该情况下，与近距离受光像素相比较所蓄积的电荷量较少。因此，距离精度降低。
13.在距离图像摄像装置中，一般设计为，用于距离测定的所有像素在相同定时驱动。此处用于距离测定的像素是指，图像传感器等距离图像摄像装置所使用的像素中，不包括用于pdaf(phase difference auto foucus)、光学黑色等特殊用途的像素的、所蓄积的电荷量被用于距离的运算的像素。即，对用于距离测定的所有像素应用相同的曝光时间。因此，在通过距离图像摄像装置对混合存在处于近距离的物体与处于远距离的物体的空间进行摄像的情况下，根据来自近距离的反射光的强度来决定曝光时间。
14.在该情况下，在近距离受光像素的第一电荷蓄积部以不饱和的范围蓄积最大的电荷量。在其他电荷蓄积部蓄积比近距离受光像素的第一电荷蓄积部少量的电荷量。其他电荷蓄积部是指近距离受光像素的第二电荷蓄积部、第三电荷蓄积部、远距离受光像素的第一电荷蓄积部、第二电荷蓄积部以及第三电荷蓄积部。然后，在该情况下，如果能够使远距离受光像素的第二电荷蓄积部以及第三电荷蓄积部的曝光时间增加，则能够防止处于远距离的物体的距离精度降低。即，如果能够根据像素所受光的反射光的强度，使像素所具备的多个电荷蓄积部分别以相互不同的时间(后述的反射光蓄积时间)蓄积与反射光相应的电荷，则能够高精度地测定处于近距离的物体与处于远距离的物体。另外，当然考虑到反射光的强度根据从距离图像摄像装置到对象物的距离而变化。但是，不仅如此，反射光的强度还根据照射光脉冲本身的强度以及对象物的反射率而变化。在以下，将这样的根据到对象物的距离、照射光脉冲的强度以及对象物的反射率等因素而变化的反射光的强度，简称为“反射光的强度”。
15.本发明是鉴于上述课题而进行的，其目的在于提供距离图像摄像装置以及距离图像摄像方法，能够根据像素所受光的反射光的强度，使像素所具备的多个电荷蓄积部分别在相互不同的时间蓄积由反射光产生的电荷。
16.用于解决课题的手段
17.本发明的距离图像摄像装置具备：光源部，向测定对象的空间即测定空间照射光脉冲；受光部，其具有：像素，具备产生与所入射的光相应的电荷的光电转换元件以及蓄积上述电荷的三个以上的电荷蓄积部；以及像素驱动电路，在与上述光脉冲的照射同步的规定的定时，向上述像素中的上述电荷蓄积部分别分配上述电荷并使其蓄积；以及距离图像处理部，基于上述电荷蓄积部分别蓄积的电荷量，运算到存在于上述测定空间的被摄体的距离。上述距离图像处理部为，在向两个上述电荷蓄积部分配与由上述被摄体反射的上述光脉冲的反射光相应的电荷并使其蓄积的情况下，根据上述反射光的强度进行控制，使得向上述两个上述电荷蓄积部蓄积与上述反射光相应的电荷的反射光蓄积时间在1帧期间内成为相互不同的时间。
18.在本发明的距离图像摄像装置中，上述距离图像处理部为，在上述分配处理中，将
上述像素驱动电路控制为，与由上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述三个以上的上述电荷蓄积部中的第一电荷蓄积部以及不同于上述第一电荷蓄积部的第二电荷蓄积部依次分配并蓄积，对在一次分配处理中向上述电荷蓄积部分别蓄积电荷的蓄积时间、或者在1帧期间内进行上述分配处理的次数进行控制，使得上述第一电荷蓄积部的曝光时间与其他上述电荷蓄积部相比较成为最少的曝光时间。
19.在本发明的距离图像摄像装置中，上述距离图像处理部为，在上述分配处理中，将上述像素驱动电路控制为，仅与外部光成分对应的电荷被向上述三个以上的上述电荷蓄积部中的第一电荷蓄积部蓄积，与由上述被摄体反射的上述光脉冲的反射光对应的电荷被向不同于上述第一电荷蓄积部的第二电荷蓄积部以及不同于上述第一电荷蓄积部和上述第二电荷蓄积部的第三电荷蓄积部依次分配并蓄积。上述距离图像处理部为，对在一次分配处理中向上述电荷蓄积部分别蓄积电荷的蓄积时间、或者在1帧期间内进行上述分配处理的次数进行控制，使得上述第二电荷蓄积部的曝光时间与其他上述电荷蓄积部相比较成为最少的曝光时间。
20.在本发明的距离图像摄像装置中，上述距离图像处理部为，基于上述电荷蓄积部各自的曝光时间对上述电荷蓄积部分别蓄积的电荷量进行校正，使用校正后的电荷量运算到上述被摄体的距离。
21.在本发明的距离图像摄像装置中，在上述像素中设置有第一电荷蓄积部、第二电荷蓄积部以及第三电荷蓄积部。上述距离图像处理部为，将上述像素驱动电路控制为，与由处于第一距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第一电荷蓄积部以及上述第二电荷蓄积部依次分配并蓄积，与由处于比上述第一距离大的第二距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第二电荷蓄积部以及上述第三电荷蓄积部依次分配并蓄积。
22.在本发明的距离图像摄像装置中，上述距离图像处理部为，基于上述电荷蓄积部各自的曝光时间对上述电荷蓄积部分别蓄积的电荷量进行校正，将校正后的上述第一电荷蓄积部蓄积的电荷量与校正后的上述第三电荷蓄积部的电荷量进行比较。上述距离图像处理部为，在校正后的上述第一电荷蓄积部蓄积的电荷量大于校正后的上述第三电荷蓄积部的电荷量的情况下，判定为上述像素是对由处于上述第一距离的上述被摄体反射的上述光脉冲的反射光进行了受光的像素，在校正后的上述第一电荷蓄积部蓄积的电荷量为校正后的上述第三电荷蓄积部的电荷量以下的情况下，判定为上述像素是对由处于上述第二距离的上述被摄体反射的上述光脉冲的反射光进行了受光的像素。
23.在本发明的距离图像摄像装置中，上述距离图像处理部为，作为上述第一距离以及上述第二距离的范围，应用与上述光脉冲的照射时间、以及在一次分配处理中向上述电荷蓄积部分别蓄积电荷的蓄积时间相应的范围。
24.在本发明的距离图像摄像装置中，在上述像素中设置有第一电荷蓄积部、第二电荷蓄积部、第三电荷蓄积部以及第四电荷蓄积部。上述距离图像处理部为，将上述像素驱动电路控制为，仅与外部光成分对应的电荷被向上述第一电荷蓄积部蓄积，与由处于第一距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第二电荷蓄积部以及上述第三电荷蓄积部依次分配并蓄积，与由处于比上述第一距离大的第二距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第三电荷蓄积部以及上述第四电荷蓄积
部依次分配并蓄积。
25.在本发明的距离图像摄像装置中，在上述像素中设置有第一电荷蓄积部、第二电荷蓄积部、第三电荷蓄积部以及第四电荷蓄积部。上述距离图像处理部将上述像素驱动电路控制为，与由处于第一距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第一电荷蓄积部以及上述第二电荷蓄积部依次分配并蓄积，与由处于比上述第一距离大的第二距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第二电荷蓄积部以及上述第三电荷蓄积部依次分配并蓄积，仅与外部光成分对应的电荷被向上述第四电荷蓄积部蓄积。
26.在本发明的距离图像摄像装置中，在上述像素中设置有第一电荷蓄积部、第二电荷蓄积部、第三电荷蓄积部以及第四电荷蓄积部。上述距离图像处理部将上述像素驱动电路控制为，与由处于第一距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第一电荷蓄积部以及上述第二电荷蓄积部依次分配并蓄积，与由处于比上述第一距离大的第二距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第二电荷蓄积部以及上述第三电荷蓄积部依次分配并蓄积，与由处于比上述第二距离大的第三距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第三电荷蓄积部以及上述第四电荷蓄积部依次分配并蓄积。
27.在本发明的距离图像摄像装置中，上述距离图像处理部为，基于上述电荷蓄积部各自的曝光时间对上述电荷蓄积部分别蓄积的电荷量进行校正，使用校正后的上述第一电荷蓄积部蓄积的电荷量、以及校正后的上述第四电荷蓄积部的电荷量，判定上述像素是否是对由处于上述第一距离的上述被摄体反射的上述光脉冲的反射光进行了受光的像素。
28.在本发明的距离图像摄像装置中，上述距离图像处理部为，作为上述第一距离以及上述第二距离的范围，应用与上述光脉冲的照射时间、以及在一次分配处理中向上述电荷蓄积部分别蓄积电荷的蓄积时间相应的范围。
29.在本发明的距离图像摄像装置中，上述距离图像处理部进行控制，使得1帧期间内的上述电荷蓄积部各自的曝光时间相等，且在1帧期间内执行的多次分配处理中向上述电荷蓄积部分别蓄积电荷的蓄积定时成为不同的定时。
30.在本发明的距离图像摄像装置中，在上述像素中设置有第一电荷蓄积部、第二电荷蓄积部以及第三电荷蓄积部。上述距离图像处理部为，在1帧期间内，分别将上述蓄积定时为第一定时的第一处理执行第一次数、将上述蓄积定时为第二定时的第二处理执行第二次数。上述距离图像处理部为，在上述第一处理中控制为，与由处于第一距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第一电荷蓄积部以及上述第二电荷蓄积部依次分配并蓄积，与由处于比上述第一距离大的第二距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第二电荷蓄积部以及上述第三电荷蓄积部依次分配并蓄积。上述距离图像处理部为，在上述第二处理中控制为，使上述第二电荷蓄积部以及上述第三电荷蓄积部蓄积电荷的定时为与上述第一处理相同的定时，与由处于比上述第二距离大的第三距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第三电荷蓄积部以及上述第一电荷蓄积部依次分配并蓄积。
31.在本发明的距离图像摄像装置中，在上述像素中设置有第一电荷蓄积部、第二电荷蓄积部、第三电荷蓄积部以及第四电荷蓄积部。上述距离图像处理部为，在1帧期间内，分
别将上述蓄积定时为第一定时的第一处理执行第一次数、将上述蓄积定时为第二定时的第二处理执行第二次数。上述距离图像处理部为，在上述第一处理中控制为，与由处于第一距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第一电荷蓄积部以及上述第二电荷蓄积部依次分配并蓄积，与由处于比上述第一距离大的第二距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第二电荷蓄积部以及上述第三电荷蓄积部依次分配并蓄积，与由处于比上述第二距离大的第三距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第三电荷蓄积部以及上述第四电荷蓄积部依次分配并蓄积。上述距离图像处理部为，在上述第二处理中控制为，使上述第二电荷蓄积部、上述第三电荷蓄积部以及上述第四电荷蓄积部蓄积电荷的定时为与上述第一处理相同的定时，与由处于比上述第三距离大的第四距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第四电荷蓄积部以及上述第一电荷蓄积部依次分配并蓄积。
32.在本发明的距离图像摄像装置中，上述距离图像处理部为，将上述第一次数决定为，与由处于上述第一距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被蓄积得比预先设定的阈值多，上述阈值是根据在电荷蓄积部中允许的蓄积电荷量的上限而决定的值。
33.在本发明的距离图像摄像装置中，上述距离图像处理部为，在1帧期间内，随机或者伪随机地执行上述第一处理以及上述第二处理。
34.在本发明的距离图像摄像装置中，上述距离图像处理部为，当上述第一处理中的上述第一电荷蓄积部是仅蓄积与外部光成分对应的电荷的上述电荷蓄积部即外部光电荷蓄积部、且上述第二处理中的上述第一电荷蓄积部是被分配并蓄积与由上述被摄体反射的上述光脉冲的反射光对应的电荷的反射光电荷蓄积部的情况下，或者，当上述第一处理中的上述第一电荷蓄积部是上述反射光电荷蓄积部、且上述第二处理中的上述第一电荷蓄积部是上述外部光电荷蓄积部的情况下，对上述第一电荷蓄积部蓄积的电荷量进行校正，使用校正后的电荷量来运算到上述被摄体的距离。
35.本发明的距离图像摄像方法，是由距离图像摄像装置进行的距离图像摄像方法，上述距离图像摄像装置具备：光源部，向测定对象的空间即测定空间照射光脉冲；以及受光部，其具有：像素，具备产生与所入射的光相应的电荷的光电转换元件以及蓄积上述电荷的三个以上的电荷蓄积部；以及像素驱动电路，在与上述光脉冲的照射同步的规定的定时，向上述像素中的上述电荷蓄积部分别分配上述电荷并使其蓄积。在上述距离图像摄像方法中，由距离图像处理部，基于上述电荷蓄积部分别蓄积的电荷量，运算到存在于上述测定空间的被摄体的距离，在向两个上述电荷蓄积部分配与由上述被摄体反射的上述光脉冲的反射光相应的电荷并使其蓄积的情况下，根据上述反射光的强度进行控制，使得向上述两个上述电荷蓄积部蓄积与上述反射光相应的电荷的反射光蓄积时间在1帧期间内成为相互不同的时间。
36.发明的效果
37.根据本发明，能够根据像素所受光的反射光的强度，使像素所具备的多个电荷蓄积部分别在相互不同的时间蓄积由反射光产生的电荷。
附图说明
38.图1是表示第一实施方式的距离图像摄像装置的概略构成的框图。
39.图2是表示第一实施方式的距离图像传感器的概略构成的框图。
40.图3是表示第一实施方式的像素的构成的一个例子的电路图。
41.图4a是表示以往的驱动像素的定时的时序图。
42.图4b是表示以往的驱动像素的定时的时序图。
43.图5a是表示第一实施方式的测定模式m1中的驱动像素的定时的时序图。
44.图5b是表示第一实施方式的测定模式m1中的驱动像素的定时的时序图。
45.图6是表示第一实施方式的测定模式m1中的距离图像摄像装置进行的处理的流程的流程图。
46.图7是表示第一实施方式的测定模式m2中的驱动像素的定时的时序图。
47.图8是表示第一实施方式的测定模式m2中的距离图像摄像装置进行的处理的流程的流程图。
48.图9a是表示第二实施方式的测定模式m3中的驱动像素的定时的时序图。
49.图9b是表示第二实施方式的测定模式m3中的驱动像素的定时的时序图。
50.图10是表示第二实施方式的测定模式m3中的距离图像摄像装置进行的处理的流程的流程图。
51.图11a是表示第二实施方式的测定模式m4中的驱动像素的定时的时序图。
52.图11b是表示第二实施方式的测定模式m4中的驱动像素的定时的时序图。
53.图12是表示第二实施方式的测定模式m4中的距离图像摄像装置进行的处理的流程的流程图。
54.图13a是表示第三实施方式的测定模式m5中的驱动像素的定时的时序图。
55.图13b是表示第三实施方式的测定模式m5中的驱动像素的定时的时序图。
56.图13c是表示第三实施方式的测定模式m5中的驱动像素的定时的时序图。
57.图14是表示第三实施方式的测定模式m5中的距离图像摄像装置进行的处理的流程的流程图。
58.图15是表示实施方式的变形例中的驱动像素的定时的时序图。
59.图16是表示实施方式的变形例中的驱动像素的定时的时序图。
60.图17是表示第四实施方式中具备三个电荷蓄积部的构成中的驱动像素的定时的时序图。
61.图18a是表示第四实施方式中具备四个电荷蓄积部的构成中的驱动像素的定时的时序图。
62.图18b是表示第四实施方式中具备四个电荷蓄积部的构成中的驱动像素的定时的时序图。
63.图19是说明实施方式的效果的图。
具体实施方式
64.以下，参照附图对实施方式的距离图像摄像装置进行说明。
65.＜第一实施方式＞
66.首先，对第一实施方式进行说明。图1是表示本发明的第一实施方式的距离图像摄像装置的概略构成的框图。图1所示的构成的距离图像摄像装置1具备光源部2、受光部3、以及距离图像处理部4。图1中还一并示出在距离图像摄像装置1中测定距离的对象物即被摄体ob。
67.光源部2根据来自距离图像处理部4的控制，向在距离图像摄像装置1中测定距离的对象的被摄体ob所存在的测定对象的空间照射光脉冲po。光源部2例如是垂直腔面发射激光器(vcsel：vertical cavity surface emitting laser)等面发光型的半导体激光模块。光源部2具备光源装置21以及扩散板22。
68.光源装置21是发出成为向被摄体ob照射的光脉冲po的近红外波段(例如波长为850nm～940nm的波段)的激光的光源。光源装置21例如是半导体激光发光元件。光源装置21根据来自定时控制部41的控制，发出脉冲状的激光。
69.扩散板22是将光源装置21发出的近红外波段的激光扩散为向被摄体ob照射的面的面积的光学部件。扩散板22扩散后的脉冲状的激光被作为光脉冲po而射出，向被摄体ob照射。
70.受光部3对由成为在距离图像摄像装置1中测定距离的对象的被摄体ob反射后的光脉冲po的反射光rl进行受光，并输出与所受光的反射光rl相应的像素信号。受光部3具备透镜31以及距离图像传感器32。
71.透镜31是将所入射的反射光rl导向距离图像传感器32的光学透镜。透镜31将所入射的反射光rl向距离图像传感器32侧射出，使距离图像传感器32的受光区域所具备的像素受光(入射)。
72.距离图像传感器32是用于距离图像摄像装置1的摄像元件。距离图像传感器32在二维的受光区域中具备多个像素。在距离图像传感器32的各个像素中设置有一个光电转换元件、与该一个光电转换元件对应的多个电荷蓄积部、以及向各个电荷蓄积部分配电荷的构成要素。即，像素是向多个电荷蓄积部分配电荷并使其蓄积的分配构成的摄像元件。
73.距离图像传感器32根据来自定时控制部41的控制，将光电转换元件产生的电荷向各个电荷蓄积部分配。另外，距离图像传感器32输出与电荷蓄积部被分配的电荷量相应的像素信号。在距离图像传感器32中多个像素配置为二维矩阵状，并输出各个像素所对应的1帧量的像素信号。
74.距离图像处理部4控制距离图像摄像装置1，运算到被摄体ob的距离。距离图像处理部4具备定时控制部41、距离运算部42以及测定控制部43。
75.定时控制部41根据测定控制部43的控制，对输出测定所需要的各种控制信号的定时进行控制。此处的各种控制信号例如是对光脉冲po的照射进行控制的信号、将反射光rl向多个电荷蓄积部分配的信号、对每1帧的分配次数进行控制的信号等。分配次数是指重复向电荷蓄积部cs(参照图3)分配电荷的处理的次数。该电分配次数与在1次分配电荷的处理中向各电荷蓄积部蓄积电荷的时间(后述的蓄积时间ta)之积为曝光时间。
76.距离运算部42基于从距离图像传感器32输出的像素信号，输出对到被摄体ob的距离进行运算而得的距离信息。距离运算部42基于多个电荷蓄积部蓄积的电荷量，计算照射光脉冲po起至对反射光rl进行受光为止的延迟时间td(参照图4a)。距离运算部42根据计算出的延迟时间td，运算到被摄体ob的距离。
77.距离运算部42基于各像素中的多个电荷蓄积部蓄积的电荷量，对各像素中的到被摄体ob的距离区分(例如，近距离、远距离等区分)进行分类。然后，距离运算部42根据分类结果从多个电荷蓄积部选择计算延迟时间td的电荷蓄积部。距离运算部42使用与所选择的电荷蓄积部相应的运算式来计算到被摄体ob的距离。关于距离运算部42按照每个像素对距离区分进行分类的方法、选择电荷蓄积部的方法以及计算距离的方法，将在之后详细说明。
78.测定控制部43对定时控制部41进行控制。例如，测定控制部431对1帧的分配次数以及蓄积时间ta(参照图4)进行设定，并控制定时控制部41以便按照所设定的内容进行摄像。
79.在本实施方式中，测定控制部43对设置于同一像素的多个电荷蓄积部，以使各自的曝光时间成为相互不同的时间(长度)的方式进行设定。即，测定控制部43使设置于同一像素的多个电荷蓄积部各自的分配次数与蓄积时间ta之积成为不同值。测定控制部43例如通过对多个电荷蓄积部应用同一蓄积时间ta、但应用相互不同的分配次数，由此将各自的曝光时间设定为相互不同的时间(长度)。
80.以下，以如下情况为例进行说明：测定控制部43在1帧内设置多个测定步骤，在各个测定步骤中设定为，各电荷蓄积部的分配次数成为不同的次数。关于测定步骤的详细情况将在之后详细说明。
81.然而，并不限定于该构成。测定控制部43只要将定时控制部41控制为，至少对于设置于同一像素的多个电荷蓄积部，使各自的曝光时间成为相互不同的时间即可。例如，测定控制部43也可以是，对于各电荷蓄积部，使分配次数相同但使蓄积时间ta成为不同的时间，由此使各电荷蓄积部的曝光时间成为不同的时间。另外，测定控制部43也可以不在1帧内设置多个测定步骤，而将各电荷蓄积部的分配次数或者/以及蓄积时间ta设为不同的值，由此使各电荷蓄积部的曝光时间成为不同的时间。
82.根据这种构成，在距离图像摄像装置1中，光源部2向被摄体ob照射的近红外波段的光脉冲po由被摄体ob反射后的反射光rl由受光部3受光，距离图像处理部4输出对与被摄体ob之间的距离进行了测定而得的距离信息。
83.另外，在图1中示出了在内部具备距离图像处理部4的构成的距离图像摄像装置1，但距离图像处理部4也可以是设置在距离图像摄像装置1外部的构成要素。
84.接下来，说明在距离图像摄像装置1中被用作为摄像元件的距离图像传感器32的构成。图2是表示本发明的第一实施方式的距离图像摄像装置1所使用的摄像元件(距离图像传感器32)的概略构成的框图。
85.如图2所示那样，距离图像传感器32例如具备配置有多个像素321的受光区域320、控制电路322、具有分配动作的垂直扫描电路323、水平扫描电路324、以及像素信号处理电路325。
86.受光区域320是配置有多个像素321的区域，在图2中示出以8行8列配置为二维矩阵状的例子。像素321蓄积与所受光的光量相当的电荷。控制电路322总括控制距离图像传感器32。控制电路322例如根据来自距离图像处理部4的定时控制部41的指示，对距离图像传感器32的构成要素的动作进行控制。另外，也可以是定时控制部41直接进行距离图像传感器32所具备的构成要素的控制的构成，在该情况下还能够省略控制电路322。
87.垂直扫描电路323是根据来自控制电路322的控制，按照每行对配置于受光区域
320的像素321进行控制的电路。垂直扫描电路323使与像素321的电荷蓄积部cs分别蓄积的电荷量相应的电压信号向像素信号处理电路325输出。在该情况下，垂直扫描电路323将由光电转换元件转换后的电荷向像素321的电荷蓄积部分别分配。即，垂直扫描电路323是“像素驱动电路”的一个例子。
88.像素信号处理电路325是根据来自控制电路322的控制，对于从各个列的像素321向对应的垂直信号线输出的电压信号、进行预先确定的信号处理(例如，噪声抑制处理、a/d转换处理等)的电路。
89.水平扫描电路324是根据来自控制电路322的控制，将从像素信号处理电路325输出的信号向水平信号线依次输出的电路。由此，与蓄积了1帧量的电荷量相当的像素信号经由水平信号线向距离图像处理部4依次输出。
90.以下，设为像素信号处理电路325进行a/d转换处理、像素信号为数字信号而进行说明。
91.在此，对距离图像传感器32所具备的受光区域320内所配置的像素321的构成进行说明。图3是表示第一实施方式的距离图像传感器32的受光区域320内所配置的像素321的构成的一个例子的电路图。图3示出受光区域320内所配置的多个像素321中的一个像素321的构成的一个例子。像素321是具备三个像素信号读出部的构成的一个例子。
92.像素321具备一个光电转换元件pd、漏极栅极晶体管gd、以及从对应的输出端子o输出电压信号的三个像素信号读出部ru。像素信号读出部ru分别具备读出栅极晶体管g、浮动扩散区fd、电荷蓄积容量c、复位栅极晶体管rt、源极跟随栅极晶体管sf、以及选择栅极晶体管sl。在各个像素信号读出部ru中，由浮动扩散区fd与电荷蓄积容量c构成电荷蓄积部cs。
93.另外，在图3中，通过在三个像素信号读出部ru的符号“ru”之后附加“1”、“2”或者“3”的数字，由此对各个像素信号读出部ru进行区别。另外，同样，对于三个像素信号读出部ru所具备的各个构成要素，也通过在符号之后示出表示各个像素信号读出部ru的数字，由此将各个构成要素所对应的像素信号读出部ru区别地进行表示。
94.在图3所示的像素321中，从输出端子o1输出电压信号的像素信号读出部ru1具备读出栅极晶体管g1、浮动扩散区fd1、电荷蓄积容量c1、复位栅极晶体管rt1、源极跟随栅极晶体管sf1、以及选择栅极晶体管sl1。在像素信号读出部ru1中，由浮动扩散区fd1与电荷蓄积容量c1构成电荷蓄积部cs1。像素信号读出部ru2以及像素信号读出部ru3也是同样的构成。电荷蓄积部cs1是“第一电荷蓄积部”的一个例子。电荷蓄积部cs2是“第二电荷蓄积部”的一个例子。电荷蓄积部cs3是“第三电荷蓄积部”的一个例子。
95.光电转换元件pd是对所入射的光进行光电转换而产生电荷，并蓄积所产生的电荷的埋入型的光电二极管。光电转换元件pd的构造可以是任意的。光电转换元件pd例如可以是将p型半导体与n型半导体接合而成的构造的pn光电二极管，也可以是在p型半导体与n型半导体之间夹着i型半导体的构造的pin光电二极管。另外，光电转换元件pd并不限定于光电二极管，例如也可以是光栅方式的光电转换元件。
96.在像素321中，将光电转换元件pd对所入射的光进行光电转换而产生的电荷向三个电荷蓄积部cs分别进行分配，将与所分配的电荷的电荷量相应的各个电压信号向像素信号处理电路325输出。
97.距离图像传感器32中所配置的像素的构成，并不限定于图3所示那样的具备三个像素信号读出部ru的构成，只要是具备多个像素信号读出部ru的构成的像素即可。即，距离图像传感器32中所配置的像素所具备的像素信号读出部ru(电荷蓄积部cs)的数量也可以为两个以上，也可以为四个以上。
98.另外，在图3所示的构成的像素321中，示出了电荷蓄积部cs由浮动扩散区fd与电荷蓄积容量c构成的一个例子。但是，电荷蓄积部cs至少由浮动扩散区fd构成即可，也可以是像素321不具备电荷蓄积容量c的构成。
99.另外，在图3所示的构成的像素321中，示出了具备漏极栅极晶体管gd的构成的一个例子，但在不必废弃光电转换元件pd所蓄积(残留)的电荷的情况下，也可以是不具备漏极栅极晶体管gd的构成。
100.接下来，使用图4a、图4b对距离图像摄像装置1中的以往的像素321的驱动定时进行说明。图4a、图4b是表示以往的驱动像素321的定时的时序图。图4a表示对来自近距离的反射光进行受光的像素(近距离受光像素)的时序图。图4b表示对来自远距离的反射光进行受光的像素(远距离受光像素)的时序图。在此，近距离是“第一距离”的一个例子。远距离是“第二距离”的一个例子。
101.在图4a、图4b中，将照射光脉冲po的定时用“l”的项目名表示，将反射光被受光的定时用“r”的项目名表示，将驱动信号tx1的定时用“g1”的项目名表示，将驱动信号tx2的定时用“g2”的项目名表示，将驱动信号tx3的定时用“g3”的项目名表示，将驱动信号rstd的定时用“gd”的项目名表示。另外，驱动信号tx1是使读出栅极晶体管g1驱动的信号。驱动信号tx2、tx3也同样。
102.如图4a、图4b所示那样设为，在照射时间to照射光脉冲po，在延迟了延迟时间td之后由距离图像传感器32受光到反射光rl。垂直扫描电路323与光脉冲po的照射同步，使电荷蓄积部cs1、cs2、以及cs3依次蓄积电荷。在图4a、图4b中，在一次分配处理中，将照射光脉冲po而使电荷蓄积部cs依次蓄积电荷为止的时间表示为“单位蓄积时间”。
103.首先，使用图4a说明对来自处于近距离的物体的反射光rl进行受光的情况。垂直扫描电路323与照射光脉冲po的定时同步，使漏极栅极晶体管gd成为截止状态，并且使读出栅极晶体管g1成为导通状态。垂直扫描电路323在从使读出栅极晶体管g1成为导通状态起经过蓄积时间ta之后，使读出栅极晶体管g1成为截止状态。由此，在读出栅极晶体管g1被控制为导通状态的期间由光电转换元件pd进行光电转换而得的电荷，经由读出栅极晶体管g1蓄积于电荷蓄积部cs1。
104.接下来，垂直扫描电路323在使读出栅极晶体管g1成为截止状态的定时，使读出栅极晶体管g2以蓄积时间ta成为导通状态。由此，在读出栅极晶体管g2被控制为导通状态的期间由光电转换元件pd进行光电转换而得的电荷，经由读出栅极晶体管g2蓄积于电荷蓄积部cs2。
105.接下来，垂直扫描电路323在使向电荷蓄积部cs2的电荷蓄积结束的定时，使读出栅极晶体管g3成为导通状态，并在经过了蓄积时间ta之后使读出栅极晶体管g3成为截止状态。由此，在读出栅极晶体管g3被控制为导通状态的期间由光电转换元件pd进行光电转换而得的电荷，经由读出栅极晶体管g3蓄积于电荷蓄积部cs3。
106.接下来，垂直扫描电路323在使向电荷蓄积部cs3的电荷蓄积结束的定时，使漏极
栅极晶体管gd成为导通状态而进行电荷的排出。由此，由光电转换元件pd进行光电转换而得的电荷经由漏极栅极晶体管gd而被废弃。
107.垂直扫描电路323遍及1帧将上述那样的驱动反复进行规定的分配次数量。然后，垂直扫描电路323生成与向各个电荷蓄积部cs分配的电荷量相应的电压信号。具体地，垂直扫描电路323通过使选择栅极晶体管sl1在规定时间成为导通状态，由此从输出端子o1输出与经由像素信号读出部ru1蓄积于电荷蓄积部cs1的电荷量对应的电压信号。同样，垂直扫描电路323依次使选择栅极晶体管sl2、sl3成为导通状态，由此从输出端子o2、o3输出与电荷蓄积部cs2、cs3所蓄积的电荷量对应的电压信号。然后，向距离运算部42输出与经由像素信号处理电路325以及水平扫描电路324向电荷蓄积部cs分别蓄积的1帧量的电荷量相当的电信号。
108.另外，在上述中，以光源部2在读出栅极晶体管g1成为导通状态的定时照射光脉冲po的情况为例进行了说明。然而，并不限定于此。光源部2只要至少在来自处于近距离的物体的反射光rl跨越电荷蓄积部cs1、cs2而被受光的定时照射光脉冲po即可。例如，光源部2也可以在读出栅极晶体管g1成为导通状态紧前的定时照射。另外，在上述中，以照射光脉冲po的照射时间to为与蓄积时间ta相同长度的情况为例进行了说明。然而，并不限定于此。照射时间to与蓄积时间ta也可以是不同的时间间隔。
109.在图4a所示那样的近距离受光像素中，根据照射光脉冲po的定时与向电荷蓄积部cs分别蓄积电荷的定时之间的关系，向电荷蓄积部cs1以及cs2分配并保持与反射光rl以及外部光成分相当的电荷量。另外，在电荷蓄积部cs3中保持有与背景光等外部光成分相当的电荷量。向电荷蓄积部cs1以及cs2分配的电荷量的配比(分配比例)，成为与光脉冲po由被摄体ob反射而入射到距离图像摄像装置1为止的延迟时间td相应的比例。
110.距离运算部42利用该原理，在以往的近距离受光像素中根据以下的(1)式来计算延迟时间td。
111.td＝to
×
(q2－q3)/(q1+q2－2
×
q3)
…
(1)
112.在此，to表示照射光脉冲po的期间，q1表示电荷蓄积部cs1所蓄积的电荷量，q2表示电荷蓄积部cs2所蓄积的电荷量，q3表示电荷蓄积部cs3所蓄积的电荷量。另外，在(1)式中的前提为，电荷蓄积部cs1以及cs2蓄积的电荷量中的与外部光成分相当的电荷量与电荷蓄积部cs3蓄积的电荷量为同量。
113.距离运算部42在近距离受光像素中，通过对根据式(1)求出的延迟时间td乘以光速(速度)，来计算到被摄体ob的往返距离。然后，距离运算部42通过使在上述计算出的往返距离成为1/2，求出到被摄体ob的距离。
114.接下来，使用图4b说明对来自处于远距离的物体的反射光rl进行受光的情况。垂直扫描电路323使光脉冲po照射的定时、使读出栅极晶体管g1～g3以及漏极栅极晶体管gd成为导通状态的定时等与图4a相同，因此省略其说明。
115.在如图4b所示那样的远距离受光像素中，与图4a的近距离受光像素相比较延迟时间td较大。因此，在电荷蓄积部cs1保持与外部光成分相当的电荷量，向电荷蓄积部cs2以及cs3分配与反射光rl以及外部光成分相当的电荷量而保持。向电荷蓄积部cs2以及cs3分配的电荷量的配比(分配比例)成为与延迟时间td相应的比例。
116.距离运算部42在以往的远距离受光像素中通过以下的(2)式来计算延迟时间td。
117.td＝to
×
(q3－q1)/(q2+q3－2
×
q1)
…
(2)
118.在此，to表示照射光脉冲po的期间，q1表示电荷蓄积部cs1蓄积的电荷量，q2表示电荷蓄积部cs2蓄积的电荷量，q3表示电荷蓄积部cs3蓄积的电荷量。另外，在(2)式中的前提为，电荷蓄积部cs2以及cs3蓄积的电荷量中的与外部光成分相当的电荷量与电荷蓄积部cs1蓄积的电荷量为同量。
119.距离运算部42在远距离受光像素中将通过(2)式求出的延迟时间td乘以光速(速度)，由此计算出到被摄体ob的往返距离。然后，距离运算部42使上述计算出的往返距离成为1/2，由此求出到被摄体ob的距离。
120.在此，在图4b所示那样的远距离受光像素的情况下，与图4a那样的近距离受光像素的情况相比较，反射光rl的光量降低。反射光rl的光量降低的情况成为所测定的距离的精度恶化的因素。因此，在对到处于远距离的物体的距离进行测定的情况下，可以考虑通过使分配次数增加等而使曝光时间增加，使测定的精度提高。
121.但是，一般来说，在距离图像摄像装置1中，在所有像素中在同一定时进行蓄积的动作。因此，难以仅使特定像素(在此为远距离受光像素)在其他定时驱动而使曝光时间增加。即，近距离受光像素、远距离受光像素被设定为相同的曝光时间。
122.因此，在测定范围内混合存在处于近距离的物体与处于远距离的物体的情况下，在以使近距离受光像素中的电荷蓄积部cs1不饱和的分配次数蓄积了电荷的情况下，到处于远距离的物体的距离精度恶化。另一方面，在为了提高到处于远距离的物体的距离精度而使远距离受光像素中的电荷蓄积部cs2、cs3的曝光时间增加的情况下，近距离受光像素中的电荷蓄积部cs1饱和，无法正确地运算到处于近距离的物体的距离。即，由近距离受光像素的电荷蓄积部cs1所受光的反射光rl的强度，决定所有像素中的曝光时间的上限。因此，在混合存在处于近距离的物体与处于远距离的物体的情况下，难以高精度地测定处于远距离的物体。
123.作为其对策，在本实施方式中，对设置于同一像素的多个(在本实施方式中为三个)电荷蓄积部cs各自的分配次数进行控制，使得上述多个电荷蓄积部cs分别成为不同的曝光时间。关于距离运算部42对电荷蓄积部cs各自的分配次数进行控制的方法，在以下详细地说明。
124.(测定模式m1)
125.首先，使用图5a、图5b对测定模式m1进行说明。图5a、图5b是表示第一实施方式中的驱动像素321的定时的第一例的时序图。图5a表示对来自近距离的反射光进行受光的像素(近距离受光像素)的时序图。图5b表示对来自远距离的反射光进行受光的像素(远距离受光像素)的时序图。图5a、图5b中的“l”、“r”、“g1”等项目名与图4a相同。
126.如图5a、图5b所示那样，在本实施方式的测定模式m1中，在1帧中设置有两个测定步骤(1ststep以及2ndstep)。在1ststep中，进行应用以往的驱动方法的电荷的蓄积。以往的驱动定时是指，例如如图4a、图4b的时序图所示那样，与光脉冲po的照射定时同步地，读出栅极晶体管g1～g3依次使电荷进行蓄积的方法。
127.然后，在2ndstep中控制为，不向电荷蓄积部cs1蓄积电荷，而向电荷蓄积部cs2以及cs3蓄积电荷。具体地，如图5a所示那样，垂直扫描电路323在2ndstep中不将读出栅极晶体管g1控制为导通状态。另一方面，垂直扫描电路323在与1ststep相同的定时使读出栅极
晶体管g2、g3成为导通状态。
128.即，垂直扫描电路323在从光脉冲po的照射延迟了蓄积时间ta的定时，使漏极栅极晶体管gd成为截止状态，并且使读出栅极晶体管g2以蓄积时间ta成为导通状态。另外，垂直扫描电路323在使读出栅极晶体管g2成为截止状态的定时，使读出栅极晶体管g3以蓄积时间ta成为导通状态。垂直扫描电路323在使读出栅极晶体管g3成为截止状态的定时，使漏极栅极晶体管gd成为导通状态而进行电荷的排出。在2ndstep中，漏极栅极晶体管gd成为截止状态的时间是使电荷蓄积部cs2以及cs3蓄积电荷的时间(2
×
ta)。
129.通过设为这种构成，在图5a所示那样的近距离受光像素的情况下，能够向电荷蓄积部cs1、cs2分配并蓄积电荷，在图5b所示那样的远距离受光像素的情况下，能够向电荷蓄积部cs2、cs3分配并蓄积电荷。并且，在本实施方式中，能够使设置于同一像素的电荷蓄积部cs1、cs2以及cs3的曝光时间成为不同时间(长度)。由此，能够使近距离受光像素的电荷蓄积部cs1在不饱和的范围蓄积电荷，并且能够使远距离受光像素的电荷蓄积部cs2以及cs3蓄积更多电荷。因此，即使在测定范围内混合存在处于近距离的物体与处于远距离的物体的情况下，也能够高精度地测定处于远距离的物体。
130.另外，本实施方式的测定模式m1中的1ststep以及2ndstep的分配次数能够根据状况而任意地设定。例如，1ststep的分配次数以近距离受光像素的电荷蓄积部cs1不饱和的范围为上限而被设定。另外，2ndstep的分配次数被设定为，在像素321(包括近距离受光像素以及远距离受光像素)的电荷蓄积部cs2、cs3不饱和的范围内、且远距离受光像素的电荷蓄积部cs2、cs3蓄积的电荷量成为大到能够高精度地运算距离的程度的值。
131.在此，在本实施方式中，在按照图5a的时序图使像素321驱动的情况下，距离运算部42在对到处于近距离的物体的距离进行运算的过程中，无法应用(1)式。其原因在于，在电荷蓄积部cs1以及cs2中，在1帧中对反射光rl进行受光的时间(曝光时间)不同，在电荷蓄积部cs1以及cs3中，在1帧中对外部光进行受光的时间(曝光时间)不同。因此，距离运算部42进行校正，以使电荷蓄积部cs1与cs2的曝光时间以及电荷蓄积部cs1与cs3的曝光时间成为相等的曝光时间。
132.例如，距离运算部42通过在测定模式m1的近距离受光像素中应用以下的(3)式以及(4)式，由此计算延迟时间td。
133.q1#＝q1
×
{(x+y)/x}
…
(3)
134.td＝to
×
(q2－q3)/(q1#+q2－2
×
q2)
…
(4)
135.在此，(3)式中的q1#是电荷蓄积部cs1蓄积(校正后)的电荷量。x是1ststep中的电荷蓄积部cs1的曝光时间。y是2ndstep中的电荷蓄积部cs2、cs3的曝光时间。q1是电荷蓄积部cs1蓄积的电荷量。另外，(4)式中的to表示照射光脉冲po的期间，q1#表示电荷蓄积部cs1蓄积(校正后)的电荷量，q2表示电荷蓄积部cs2蓄积的电荷量，q3表示电荷蓄积部cs3蓄积的电荷量。另外，在(4)式中的前提为，电荷蓄积部cs1以及cs2蓄积的电荷量中的与外部光成分相当的电荷量与电荷蓄积部cs3蓄积的电荷量为同量。
136.距离运算部42为，在本实施方式的近距离受光像素中，将通过(4)式求出的延迟时间td乘以光速(速度)，由此计算出到被摄体ob的往返距离。然后，距离运算部42使上述计算出的往返距离成为1/2，由此求出到被摄体ob的距离。
137.应用同样的构思，距离运算部42在远距离受光像素中应用以下的(5)式以及(6)
式，由此计算出延迟时间td。
138.q1#＝q1
×
{(x+y)/x}
…
(5)
139.td＝to
×
(q3－q1#)/(q2+q3－2
×
q1#)
…
(6)
140.在此，在(5)式中，x是1ststep中的电荷蓄积部cs1的曝光时间。y是2ndstep中的电荷蓄积部cs2、cs3的曝光时间。q1是电荷蓄积部cs1蓄积的电荷量。另外，(6)式中的to表示照射光脉冲po的期间，q1#表示校正后的电荷量，q2表示电荷蓄积部cs2蓄积的电荷量，q3表示电荷蓄积部cs3蓄积的电荷量。另外，在(6)式中的前提为，电荷蓄积部cs1以及cs2蓄积的电荷量中的与外部光成分相当的电荷量与电荷蓄积部cs3蓄积的电荷量为同量。
141.距离运算部42为，在本实施方式的远距离受光像素中，将通过(6)式求出的延迟时间td乘以光速(速度)，由此计算出到被摄体ob的往返距离。然后，距离运算部42使上述计算出的往返距离成为1/2，由此求出到被摄体ob的距离。
142.如此，在本实施方式中，在向两个电荷蓄积部cs分配并蓄积与反射光rl相应的电荷的情况下，根据反射光rl的强度进行控制，使得向这两个电荷蓄积部cs蓄积与反射光rl相应的电荷的时间(“反射光蓄积时间”的一个例子)在1帧期间内成为相互不同的时间(长度)。如上述那样，反射光rl的强度根据从距离图像摄像装置到对象物的距离、照射光脉冲本身的强度以及对象物的反射率而变化。在本实施方式中，例如关于反射光rl的强度，假设光脉冲po的强度以及对象物体的反射率为一定，着眼于反射光rl的强度根据对象物体的距离而变化的情况。具体地说，控制成，在对由存在于近距离的被摄体ob反射的反射光rl进行受光的情况下与并非如此的情况下，使蓄积与反射光rl相应的电荷的时间成为不同时间。
143.在图5a、图5b中，在图5a那样对由存在于近距离的被摄体ob反射的反射光rl进行受光的情况下，与图5b那样对由处于远距离的物体反射的反射光rl进行受光的情况相比较，反射光rl的强度较大。当控制成在图5a的情况下与图5b的情况下使蓄积与反射光rl相应的电荷的时间成为相同时间时，在图5a的情况下与反射光rl相应的电荷量会饱和，在图5b的情况下与反射光rl相应的电荷的蓄积量变少。由此，无论在哪种情况下距离精度都有可能降低。作为其对策，距离图像处理部4进行控制，使得在对强度较大的反射光rl进行了受光的情况下不使电荷蓄积部cs饱和，并且在对强度较小的反射光rl进行了受光的情况下使电荷蓄积部cs蓄积较多的电荷。即，距离图像处理部4进行控制，使得在1帧期间中，电荷蓄积部cs1的反射光蓄积时间小于电荷蓄积部cs2的反射光蓄积时间。由此，能够使对与强度更大的反射光rl相应的电荷进行蓄积的电荷蓄积部cs1不饱和、且使对与强度更小的反射光rl相应的电荷进行蓄积的其他电荷蓄积部cs(电荷蓄积部cs2、cs3)蓄积较多电荷。在此，图5a中的电荷蓄积部cs1以及cs2是“分配并蓄积与反射光rl相应的电荷的两个电荷蓄积部”的一个例子。
144.具体地，在图5a、图5b中，在1帧期间内设置有：使所有电荷蓄积部cs1～cs3都蓄积电荷的1ststep；以及使光脉冲po的照射与电荷蓄积部cs的蓄积的相对定时与1ststep相同，不使电荷蓄积部cs1蓄积电荷而使电荷蓄积部cs2以及cs3蓄积电荷的2ndstep。由此，距离图像处理部4进行控制，使得在在1帧期间内，电荷蓄积部cs1的反射光蓄积时间小于电荷蓄积部cs2的反射光蓄积时间。更具体地说，距离图像处理部4将电荷蓄积部cs1的反射光蓄积时间设为(x)，将电荷蓄积部cs2的反射光蓄积时间设为(x+y)。在此，x是1ststep中的电荷蓄积部cs1～cs3各自的曝光时间。y是2ndstep中的电荷蓄积部cs2以及cs3各自的曝光时
间。
145.距离运算部42在测定范围内混合存在处于近距离的物体与处于远距离的物体的情况下，根据像素来应用上述(4)式或者(6)式，由此能够提高处于远距离的物体的距离精度。但是，在距离运算部42中，预先不知道应该对像素321应用上述(4)式以及(6)式中的哪个。因此，距离运算部42在运算距离的过程中，将校正后的电荷量q1(即电荷量q1#)与电荷量q3进行比较，由此判定对像素321应用(4)式以及(6)式中的哪个式子。
146.如上述那样，在像素321为近距离受光像素的情况下，来自被摄体ob的反射光rl被向电荷蓄积部cs1以及cs2分配并受光，外部光成分由电荷蓄积部cs3受光。在该情况下，电荷量q1#成为大于电荷量q3的值。利用该性质，距离运算部42在电荷量q1#＞电荷量q3的情况下，判定为像素321是近距离受光像素，判定为在距离的运算中应用(4)式。
147.另一方面，在像素321为远距离受光像素的情况下，来自被摄体ob的反射光rl被向电荷蓄积部cs2以及cs3分配并受光，外部光成分由电荷蓄积部cs1受光。在该情况下，电荷量q1#成为小于电荷量q3的值。利用该性质，距离运算部42在电荷量q1#≤电荷量q3的情况下，判定为像素321是远距离受光像素，判定为在距离的运算中应用(6)式。
148.在此，使用图6来说明第一实施方式的测定模式m1中的距离图像摄像装置1进行的处理的流程。
149.(步骤s10)
150.距离图像摄像装置1首先通过测定控制部43预先设定1ststep的曝光时间x以及2ndstep的曝光时间y。
151.(步骤s11)
152.距离图像摄像装置1开始动作。距离图像摄像装置1例如以由操作者按下摄像按钮等的操作为触发，而开始用于距离测定的动作。
153.(步骤s12)
154.距离图像摄像装置1按照预先设定的曝光时间x、y使电荷蓄积部cs蓄积电荷。例如，距离图像摄像装置1通过进行依据1ststep的定时的动作，由此使电荷蓄积部cs1～cs3蓄积与曝光时间x对应的电荷。另外，距离图像摄像装置1通过进行依据2ndstep的定时的动作，由此使电荷蓄积部cs2、cs3进一步蓄积与曝光时间y对应的电荷。
155.(步骤s13)
156.距离图像摄像装置1在对设置于距离图像摄像装置1的多个像素321分别进行了1帧量的蓄积之后，选择运算距离的像素321。
157.(步骤s14)
158.距离图像摄像装置1判定所选择的像素321中的校正后的电荷量q1#是否大于电荷量q3。距离图像摄像装置1基于(3)式来计算校正后的电荷量q1#，并将计算出的电荷量q1#与电荷量q3进行比较，由此判定电荷量q1#是否大于电荷量q3。
159.(步骤s15)
160.距离图像摄像装置1在电荷量q1#大于电荷量q3的情况下，应用测定模式m1中的与近距离受光像素对应的运算式(上述(4)式)来运算测定距离。
161.(步骤s16)
162.距离图像摄像装置1转移到下一个像素321，返回步骤s13。距离图像摄像装置1例
如将计算出的距离与像素321的位置坐标建立对应地保持，并转移到对尚未运算距离的像素321的距离进行计算的处理。
163.(步骤s17)
164.另一方面，距离图像摄像装置1在步骤s14中电荷量q1#为电荷量q3以下的情况下，应用测定模式m1中的与远距离受光像素对应的运算式(上述(6)式)来运算测定距离。距离图像摄像装置1在运算后前进至步骤s16，转移到下一个像素321。
165.(测定模式m2)
166.接下来，使用图7对测定模式m2进行说明。图7是表示第一实施方式中的驱动像素321的定时的第二例的时序图。图7表示对来自远距离的反射光rl进行受光的像素(远距离受光像素)的时序图。图7中的“l”、“r”、“g1”等项目名与图4a相同。
167.如图7所示那样，在本实施方式中，1帧具备三个测定步骤(1ststep、2ndstep以及3rdstep)。测定控制部43在1ststep中进行应用了以往的定时的电荷的蓄积。测定控制部43在2ndstep中进行应用了与测定模式m1的2ndstep相同的定时的电荷的蓄积。
168.然后，测定控制部43在3rdstep中控制为，不使电荷蓄积部cs1以及cs2蓄积电荷，而仅使电荷蓄积部cs3蓄积电荷。具体地，如图5c所示那样，垂直扫描电路323在3rdstep中不将读出栅极晶体管g1以及g2控制为导通状态。另一方面，垂直扫描电路323使读出栅极晶体管g3在与1ststep相同的定时成为导通状态。
169.即，垂直扫描电路323在从光脉冲po的照射起延迟了(蓄积时间ta)
×
3的定时，使漏极栅极晶体管gd成为截止状态，并且使读出栅极晶体管g3成为导通状态。另外，垂直扫描电路323在使读出栅极晶体管g3成为导通状态起经过了蓄积时间ta之后，使读出栅极晶体管g3成为截止状态。由此，在读出栅极晶体管g3被控制为导通状态的期间由光电转换元件pd进行光电转换而得的电荷，经由读出栅极晶体管g3向电荷蓄积部cs3蓄积。
170.另外，垂直扫描电路323在向电荷蓄积部cs3的电荷蓄积结束的定时，使漏极栅极晶体管gd成为导通状态而进行电荷的排出。由此，由光电转换元件pd进行光电转换而得的电荷经由漏极栅极晶体管gd而被废弃。即，在3rdstep中，漏极栅极晶体管gd成为截止状态的时间为使电荷蓄积部cs3蓄积电荷的时间(1
×
ta)。
171.通过设为这种构成，在本实施方式中，能够使设置于同一像素的电荷蓄积部cs1～cs3各自的曝光时间成为不同的时间(长度)。由此，能够使电荷蓄积部cs1～cs3分别在不饱和的范围内蓄积更多的电荷。
172.例如，考虑在测定范围内混合存在处于近距离、中距离以及远距离的物体的情况。处于中距离的物体是指，处于在向电荷蓄积部cs1以及cs2分配并蓄积反射光rl时以比电荷蓄积部cs2大的比例蓄积电荷那样的距离的物体。在这种情况下，当在2ndstep中使分配次数增加时，有可能使中距离受光像素(对来自处于中距离的物体的反射光rl进行受光的像素321)的电荷蓄积部cs2饱和。在这种情况下，将2ndstep中的分配次数设为不使中距离受光像素的电荷蓄积部cs2饱和的范围，在3rdstep中能够使远距离受光像素的电荷蓄积部cs3蓄积更多的电荷。
173.在应用了测定模式m2的情况下，距离运算部42通过应用以下的(7)式～(10)式来计算延迟时间td。
174.q1##＝q1
×
{(x+y+z)/x}
…
(7)
175.q2#＝q2
×
{(x+y+z)/(x+y)}
…
(8)
176.td＝to
×
(q2#－q3)/(q1##+q2－2
×
q3)
…
(9)
177.td＝to
×
(q3－q1##)/(q2#+q3－2
×
q1##)
…
(10)
178.在此，(7)式中的q1##是电荷蓄积部cs1蓄积(校正后)的电荷量。x是1ststep中的电荷蓄积部cs1的曝光时间。y是2ndstep中的电荷蓄积部cs2、cs3的曝光时间。z是3rdstep中的电荷蓄积部cs3的曝光时间。q1是电荷蓄积部cs1蓄积的电荷量。另外，(8)式中的q2#是电荷蓄积部cs2蓄积(校正后)的电荷量。q2是电荷蓄积部cs2蓄积的电荷量。另外，(9)式的td是近距离受光像素中的延迟时间。另外，(10)式的td是远距离受光像素中的延迟时间。在(9)式以及(10)式中，to表示照射光脉冲po的期间，q1##表示电荷蓄积部cs1蓄积(校正后)的电荷量，q2表示电荷蓄积部cs2蓄积的电荷量，q3表示电荷蓄积部cs3蓄积的电荷量。另外，在(9)式中的前提为，电荷蓄积部cs1以及cs2蓄积的电荷量中的与外部光成分相当的电荷量与电荷蓄积部cs3蓄积的电荷量为同量。在(10)式中的前提为，电荷蓄积部cs2以及cs3蓄积的电荷量中的与外部光成分相当的电荷量与电荷蓄积部cs1蓄积的电荷量为同量。
179.如此，在本实施方式中，在向两个电荷蓄积部cs分配并蓄积与反射光rl相应的电荷的情况下，根据反射光rl的强度进行控制，使得向这两个电荷蓄积部cs蓄积与反射光rl相应的电荷的时间(“反射光蓄积时间”的一个例子)在1帧期间内成为相互不同的时间(长度)。在本实施方式中，例如假设光脉冲po的强度以及对象物体的反射率为一定，着眼于反射光rl的强度根据对象物体的距离而变化的情况。
180.如图7那样，在对由存在于中距离的被摄体ob反射的反射光rl进行受光的情况下，与对由处于远距离的物体反射的反射光rl进行受光的情况相比较，反射光rl的强度较大。当控制成在图7的情况下与对由处于远距离的物体反射的反射光rl进行受光的情况下使蓄积与反射光rl相应的电荷的时间成为相同时间时，在图7的情况下与反射光rl相应的电荷量饱和，在对由处于远距离的物体反射的反射光rl进行受光的情况下与反射光rl相应的电荷的蓄积量变少。由此，无论在哪种情况下，距离精度都有可能降低。作为其对策，距离图像处理部4进行控制，使得在对强度较大的反射光rl进行了受光的情况下不使电荷蓄积部cs饱和，并且在对强度较小的反射光rl进行了受光的情况下蓄积较多电荷。即，距离图像处理部4进行控制，使得在1帧期间内，电荷蓄积部cs2的反射光蓄积时间小于电荷蓄积部cs3的反射光蓄积时间。由此，能够不使对与强度更大的反射光rl相应的电荷进行蓄积的电荷蓄积部cs2饱和、且使对与强度更小的反射光rl相应的电荷进行蓄积的其他电荷蓄积部cs(电荷蓄积部cs3)蓄积更多的电荷。在此，图7中的电荷蓄积部cs2以及cs3是“分配并蓄积与反射光rl相应的电荷的两个电荷蓄积部”的一个例子。
181.具体地，在图7中，在1帧期间内设置：1ststep，使所有电荷蓄积部cs1～cs3蓄积电荷；2ndstep，使光脉冲po的照射与电荷蓄积部cs的蓄积的相对定时与1ststep相同，不使电荷蓄积部cs1蓄积电荷而使电荷蓄积部cs2以及cs3蓄积电荷；以及3rdstep，不使电荷蓄积部cs1以及cs2蓄积电荷而仅使电荷蓄积部cs3蓄积电荷。由此，距离图像处理部4进行控制，使得在1帧期间内，电荷蓄积部cs2的反射光蓄积时间小于电荷蓄积部cs3的反射光蓄积时间。更具体地说，距离图像处理部4将电荷蓄积部cs2的反射光蓄积时间设为(x+y)，将电荷蓄积部cs3的反射光蓄积时间设为(x+y+z)。在此，x是1ststep中的电荷蓄积部cs1～cs3各自的曝光时间。y是2ndstep中的电荷蓄积部cs2以及cs3各自的曝光时间。z是3rdstep中的
电荷蓄积部cs3的曝光时间。
182.在此，使用图8对第一实施方式的测定模式m2中的距离图像摄像装置1中的处理的流程进行说明。图8所示的流程图中的步骤s21、s23、以及s26与图6的步骤s11、s13、以及s16相同，因此省略其说明。
183.(步骤s20)
184.距离图像摄像装置1首先通过测定控制部43预先设定1ststep的曝光时间x、2ndstep的曝光时间y、以及3rdstep的曝光时间z。
185.(步骤s22)
186.距离图像摄像装置1按照预先设定的曝光时间x、y、z使电荷蓄积部cs蓄积电荷。例如，距离图像摄像装置1通过进行依据1ststep的定时的动作，由此使电荷蓄积部cs1～cs3蓄积与曝光时间x对应的电荷。另外，距离图像摄像装置1通过进行依据2ndstep的定时的动作，由此使电荷蓄积部cs2、cs3进一步蓄积与曝光时间y对应的电荷。另外，距离图像摄像装置1通过进行依据3rdstep的定时的动作，由此使电荷蓄积部cs3进一步蓄积与曝光时间z对应的电荷。
187.(步骤s24)
188.距离图像摄像装置1判定所选择的像素321中的校正后的电荷量q1##是否大于电荷量q3。距离图像摄像装置1基于(7)式来计算校正后的电荷量q1##，并将计算出的电荷量q1##与电荷量q3进行比较，由此判定电荷量q1##是否大于电荷量q3。
189.(步骤s25)
190.距离图像摄像装置1在电荷量q1##大于电荷量q3的情况下，应用测定模式m2中的与近距离受光像素对应的运算式(上述(9)式)来运算测定距离。距离图像摄像装置1基于(8)式来计算校正后的电荷量q2#，并通过将计算出的电荷量q2#、之前计算出的电荷量q1##以及电荷量q3应用于(9)式来运算延迟时间td。距离图像摄像装置1基于运算出的延迟时间td，计算像素321(近距离受光像素)中的测定距离。
191.(步骤s27)
192.另一方面，距离图像摄像装置1在步骤s24中电荷量q1##为电荷量q3以下的情况下，应用测定模式m2中的与远距离受光像素对应的运算式(上述(10)式)来运算测定距离。距离图像摄像装置1基于(8)式来计算校正后的电荷量q2#，并通过将计算出的电荷量q2#、之前计算出的电荷量q1##以及电荷量q3应用于(10)式来运算延迟时间td。距离图像摄像装置1基于运算出的延迟时间td来计算像素321(远距离受光像素)中的测定距离。
193.在上述中，例示在近距离以及远距离存在物体的情况而进行了说明。该距离的范围例如根据由光脉冲po的照射时间to以及向电荷蓄积部cs蓄积电荷的分配时间ta表示的时间幅度来决定。光的速度为已知，已知1秒钟前进约30万km。因此，当考虑到往返的路径时，光每1ns前进15cm。距离的范围为，例如在光脉冲po的照射时间to为10ns的情况下，近距离的可取范围大体为0～150cm，远距离的可取范围大体为150cm～300cm。
194.为了使能够测定的距离的范围进一步扩大，可以考虑使光脉冲的照射时间to以及向电荷蓄积部cs蓄积电荷的蓄积时间ta增长(使时间幅度增大)。但是，当较长地照射光脉冲po时，距离的分辨率降低。因此，需要考虑测定范围与分辨率的权衡来选择所希望的设定(照射时间to以及蓄积时间ta)。
195.另外，作为维持分辨率不变而扩大能够测定的距离的方法，可以考虑使电荷蓄积部cs的数量增加的方法。通过使电荷蓄积部cs的数量增加，即使在到被摄体ob的距离变大而延迟时间td增加的情况下，也能够使来自被摄体ob的反射光rl由电荷蓄积部cs分配而进行受光。以下，作为第二实施方式，对使电荷蓄积部cs的数量增加到四个的情况进行说明。
196.＜第二实施方式＞
197.接下来，对第二实施方式进行说明。本实施方式与上述实施方式的不同点在于，距离图像摄像装置1的像素321具备四个电荷蓄积部cs(电荷蓄积部cs1～cs4)，并预先决定(不固定)仅蓄积外部光成分的电荷蓄积部cs。在第二实施方式中，读出栅极晶体管g1～g4的驱动定时与上述实施方式不同。电荷蓄积部cs4是“第四电荷蓄积部”的一个例子。
198.(测定模式m3)
199.首先，使用图9a、图9b对本实施方式的测定模式m3进行说明。图9a、图9b是表示第二实施方式中的驱动像素321的定时的第一例的时序图。图9a表示近距离受光像素的时序图。图9b表示远距离受光像素的时序图。图9a、图9b中的“l”、“r”、“g1”等项目名与图4a相同。
200.在测定模式m3中，使电荷蓄积部cs1仅蓄积外部光成分。以下，以如下情况为例进行说明：在测定模式m3中，在电荷蓄积部cs1以蓄积时间ta的期间被控制为导通状态之后，在成为截止状态的定时照射光脉冲po。由此，能够使电荷蓄积部cs1仅蓄积外部光成分。
201.另外，如图9a、图9b所示那样，在本实施方式的测定模式m3中，在1帧中设置有两个测定步骤(1ststep以及2ndstep)。
202.在测定模式m3中的1ststep中，进行应用以往的驱动方法的电荷蓄积。以往的驱动定时是指，例如图9a、图9b所示那样，与光脉冲po的照射定时同步地，读出栅极晶体管g1～g4依次使电荷进行蓄积的方法。
203.具体地，如图9a所示那样，垂直扫描电路323在1ndstep中，首先使漏极栅极晶体管gd成为截止状态，并且使读出栅极晶体管g1以蓄积时间ta成为导通状态。垂直扫描电路323在使读出栅极晶体管g1成为导通状态的期间，不照射光脉冲po。由此，在读出栅极晶体管g1被控制为导通状态的期间，与外部光成分对应的电荷经由读出栅极晶体管g1蓄积于电荷蓄积部cs1。
204.接下来，垂直扫描电路323在使读出栅极晶体管g1成为截止状态的定时，在照射时间to照射光脉冲po，并且使读出栅极晶体管g2以蓄积时间ta成为导通状态。由此，在读出栅极晶体管g2被控制为导通状态的期间，与外部光成分以及反射光rl的一部分对应的电荷经由读出栅极晶体管g2蓄积于电荷蓄积部cs2。
205.接下来，垂直扫描电路323在使读出栅极晶体管g2成为截止状态的定时，使读出栅极晶体管g3以蓄积时间ta成为导通状态。由此，在读出栅极晶体管g3被控制为导通状态的期间，与外部光成分以及反射光rl的剩余部分对应的电荷经由读出栅极晶体管g3蓄积于电荷蓄积部cs3。
206.接下来，垂直扫描电路323在使读出栅极晶体管g3成为截止状态的定时，使读出栅极晶体管g4以蓄积时间ta成为导通状态。由此，在读出栅极晶体管g4被控制为导通状态的期间，与外部光成分对应的电荷经由读出栅极晶体管g4蓄积于电荷蓄积部cs4。
207.接下来，垂直扫描电路323在使读出栅极晶体管g4成为截止状态的定时，使漏极栅
极晶体管gd成为导通状态而进行电荷的排出。由此，由光电转换元件pd进行光电转换而得的电荷经由漏极栅极晶体管gd而被废弃。
208.垂直扫描电路323将上述那样的驱动遍及1ststep反复进行规定的分配次数量。在该情况下，1ststep的分配次数被设定为不使近距离受光像素中的电荷蓄积部cs2饱和的范围。
209.在测定模式m3中的2ndstep进行控制，使得不向电荷蓄积部cs2蓄积电荷，而向电荷蓄积部cs1、cs3以及cs4蓄积电荷。具体地，如图9a所示那样，垂直扫描电路323在2ndstep中不将读出栅极晶体管g2控制为导通状态。另一方面，垂直扫描电路323在与1ststep相同的定时使读出栅极晶体管g1、g3以及g4成为导通状态。
210.即，垂直扫描电路323首先使读出栅极晶体管g1以蓄积时间ta成为导通状态。在使读出栅极晶体管g1成为截止状态的定时，在照射时间to照射光脉冲po。在使光脉冲po的照射停止的定时，使读出栅极晶体管g3以蓄积时间ta成为导通状态。另外，垂直扫描电路323在使读出栅极晶体管g3成为截止状态的定时，使读出栅极晶体管g4以蓄积时间ta成为导通状态。垂直扫描电路323在使读出栅极晶体管g4成为截止状态的定时，使漏极栅极晶体管gd成为导通状态而进行电荷的排出。在测定模式m3中的2ndstep中，漏极栅极晶体管gd成为截止状态的时间成为使电荷蓄积部cs1蓄积电荷的时间(蓄积时间ta)以及使电荷蓄积部cs3以及cs4蓄积电荷的时间(2
×
ta)。
211.垂直扫描电路323将上述那样的驱动遍及2ndstep反复进行规定的分配次数量。然后，垂直扫描电路323输出与向各个电荷蓄积部cs分配的电荷量相应的电压信号。垂直扫描电路323输出与电荷量相应的电压信号的方法与图4a相同，因此省略其说明。
212.通过设为这种构成，在图9a所示那样的近距离受光像素的情况下能够向电荷蓄积部cs2、cs3分配并蓄积电荷，在图9b所示那样的远距离受光像素的情况下能够向电荷蓄积部cs3、cs4分配并蓄积电荷。并且，在本实施方式中，能够使设置于同一像素的电荷蓄积部cs2与电荷蓄积部cs1、cs3以及cs4的曝光时间成为不同的时间(长度)。由此，能够使近距离受光像素的电荷蓄积部cs2在不饱和的范围内蓄积电荷，并且使远距离受光像素的电荷蓄积部cs3以及cs4蓄积更多的电荷。由此，即使在测定范围内混合存在处于近距离的物体与处于远距离的物体的情况下，也能够高精度地测定处于远距离的物体。
213.另外，本实施方式的测定模式m3中的1ststep以及2ndstep的分配次数，可以根据状况而任意地设定。例如，1ststep的分配次数以近距离受光像素的电荷蓄积部cs2不饱和的范围为上限而被设定。另外，2ndstep的分配次数被设定为，在像素321(包括近距离受光像素以及远距离受光像素)的电荷蓄积部cs3、cs4不饱和的范围内，且向远距离受光像素的电荷蓄积部cs3、cs4蓄积的电荷量成为大到能够高精度地运算距离的程度的值。
214.在此，本实施方式中，在依据图9a的时序图使像素321驱动的情况下，距离运算部42进行校正，使得电荷蓄积部cs2与其他电荷蓄积部cs(电荷蓄积部cs1、cs3以及cs4)的曝光时间成为相同的曝光时间。
215.例如，距离运算部42在测定模式m3的近距离受光像素中应用以下的(11)式以及(12)式，由此计算延迟时间td。
216.q2#＝q2
×
{(x+y)/x}
…
(11)
217.td＝to
×
(q3－q1)/(q2#+q3－2
×
q1)
…
(12)
218.在此，在(11)式中，x是1ststep中的电荷蓄积部cs2的曝光时间。y是2ndstep中的其他电荷蓄积部cs的曝光时间。q2是电荷蓄积部cs2蓄积的电荷量。另外，在(12)式中，to表示照射光脉冲po的期间，q2#表示校正后的电荷量，q1表示电荷蓄积部cs1蓄积的电荷量，q3表示电荷蓄积部cs3蓄积的电荷量。另外，在(12)式中的前提为，电荷蓄积部cs2以及cs3蓄积的电荷量中的与外部光成分相当的电荷量与电荷蓄积部cs1蓄积的电荷量为同量。
219.另外，例如，距离运算部42在测定模式m3的远距离受光像素中应用以下的(13)式，由此计算延迟时间td。
220.td＝to
×
(q4－q1)/(q3+q4－2
×
q1)
…
(13)
221.在此，在(13)式中，to表示照射光脉冲po的期间，q1表示电荷蓄积部cs1蓄积的电荷量，q3表示电荷蓄积部cs3蓄积的电荷量，q4表示电荷蓄积部cs4蓄积的电荷量。另外，在(13)式中的前提为，电荷蓄积部cs3以及cs4蓄积的电荷量中的与外部光成分相当的电荷量与电荷蓄积部cs1蓄积的电荷量为同量。
222.距离运算部42在测定范围内混合存在处于近距离的物体与处于远距离的物体的情况下，根据像素来应用上述(12)式或者(13)式，由此能够提高处于远距离的物体的距离精度。距离运算部42在运算距离的过程中，将校正后的电荷量q2(即电荷量q2#)与电荷量q4进行比较，由此判定对像素321应用(12)式以及(13)式中的哪个式子。
223.如上述那样，在像素321为近距离受光像素的情况下，来自被摄体ob的反射光rl被向电荷蓄积部cs2以及cs3分配并受光，外部光成分被电荷蓄积部cs1、cs4受光。在该情况下，电荷量q2#成为大于电荷量q4的值。利用该性质，距离运算部42在电荷量q2#＞电荷量q4的情况下，判定为像素321是近距离受光像素，判定为在距离的运算中应用(12)式。
224.另一方面，在像素321为远距离受光像素的情况下，来自被摄体ob的反射光rl被向电荷蓄积部cs3以及cs4分配并受光，外部光成分被电荷蓄积部cs1、cs2受光。在该情况下，电荷量q2#成为小于电荷量q4的值。利用该性质，距离运算部42在电荷量q2#≤电荷量q4的情况下，判定为像素321是远距离受光像素，判定为在距离的运算中应用(13)式。
225.如此，在本实施方式中，在向两个电荷蓄积部cs分配并蓄积与反射光rl相应的电荷的情况下，根据反射光rl的强度进行控制，使得这两个电荷蓄积部cs蓄积与反射光rl相应的电荷的时间(“反射光蓄积时间”的一个例子)在1帧期间内成为相互不同的时间。在本实施方式中，例如，假设光脉冲po的强度以及对象物体的反射率为一定，着眼于反射光rl的强度根据对象物体的距离而变化的情况。
226.在图9a、图9b中，在图9a那样对由存在于近距离的被摄体ob反射的反射光rl进行受光的情况下，与图9b那样的对由处于远距离的物体反射的反射光rl进行受光的情况相比较，反射光rl的强度较大。当控制成在图9a的情况下与图9b的情况下使蓄积与反射光rl相应的电荷的时间成为相同时间时，在图9a的情况下与反射光rl相应的电荷量饱和，在图9b的情况下与反射光rl相应的电荷的蓄积量减少。由此，无论在哪种情况下，距离精度都有可能降低。作为其对策，距离图像处理部4进行控制，使得在对强度较大的反射光rl进行了受光的情况下不使电荷蓄积部cs饱和，并且在对强度较小的反射光rl进行了受光的情况下蓄积较多的电荷。即，距离图像处理部4进行控制，使得在1帧期间内使电荷蓄积部cs2的反射光蓄积时间小于电荷蓄积部cs3的反射光蓄积时间。由此，能够不使对与强度更大的反射光rl相应的电荷进行蓄积的电荷蓄积部cs2饱和，并且能够使对与强度更小的反射光rl相应
的电荷进行蓄积的其他电荷蓄积部cs(电荷蓄积部cs3、cs4)蓄积较多的电荷。在此，图9a中的电荷蓄积部cs2以及cs3是“分配并蓄积与反射光rl相应的电荷的两个电荷蓄积部”的一个例子。
227.具体地，在图9a、图9b中，在1帧期间内设置有：1ststep，使所有电荷蓄积部cs1～cs4蓄积电荷；以及2ndstep，使光脉冲po的照射与电荷蓄积部cs的蓄积的相对定时与1ststep相同，使电荷蓄积部cs2不蓄积电荷而使电荷蓄积部cs1、cs3以及cs4蓄积电荷。由此，距离图像处理部4进行控制，使得在在1帧期间内电荷蓄积部cs2的反射光蓄积时间小于电荷蓄积部cs3的反射光蓄积时间。更具体地说，距离图像处理部4将电荷蓄积部cs2的反射光蓄积时间设为(x)，将电荷蓄积部cs3的反射光蓄积时间设为(x+y)。在此，x是1ststep中的电荷蓄积部cs1～cs4各自的曝光时间。y是2ndstep中的电荷蓄积部cs1、cs3以及cs4各自的曝光时间。
228.在此，使用图10对第二实施方式的测定模式m3中的距离图像摄像装置1进行的处理的流程进行说明。图10所示的流程图中的步骤s30、s31、s33、以及s36与图6的步骤s10、s11、s13、以及s16相同，因此省略其说明。
229.(步骤s32)
230.距离图像摄像装置1按照预先设定的曝光时间x、y、z使电荷蓄积部cs蓄积电荷。例如，距离图像摄像装置1通过进行依据1ststep的定时的动作，由此使电荷蓄积部cs1～cs4蓄积与曝光时间x对应的电荷。另外，距离图像摄像装置1通过进行依据2ndstep的定时的动作，由此使电荷蓄积部cs1、cs3以及cs4进一步蓄积与曝光时间y对应的电荷。
231.(步骤s34)
232.距离图像摄像装置1判定所选择的像素321中的校正后的电荷量q2#是否大于电荷量q4。距离图像摄像装置1基于(11)式来计算校正后的电荷量q2#，并将计算出的电荷量q2#与电荷量q4进行比较，由此判定电荷量q2#是否大于电荷量q4。
233.(步骤s35)
234.距离图像摄像装置1在电荷量q2#大于电荷量q4的情况下，应用测定模式m3中的与近距离受光像素对应的运算式(上述(12)式)来运算测定距离。距离图像摄像装置1通过将在步骤s34中计算出的电荷量q2#以及电荷量q1、q3应用于(12)式来运算延迟时间td。距离图像摄像装置1基于运算出的延迟时间td来计算像素321(近距离受光像素)中的测定距离。
235.(步骤s37)
236.另一方面，距离图像摄像装置1在步骤s34中电荷量q2#为电荷量q4以下的情况下，应用测定模式m3中的与远距离受光像素对应的运算式(上述(13)式)来运算测定距离。距离图像摄像装置1通过将电荷量q1、q3、q4应用于(13)式来运算延迟时间td。距离图像摄像装置1基于运算出的延迟时间td来计算像素321(远距离受光像素)中的测定距离。
237.(测定模式m4)
238.接下来，使用图11a、图11b对本实施方式的测定模式m4进行说明。图11a、图11b是表示第二实施方式中的驱动像素321的定时的第二例的时序图。图11a表示近距离受光像素的时序图。图11b表示远距离受光像素的时序图。图11a、图11b中的“l”、“r”、“g1”等项目名与图4a相同。
239.在测定模式m4中，使电荷蓄积部cs4仅蓄积外部光成分。以下，以如下情况为例进
行说明：在测定模式m4中，在照射了光脉冲po之后、到来自处于远距离的物体的反射光rl被受光为止的时间充分地经过了之后，使电荷蓄积部cs4以蓄积时间ta的期间成为导通状态。由此，能够使电荷蓄积部cs4仅蓄积外部光成分。
240.另外，如图11a、图11b所示那样，在本实施方式的测定模式m4中，在1帧中设置有两个测定步骤(1ststep以及2ndstep)。
241.在测定模式m4中的1ststep中，进行应用了以往的驱动方法的电荷的蓄积。以往的驱动定时是指，例如图11a、图11b所示那样，与光脉冲po的照射定时同步地，读出栅极晶体管g1～g4依次使电荷进行蓄积的方法。
242.具体地，如图11a所示那样，垂直扫描电路323在1ndstep中，首先在照射时间to照射光脉冲po。垂直扫描电路323在照射时间to照射光脉冲po的定时，使漏极栅极晶体管gd成为截止状态，并且使读出栅极晶体管g1以蓄积时间ta成为导通状态。由此，在读出栅极晶体管g1被控制为导通状态的期间，与外部光成分对应的电荷经由读出栅极晶体管g1蓄积于电荷蓄积部cs1。
243.接下来，垂直扫描电路323在使读出栅极晶体管g1成为截止状态的定时，使读出栅极晶体管g2以蓄积时间ta成为导通状态。由此，在读出栅极晶体管g2被控制为导通状态的期间，与外部光成分以及反射光rl的剩余的部分对应的电荷经由读出栅极晶体管g2蓄积于电荷蓄积部cs2。
244.接下来，垂直扫描电路323在使读出栅极晶体管g2成为截止状态的定时，使读出栅极晶体管g3以蓄积时间ta成为导通状态。由此，在读出栅极晶体管g3被控制为导通状态的期间，与外部光成分对应的电荷经由读出栅极晶体管g3蓄积于电荷蓄积部cs3。
245.接下来，垂直扫描电路323在使读出栅极晶体管g3成为截止状态的定时，使读出栅极晶体管g4以蓄积时间ta成为导通状态。由此，在读出栅极晶体管g4被控制为导通状态的期间，与外部光成分对应的电荷经由读出栅极晶体管g4蓄积于电荷蓄积部cs4。
246.接下来，垂直扫描电路323在使读出栅极晶体管g4成为截止状态的定时，使漏极栅极晶体管gd成为导通状态而进行电荷的排出。由此，由光电转换元件pd进行光电转换而得的电荷经由漏极栅极晶体管gd而被废弃。
247.垂直扫描电路323将上述那样的驱动遍及1ststep反复进行规定的分配次数量。在该情况下，1ststep的分配次数被设定为不使近距离受光像素中的电荷蓄积部cs1饱和的范围。
248.在测定模式m4中的2ndstep中控制为，不向电荷蓄积部cs1蓄积电荷，而向电荷蓄积部cs2～cs4蓄积电荷。具体地，如图11a所示那样，垂直扫描电路323在2ndstep中，不将读出栅极晶体管g1控制为导通状态。另一方面，垂直扫描电路323在与1ststep相同的定时使读出栅极晶体管g2～g4成为导通状态。
249.即，垂直扫描电路323首先在照射时间to照射光脉冲po。在使光脉冲po的照射停止的定时，使读出栅极晶体管g2以蓄积时间ta成为导通状态。另外，垂直扫描电路323在使读出栅极晶体管g2成为截止状态的定时，使读出栅极晶体管g3以蓄积时间ta成为导通状态。垂直扫描电路323在使读出栅极晶体管g3成为截止状态的定时，使读出栅极晶体管g4以蓄积时间ta成为导通状态。垂直扫描电路323在使读出栅极晶体管g4成为截止状态的定时，使漏极栅极晶体管gd成为导通状态而进行电荷的排出。在测定模式m4中的2ndstep中，漏极栅
极晶体管gd成为截止状态的时间成为向电荷蓄积部cs2～cs4蓄积电荷的时间(3
×
ta)。
250.垂直扫描电路323将上述那样的驱动遍及2ndstep反复进行规定的分配次数量。然后，垂直扫描电路323输出与向各个电荷蓄积部cs分配的电荷量相应的电压信号。垂直扫描电路323输出与电荷量相应的电压信号的方法与图4a相同，因此省略其说明。
251.通过设为这种构成，在图11a所示那样的近距离受光像素的情况下能够向电荷蓄积部cs1、cs2分配并蓄积电荷，在图11b所示那样的远距离受光像素的情况下能够向电荷蓄积部cs2、cs3分配并蓄积电荷。并且，在本实施方式中，能够使设置于同一像素的电荷蓄积部cs1与电荷蓄积部cs2～cs4的曝光时间成为不同时间(长度)。由此，能够使近距离受光像素的电荷蓄积部cs1在不饱和的范围蓄积电荷，并且使远距离受光像素的电荷蓄积部cs2以及cs3蓄积更多的电荷。由此，即使在测定范围内混合存在处于近距离的物体与处于远距离的物体的情况下，也能够高精度地测定处于远距离的物体。
252.另外，本实施方式的测定模式m3中的1ststep以及2ndstep的分配次数可以根据状况任意地设定。例如，1ststep的分配次数以近距离受光像素的电荷蓄积部cs1不饱和的范围为上限而被设定。另外，2ndstep的分配次数被设定为，在像素321(包括近距离受光像素以及远距离受光像素)的电荷蓄积部cs2、cs3不饱和的范围内，且远距离受光像素的电荷蓄积部cs2、cs3蓄积的电荷量成为大到能够高精度地运算距离的程度的值。
253.在此，在本实施方式中，在依据图11a的时序图使像素321驱动的情况下，距离运算部42进行校正，使得电荷蓄积部cs1与其他电荷蓄积部cs(电荷蓄积部cs2～cs4)的曝光时间成为相同曝光时间。
254.例如，距离运算部42在测定模式m4的近距离受光像素中应用以下的(14)式以及(15)式，由此计算延迟时间td。
255.q1#＝q1
×
{(x+y)/x}
…
(14)
256.td＝to
×
(q2－q4)/(q1#+q2－2
×
q4)
…
(15)
257.在此，在(14)式中，q1#是校正后的电荷蓄积部cs1蓄积的电荷量电荷量，q1是校正前的电荷蓄积部cs1蓄积的电荷量，x是1ststep中的电荷蓄积部cs2的曝光时间。y是2ndstep中的其他电荷蓄积部cs的曝光时间。另外，在(15)式中，to表示照射光脉冲po的期间，q1#表示校正后的电荷蓄积部cs1蓄积的电荷量，q2表示电荷蓄积部cs2蓄积的电荷量，q3表示电荷蓄积部cs3蓄积的电荷量，q4表示电荷蓄积部cs4蓄积的电荷量。另外，在(15)式中的前提为，电荷蓄积部cs1以及cs2蓄积的电荷量中的与外部光成分相当的电荷量与电荷蓄积部cs4蓄积的电荷量为同量。
258.另外，例如，距离运算部42在测定模式m4的远距离受光像素中应用以下的(16)式，由此计算延迟时间td。
259.td＝to
×
(q3－q4)/(q2+q3－2
×
q4)
…
(16)
260.在此，在(16)式中，to表示照射光脉冲po的期间，q2表示电荷蓄积部cs2蓄积的电荷量，q3表示电荷蓄积部cs3蓄积的电荷量，q4表示电荷蓄积部cs4蓄积的电荷量。另外，在(16)式中的前提为，电荷蓄积部cs2以及cs3蓄积的电荷量中的与外部光成分相当的电荷量与电荷蓄积部cs4蓄积的电荷量为同量。
261.距离运算部42在测定范围内混合存在处于近距离的物体与处于远距离的物体的情况下，根据像素来应用上述(15)式或者(16)式，由此能够提高处于远距离的物体的距离
精度。距离运算部42在运算距离的过程中，将校正后的电荷量q1(即，电荷量q1#)与电荷量q3进行比较，由此判定对像素321应用(15)式以及(16)式中的哪个式子。
262.如上述那样，在像素321为近距离受光像素的情况下，来自被摄体ob的反射光rl被向电荷蓄积部cs1以及cs2分配并受光，外部光成分被电荷蓄积部cs3、cs4受光。在该情况下，电荷量q1#成为比电荷量q3大的值。利用该性质，距离运算部42在电荷量q1#＞电荷量q3的情况下，判定为像素321是近距离受光像素，判定为在距离的运算中应用(15)式。
263.另一方面，在像素321为远距离受光像素的情况下，来自被摄体ob的反射光rl被向电荷蓄积部cs2以及cs3分配并受光，外部光成分被电荷蓄积部cs1、cs4受光。在该情况下，电荷量q1#成为比电荷量q3小的值。利用该性质，距离运算部42在电荷量q1#≤电荷量q3的情况下，判定为像素321是远距离受光像素，判定为在距离的运算中应用(16)式。
264.如此，在本实施方式中，在向两个电荷蓄积部cs分配并蓄积与反射光rl相应的电荷的情况下，根据反射光rl的强度进行控制，使得这两个电荷蓄积部cs蓄积与反射光rl相应的电荷的时间(“反射光蓄积时间”的一个例子)在1帧期间内成为相互不同的时间。在本实施方式中，例如假设光脉冲po的强度以及对象物体的反射率为一定，着眼于反射光rl的强度根据对象物体的距离而变化的情况。
265.在图11a、图11b中，在图11a那样对由存在于近距离的被摄体ob反射的反射光rl进行受光的情况下，与图11b那样的对由处于远距离的物体反射的反射光rl进行受光的情况相比较，反射光rl的强度较大。当控制成在图11a的情况下与图11b的情况下使蓄积与反射光rl相应的电荷的时间成为相同时间时，在图11a的情况下与反射光rl相应的电荷量饱和，在图11b的情况下与反射光rl相应的电荷的蓄积量减少。由此，无论在哪种情况下，距离精度都有可能降低。作为其对策，距离图像处理部4进行控制，使得在对强度较大的反射光rl进行了受光的情况下不使电荷蓄积部cs饱和，并且在对强度较小的反射光rl进行了受光的情况蓄积较多的电荷。即，距离图像处理部4进行控制，使得在1帧期间内使电荷蓄积部cs1的反射光蓄积时间小于电荷蓄积部cs2的反射光蓄积时间。由此，能够使蓄积与强度更大的反射光rl相应的电荷的电荷蓄积部cs1不饱和，并且使蓄积与强度更小的反射光rl相应的电荷的其他电荷蓄积部cs蓄积较多的电荷。在此，图11a中的电荷蓄积部cs1以及cs2是“分配并蓄积与反射光rl相应的电荷的两个电荷蓄积部”的一个例子。
266.具体地，在图11a、图11b中，在1帧期间内设置有：1ststep，使所有电荷蓄积部cs1～cs4蓄积电荷；以及2ndstep，使光脉冲po的照射与电荷蓄积部cs的蓄积的相对定时与1ststep相同，使电荷蓄积部cs1不蓄积电荷而使电荷蓄积部cs2～cs4蓄积电荷。由此，距离图像处理部4进行控制，使得在1帧期间内使电荷蓄积部cs1的反射光蓄积时间小于电荷蓄积部cs2的反射光蓄积时间。更具体地说，距离图像处理部4将电荷蓄积部cs1的反射光蓄积时间设为(x)，将电荷蓄积部cs2的反射光蓄积时间设为(x+y)。在此，x是1ststep中的电荷蓄积部cs1～cs4各自的曝光时间。y是2ndstep中的电荷蓄积部cs2～cs4各自的曝光时间。
267.在此，使用图12对第二实施方式的测定模式m4中的距离图像摄像装置1进行的处理的流程进行说明。图12所示的流程图中的步骤s40、s41、s43、以及s46与图6的步骤s10、s11、s13、以及s16相同，因此省略其说明。
268.(步骤s42)
269.距离图像摄像装置1按照预先设定的曝光时间x、y使电荷蓄积部cs蓄积电荷。例
如，距离图像摄像装置1通过进行依据1ststep的定时的动作，由此使电荷蓄积部cs1～cs4蓄积与曝光时间x对应的电荷。另外，距离图像摄像装置1通过进行依据2ndstep的定时的动作，由此使电荷蓄积部cs2～cs4进一步蓄积与曝光时间y对应的电荷。
270.(步骤s44)
271.距离图像摄像装置1判定所选择的像素321中的校正后的电荷量q1#是否大于电荷量q3。距离图像摄像装置1基于(14)式来计算校正后的电荷量q1#，并将计算出的电荷量q1#与电荷量q3进行比较，由此判定电荷量q1#是否大于电荷量q3。
272.(步骤s45)
273.距离图像摄像装置1在电荷量q1#大于电荷量q3的情况下，应用测定模式m4中的与近距离受光像素对应的运算式(上述(15)式)来运算测定距离。距离图像摄像装置1通过将在步骤s44中计算出的电荷量q1#以及电荷量q2～q4应用于(15)式来运算延迟时间td。距离图像摄像装置1基于运算出的延迟时间td来计算像素321(近距离受光像素)中的测定距离。
274.(步骤s47)
275.另一方面，距离图像摄像装置1在步骤s44中电荷量q1#为电荷量q3以下的情况下，应用测定模式m4中的与远距离受光像素对应的运算式(上述(16)式)应用来运算测定距离。距离图像摄像装置1通过将电荷量q2～q4应用于(16)式来运算延迟时间td。距离图像摄像装置1基于运算出的延迟时间td来计算像素321(远距离受光像素)中的测定距离。
276.在上述第二实施方式中较大的优点为，能够使蓄积外部光成分的电荷蓄积部cs固定。在进行计测距离的运算时，如果仅蓄积外部光成分的电荷蓄积部cs为已知，则能够降低运算的负荷。另一方面，具有如下优点：通过使蓄积外部光成分的电荷蓄积部cs不固定，关于对象物的测定范围不仅能够测定近距离、远距离，还能够测定到更远的距离(以下，称为超远距离)。以下，作为第三实施方式，对使蓄积外部光成分的电荷蓄积部cs不固定的情况进行说明。
277.＜第三实施方式＞
278.接下来，对第三实施方式进行说明。本实施方式与上述实施方式的不同点在于，距离图像摄像装置1的像素321具备四个电荷蓄积部cs(电荷蓄积部cs1～cs4)，仅蓄积外部光成分的电荷蓄积部cs未被预先决定(未被固定)。
279.(测定模式m5)
280.使用图13a、图13b、以及图13c对本实施方式的测定模式m5进行说明。图13a、图13b、以及图13c是表示第三实施方式中的驱动像素321的定时的例子的时序图。图13a表示近距离受光像素的时序图。图13b表示远距离受光像素的时序图。图13c表示超远距离受光像素的时序图。超远距离受光像素是指对来自处于超远距离的物体的反射光rl进行受光的像素321。图13a、图13b、以及图13c中的“l”、“r”、“g1”等项目名与图4a相同。在此，超远距离是“第三距离”的一个例子。
281.在测定模式m5中，使仅蓄积外部光成分的电荷蓄积部cs不固定。在测定模式m5中进行控制，使得与来自处于近距离的物体的反射光rl对应的电荷向电荷蓄积部cs1、cs2分配并蓄积。在该情况下，在电荷蓄积部cs3、cs4蓄积与外部光成分对应的电荷。在测定模式m5中进行控制，使得与来自处于远距离的物体的反射光rl对应的电荷向电荷蓄积部cs2、cs3分配并蓄积。在该情况下，向电荷蓄积部cs1、cs4蓄积与外部光成分对应的电荷。在测定
模式m5中进行控制，使得与来自处于超远距离的物体的反射光rl对应的电荷向电荷蓄积部cs3、cs4分配并蓄积。在该情况下，向电荷蓄积部cs1、cs2蓄积与外部光成分对应的电荷。由此，能够扩大能够测定的距离。
282.另外，如图13a、图13b、以及图13c所示那样，在本实施方式的测定模式m5中，在1帧中设置有两个测定步骤(1ststep以及2ndstep)。
283.在测定模式m5中的1ststep中，进行应用以往的驱动方法的电荷的蓄积。垂直扫描电路323例如与图11a、图11b的1ststep同样，与光脉冲po的照射定时同步地，读出栅极晶体管g1～g4依次使电荷进行蓄积。
284.在测定模式m5中的2ndstep中控制为，不向电荷蓄积部cs1蓄积电荷而向电荷蓄积部cs2～cs4蓄积电荷。垂直扫描电路323例如与图11a、图11b的2ndstep同样，在2ndstep中不将读出栅极晶体管g1控制为导通状态。另一方面，垂直扫描电路323在与1ststep相同的定时使读出栅极晶体管g2～g4成为导通状态。
285.通过设为这种构成，在图13a所示那样的近距离受光像素的情况下，能够向电荷蓄积部cs1、cs2分配并蓄积电荷。另外，在图13b所示那样的远距离受光像素的情况下，能够向电荷蓄积部cs2、cs3分配并蓄积电荷。另外，在图13c所示那样的超远距离受光像素的情况下，能够向电荷蓄积部cs3、cs4分配并蓄积电荷。
286.并且，在本实施方式的测定模式m5中，能够使设置于同一像素的电荷蓄积部cs1与电荷蓄积部cs2～cs4的曝光时间成为不同时间(长度)。由此，能够使近距离受光像素的电荷蓄积部cs1在不饱和的范围蓄积电荷，并且能够使远距离受光像素的电荷蓄积部cs2以及cs3蓄积更多的电荷。另外，能够使超远距离受光像素的电荷蓄积部cs3以及cs4蓄积更多的电荷。由此，即使在测定范围内混合存在处于近距离的物体、处于远距离的物体、以及处于超远距离的物体的情况下，也能够高精度地测定处于远距离的物体、处于超远距离的物体。
287.另外，本实施方式的测定模式m5中的1ststep以及2ndstep的分配次数可以根据状况任意地设定。例如，1ststep的分配次数以近距离受光像素的电荷蓄积部cs1不饱和的范围为上限而被设定。另外，2ndstep的分配次数被设定为，在像素321(包括近距离受光像素以及远距离受光像素)的电荷蓄积部cs2～cs4不饱和的范围内，且远距离受光像素的电荷蓄积部cs2、cs3蓄积的电荷量大到能够高精度地运算距离的程度的值。或者，被设定为，超远距离受光像素的电荷蓄积部cs3、cs4蓄积的电荷量大到能够高精度地运算距离的程度的值。
288.在此，在本实施方式中，在依据图13a的时序图驱动像素321的情况下，距离运算部42进行校正，使得电荷蓄积部cs1与其他电荷蓄积部cs(电荷蓄积部cs2～cs4)的曝光时间成为相同曝光时间。
289.例如，距离运算部42在测定模式m5的近距离受光像素中应用上述(17)式以及(18)式，由此计算延迟时间td。
290.q1#＝q1
×
{(x+y)/x}
…
(17)
291.td＝to
×
(q2－q4)/(q1#+q2－2
×
q4)
…
(18)
292.在此，在(17)式中，x是1ststep中的电荷蓄积部cs1的曝光时间。y是2ndstep中的其他电荷蓄积部cs的曝光时间。q1是电荷蓄积部cs1蓄积的电荷量。另外，在(18)式中，to表示照射光脉冲po的期间，q1#表示校正后的电荷量，q2表示电荷蓄积部cs2蓄积的电荷量，q4
表示电荷蓄积部cs4蓄积的电荷量。另外，在(18)式中的前提为，电荷蓄积部cs1以及cs2蓄积的电荷量中的与外部光成分相当的电荷量与电荷蓄积部cs4蓄积的电荷量为同量。
293.另外，例如，距离运算部42在测定模式m5的远距离受光像素中应用上述(19)式，由此计算延迟时间td。
294.td＝to
×
(q3－q1#)/(q2+q3－2
×
q1#)
…
(19)
295.在此，在(19)式中，to表示照射光脉冲po的期间，q1#表示基于(17)式的校正后的电荷量，q2表示电荷蓄积部cs2蓄积的电荷量，q3表示电荷蓄积部cs3蓄积的电荷量。另外，在(18)式中的前提为，电荷蓄积部cs2以及cs3蓄积的电荷量中的与外部光成分相当的电荷量与电荷蓄积部cs1蓄积的电荷量为同量。
296.另外，例如，距离运算部42在测定模式m5的超远距离受光像素中应用下述(17)式、(18)式，由此计算延迟时间td。
297.td＝to
×
(q4－q1#)/(q3+q4－2
×
q1#)
…
(20)
298.在此，在(20)式中，to表示照射光脉冲po的期间，q1#表示基于(17)式的校正后的电荷量，q3表示电荷蓄积部cs3蓄积的电荷量，q4表示电荷蓄积部cs4蓄积的电荷量。另外，在(18)式中的前提为，电荷蓄积部cs3以及cs4蓄积的电荷量中的与外部光成分相当的电荷量与电荷蓄积部cs1蓄积的电荷量为同量。
299.距离运算部42在测定范围内混合存在处于近距离、远距离以及超远距离的物体的情况下，根据像素来应用上述(18)式至(20)式，由此能够提高处于远距离的物体的距离精度。距离运算部42在运算距离的过程中，将校正后的电荷量q1(即，电荷量q1#)与电荷量q2～q4的电荷量分别进行比较，由此判定应用上述(18)式至(20)式中的哪个。
300.如上述那样，在像素321为近距离受光像素的情况下，来自被摄体ob的反射光rl被向电荷蓄积部cs1以及cs2分配并受光，外部光成分被电荷蓄积部cs3、cs4受光。在该情况下，在电荷量q4蓄积最少的电荷量。或者，在电荷量q3、q4蓄积最少的电荷量。利用该性质，距离运算部42在满足这种条件的情况下，判定为像素321是近距离受光像素，判定为在距离的运算中应用(18)式。
301.另外，在像素321为远距离受光像素的情况下，来自被摄体ob的反射光rl向电荷蓄积部cs2以及cs3分配并受光，外部光成分被电荷蓄积部cs1、cs4受光。在该情况下，电荷量q1#成为最少的电荷量。或者，电荷量q1#、q4成为最少的电荷量。利用该性质，距离运算部42在满足这种条件的情况下，判定为像素321是远距离受光像素，判定为在距离的运算中应用(19)式。
302.另外，在像素321为超远距离受光像素的情况下，来自被摄体ob的反射光rl被向电荷蓄积部cs3以及cs4分配并受光，外部光成分被电荷蓄积部cs1、cs2受光。在该情况下，电荷量q1#成为最少的电荷量。或者，电荷量q1#、q2成为最少的电荷量。利用该性质，距离运算部42在满足这种条件的情况下，判定为像素321是远距离受光像素，判定为在距离的运算中应用(20)式。
303.如此，在本实施方式中，在向两个电荷蓄积部cs分配并蓄积与反射光rl相应的电荷的情况下，根据反射光rl的强度进行控制，使得这两个电荷蓄积部cs蓄积与反射光rl相应的电荷的时间(“反射光蓄积时间”的一个例子)在1帧期间内成为相互不同的时间。在本实施方式中，例如假设光脉冲po的强度以及对象物体的反射率为一定，着眼于反射光rl的
强度根据对象物体的距离变化的情况。
304.在图13a～图13c中，在图13a那样对由存在于近距离的被摄体ob反射的反射光rl进行受光的情况下，与图13b那样的对由处于远距离、图13c那样的对由处于超远距离的物体反射的反射光rl进行受光的情况相比较，反射光rl的强度较大。当控制为在图13a的情况下与图13b、图13c的情况下使蓄积与反射光rl相应的电荷的时间成为相同时间时，在图13a的情况下与反射光rl相应的电荷量饱和，在图13b、图13c的情况下与反射光rl相应的电荷的蓄积量减少。由此，无论在哪种情况下，距离精度都有可能降低。作为其对策，距离图像处理部4进行控制，使得在对强度较大的反射光rl进行受光的情况下不使电荷蓄积部cs饱和，并且在对强度较小的反射光rl进行受光的情况下蓄积较多的电荷。即，距离图像处理部4进行控制，使得在1帧期间内使电荷蓄积部cs1的反射光蓄积时间小于电荷蓄积部cs2的反射光蓄积时间。由此，能够使蓄积与强度更大的反射光rl相应的电荷的电荷蓄积部cs1不饱和，并且使蓄积与强度更小的反射光rl相应的电荷的其他电荷蓄积部cs蓄积较多的电荷。在此，图13a中的电荷蓄积部cs1以及cs2是“分配并蓄积与反射光rl相应的电荷的两个电荷蓄积部”的一个例子。
305.具体地，在图13a中，在1帧期间内设置有：1ststep，使所有电荷蓄积部cs1～cs4蓄积电荷；以及2ndstep，使光脉冲po的照射与电荷蓄积部cs的蓄积的相对定时与1ststep相同，不使电荷蓄积部cs1蓄积电荷而使电荷蓄积部cs2～cs4蓄积电荷。由此，距离图像处理部4进行控制，使得在1帧期间内使电荷蓄积部cs1的反射光蓄积时间小于电荷蓄积部cs2的反射光蓄积时间。更具体地说，距离图像处理部4将电荷蓄积部cs1的反射光蓄积时间设为(x)，将电荷蓄积部cs2的反射光蓄积时间设为(x+y)。在此，x是1ststep中的电荷蓄积部cs1～cs4各自的曝光时间。y是2ndstep中的电荷蓄积部cs2～cs4各自的曝光时间。
306.在此，使用图14对第三实施方式的测定模式m5中的距离图像摄像装置1进行的处理的流程进行说明。图14所示的流程图中的步骤s50、s51、s53、以及s56与图6的步骤s10、s11、s13、以及s16相同，因此省略其说明。另外，图14的步骤s52与图12的步骤s42相同，因此省略其说明。
307.(步骤s54)
308.距离图像摄像装置1判定是否是所选择的像素321中的校正后的电荷量q1#、q2大于电荷量q3、且电荷量q3为电荷量q4以上。距离图像摄像装置1基于(17)式来计算校正后的电荷量q1#，并将计算出的电荷量q1#、电荷量q2分别与电荷量q3进行比较，由此判定电荷量q1#、q2是否大于电荷量q3。另外，距离图像摄像装置1通过将电荷量q3与电荷量q4进行比较，由此判定电荷量q3是否为电荷量q4以上。
309.(步骤s55)
310.距离图像摄像装置1在电荷量q1#、q2大于电荷量q3、且电荷量q3为电荷量q4以上的情况下，应用测定模式m4中的与近距离受光像素对应的运算式(上述(18)式)来运算测定距离。
311.(步骤s57)
312.另一方面，距离图像摄像装置1在步骤s54中电荷量q1#、q2为电荷量q3以下、或者电荷量q3大于电荷量q4的情况下，判定是否是电荷量q2、q3大于电荷量q4、且电荷量q4为电荷量q1#以上。距离图像摄像装置1通过将电荷量q2、q3与电荷量q4进行比较，由此判定电荷
量q2、q3是否大于电荷量q4。另外，距离图像摄像装置1基于(17)式来计算校正后的电荷量q1#，并通过将计算出的电荷量q1#与电荷量q4进行比较，来判定电荷量q4是否为电荷量q1#以上。
313.(步骤s58)
314.距离图像摄像装置1在电荷量q2、q3大于电荷量q4、且电荷量q4为电荷量q1#以上的情况下，应用测定模式m5中的与远距离受光像素对应的运算式(上述(19)式)来运算测定距离。
315.(步骤s59)
316.距离图像摄像装置1在电荷量q2、q3为电荷量q4以下、或者电荷量q4小于电荷量q1#的情况下，应用测定模式m5中的与超远距离受光像素对应的运算式(上述(20)式)来运算测定距离。
317.在上述至少一个实施方式中，以基于所蓄积的电荷量对每一个像素计算距离的情况为例进行了说明。然而，并不限定于此。例如，也可以对于按照每个像素计算出的距离值，基于处于所着眼的像素周围的像素的距离值进行校正，将校正后的值(距离值)作为测定距离。
318.另外，在像素321对反射光rl进行受光时，通过光电转换产生电荷，但并不是与所受光的光量的全部对应的电荷都同时产生。例如，可以认为，所受光的反射光rl中的与近红外线的成分对应的光的透射性较高，因此在光电转换元件pd的内部产生电荷。在这种情况下，应被分配的电荷的一部分延迟地产生，例如，原本应向第一电荷蓄积部分配的电荷向第二电荷蓄积部蓄积。有可能产生所谓的延迟电荷。
319.作为产生这种延迟电荷的因素，可以考虑由于光电转换元件pd的构造而引起的电荷传送的延迟、使用的光脉冲po的照射时间to、或者向电荷蓄积部cs蓄积电荷的分配时间ta等。在由于这些因素产生了较大的延迟电荷的情况下，对于仅蓄积外部光成分的电荷蓄积部cs有可能不仅蓄积外部光成分还蓄积反射光rl的延迟电荷。在该情况下，测定距离的精度降低。
320.作为其对策，可以考虑如上述第二实施方式的测定模式m3那样，在照射光脉冲po的紧前蓄积外部光成分的方法。
321.另外，可以考虑如图15中的照射光脉冲po的定时与使电荷蓄积部cs1蓄积电荷的定时之间的关系那样，使照射光脉冲po的定时与蓄积外部光成分的定时充分地分离的方法。
322.另外，可以考虑如图16中的照射光脉冲po的定时与使电荷蓄积部cs4蓄积电荷的定时之间的关系那样，使照射光脉冲po的定时与蓄积外部光成分的定时充分地分离的方法。
323.图15、图16是表示实施方式的变形例的图。图15表示在上述第二实施方式的测定模式m3中，在比照射光脉冲po的定时足够靠前的定时使电荷蓄积部cs1蓄积外部光成分的动作。图16表示在上述第二实施方式的测定模式m4中，在比照射光脉冲po的定时足够靠后的定时使电荷蓄积部cs4蓄积外部光成分的动作。
324.＜第四实施方式＞
325.接下来，对第四实施方式进行说明。本实施方式与上述实施方式的不同点在于，在
1帧内，一方面控制成使电荷蓄积部cs各自的曝光时间相等，另一方面控制成使蓄积与反射光rl相应的电荷的时间在电荷蓄积部cs各自中不同。另外，在本实施方式中，仅蓄积外部光成分的电荷蓄积部cs未被预先决定(未被固定)。
326.具体地，在本实施方式中，使电荷蓄积部cs分别蓄积电荷的定时在1帧的中途变更。例如，在本实施方式中，在1帧中设置多个测定步骤。在各个测定步骤中，使电荷蓄积部cs蓄积电荷的定时成为相互不同的定时。
327.以下，以作为多个测定步骤而设置1ststep以及2ndstep的情况为例进行说明。此处的1ststep中的使电荷蓄积部cs蓄积电荷的定时是“第一定时”的一个例子。另外，1ststep中的蓄积处理是“第一处理”的一个例子。另外，1ststep中重复蓄积处理的次数是“第一次数”的一个例子。另外，2ndstep中的使电荷蓄积部cs蓄积电荷的定时是“第二定时”的一个例子。另外，2ndstep中的蓄积处理是“第二处理”的一个例子。另外，2ndstep中重复蓄积处理的次数是“第二次数”的一个例子。
328.例如，在距离图像摄像装置1的像素321具备三个电荷蓄积部cs(电荷蓄积部cs1～cs3)的情况下，首先，在1ststep中进行控制，使得与光脉冲po的照射定时同步地向电荷蓄积部cs1、cs2、cs3依次蓄积电荷。接下来，在2ndstep中进行控制，使得不变更使电荷蓄积部cs2、cs3蓄积电荷的定时，而使电荷蓄积部cs2、cs3、cs1依次蓄积电荷。
329.使用图17、图18a、图18b对本实施方式进行说明。图17、图18a、图18b是表示第四实施方式中的驱动像素321的定时的例子的时序图。图17表示像素321具备三个电荷蓄积部cs(电荷蓄积部cs1～cs3)的情况下的时序图。图18a、图18b表示像素321具备四个电荷蓄积部cs(电荷蓄积部cs1～cs4)的情况下的时序图。图17、图18a、图18b中的“l”、“r”、“g1”等项目名与图4a相同。在图17、图18a、图18b中表示光脉冲po的照射时间与蓄积时间为相同时间间隔to的情况下的例子。
330.在以下的说明中，将与近距离相当的距离范围表述为“区域z1”，将与远距离相当的距离范围表述为“区域z2”，将与超远距离相当的距离范围表述为“区域z3”，将比超远距离大的距离表述为“区域z4”。区域z1是“第一距离”的一个例子。区域z2是“第二距离”的一个例子。区域z3是“第三距离”的一个例子。区域z4是“第四距离”的一个例子。
331.图17表示一个像素321具备三个电荷蓄积部cs，在1帧中设置有两个测定步骤(1ststep以及2ndstep)的情况下的时序图。测定控制部43在1ststep中应用以往的定时，使读出栅极晶体管g1～g3按照读出栅极晶体管g1、g2、g3的顺序成为导通状态。测定控制部43在2ndstep中，使读出栅极晶体管g2、g3成为导通状态的定时成为与1ststep相同的定时，使读出栅极晶体管g1～g3按照读出栅极晶体管g2、g3、g1的顺序成为导通状态。
332.即，在2ndstep中，垂直扫描电路323在从光脉冲po的照射起延迟了蓄积时间to的定时，使漏极栅极晶体管gd成为截止状态，并且使读出栅极晶体管g2以蓄积时间to成为导通状态。另外，垂直扫描电路323在使读出栅极晶体管g2成为截止状态的定时使读出栅极晶体管g3以蓄积时间to成为导通状态。垂直扫描电路323在使读出栅极晶体管g3成为截止状态的定时使读出栅极晶体管g1以蓄积时间to成为导通状态。垂直扫描电路323在使读出栅极晶体管g1成为截止状态的定时，使漏极栅极晶体管gd成为导通状态而进行电荷的排出。在2ndstep中，使电荷蓄积部cs1～cs3蓄积电荷的时间与1ststep相同，但使蓄积电荷的定时成为不同的定时。
333.如图17所示那样，考虑延迟时间td比较小，与来自处于区域z1的物体的反射光rl对应的电荷被向1ststep中的电荷蓄积部cs1、cs2分配并蓄积的情况(第一例)。在该情况下，向1ststep中的电荷蓄积部cs3、以及2ndstep中的电荷蓄积部cs1、cs3蓄积与外部光成分对应的电荷。另外，向1ststep中的电荷蓄积部cs1、cs2、以及2ndstep中的电荷蓄积部cs2蓄积与反射光rl对应的电荷。此处的1ststep中的电荷蓄积部cs1是“反射光电荷蓄积部”的一个例子。另外，2ndstep中的电荷蓄积部cs1是“外部光电荷蓄积部”的一个例子。
334.接下来，考虑延迟时间td比图17所示的时间(第一例)大，与来自处于区域z2的物体的反射光rl对应的电荷被向1ststep中的电荷蓄积部cs2、cs3分配并蓄积的情况(第二例)。在该情况下，向1ststep中的电荷蓄积部cs1、以及2ndstep中的电荷蓄积部cs1蓄积与外部光成分对应的电荷。另外，向1ststep中的电荷蓄积部cs2、cs3、以及2ndstep中的电荷蓄积部cs2、cs3蓄积与反射光rl对应的电荷。
335.接下来，考虑延迟时间td比第一例以及第二例大，与来自处于区域z3的物体的反射光rl对应的电荷被向2ndstep中的电荷蓄积部cs3、cs1分配并蓄积的情况(第三例)。在该情况下，向1ststep的电荷蓄积部cs1、cs2、以及2ndstep中的电荷蓄积部cs2蓄积与外部光成分对应的电荷。另外，向1ststep中的电荷蓄积部cs3、以及2ndstep中的电荷蓄积部cs3、cs1蓄积与反射光rl对应的电荷。此处的1ststep中的电荷蓄积部cs1是“外部光电荷蓄积部”的一个例子。另外，2ndstep中的电荷蓄积部cs1是“反射光电荷蓄积部”的一个例子。
336.如此，在本实施方式中，在1ststep与2ndstep中，使电荷蓄积部cs蓄积电荷的定时成为相互不同的定时。由此，即使是一个像素321具备三个电荷蓄积部cs的构成，也能够扩大能够测定的距离。在图17所示的动作的情况下，1帧中的电荷蓄积部cs1的曝光时间与1帧中的电荷蓄积部cs2以及cs3相同。但是，1帧中的电荷蓄积部cs1蓄积的、与反射光rl相应的电荷的蓄积时间不同。因此，在校正成使与反射光rl相应的电荷的蓄积时间相同的基础上，实施距离计算。关于校正的具体方法将后述。
337.如此，在本实施方式中，在向两个电荷蓄积部cs分配并蓄积与反射光rl相应的电荷的情况下，根据反射光rl的强度进行控制，使得向这两个电荷蓄积部cs蓄积与反射光rl相应的电荷的时间(“反射光蓄积时间”的一个例子)在1帧期间内成为相互不同的时间。在本实施方式中，例如假设光脉冲po的强度以及对象物体的反射率为一定，着眼于反射光rl的强度根据对象物体的距离而变化的情况。
338.在图17那样对由存在于区域z1的被摄体ob反射的反射光rl进行受光的情况下，与对由处于区域z2～z3的物体反射的反射光rl进行受光的情况相比较，反射光rl的强度较大。当控制成在图17的情况下与对由处于区域z2～z3的物体反射的反射光rl进行受光的情况下使蓄积与反射光rl相应的电荷的时间成为相同时间时，在图17的情况下与反射光rl相应的电荷量饱和，在对与由处于区域z2～z3的物体反射的反射光rl进行受光的情况下与反射光rl相应的电荷的蓄积量减少。由此，无论在哪种情况下，距离精度都有可能降低。作为其对策，距离图像处理部4进行控制，使得在对强度较大的反射光rl进行了受光的情况下不使电荷蓄积部cs饱和，并且在对强度较小的反射光rl进行了受光的情况下蓄积较多的电荷而提高距离精度。即，距离图像处理部4进行控制，使得在1帧期间内使电荷蓄积部cs1的反射光蓄积时间小于电荷蓄积部cs2的反射光蓄积时间。由此，能够使蓄积与强度更大的反射光rl相应的电荷的电荷蓄积部cs1不饱和，并且使蓄积与强度更小的反射光rl相应的电荷
的电荷蓄积部cs蓄积较多的电荷。在此，图17中的电荷蓄积部cs1以及cs2是“分配并蓄积与反射光rl相应的电荷的两个电荷蓄积部”的一个例子。
339.具体地，在图17中，在1帧期间内设置有：1ststep，使电荷蓄积部cs1～cs3依次蓄积电荷；以及2ndstep，使光脉冲po的照射与电荷蓄积部cs的蓄积的相对定时与1ststep相同，不变更使电荷蓄积部cs2以及cs3蓄积电荷的定时，而将使电荷蓄积部cs1蓄积电荷的定时变更到电荷蓄积部cs3之后。由此，距离图像处理部4进行控制，使得电荷蓄积部cs1的反射光蓄积时间小于电荷蓄积部cs2的反射光蓄积时间。更具体地说，距离图像处理部4将电荷蓄积部cs1的反射光蓄积时间设为(x)，将电荷蓄积部cs2的反射光蓄积时间设为(x+y)。在此，x是1ststep中的电荷蓄积部cs1～cs3各自的曝光时间。y是2ndstep中的电荷蓄积部cs2～cs3各自的曝光时间。
340.图18a、图18b表示一个像素321具备四个电荷蓄积部cs，1帧中设置有两个测定步骤(1ststep以及2ndstep)的情况下的时序图。测定控制部43在1ststep中，应用以往的定时，使读出栅极晶体管g1～g4按照读出栅极晶体管g1、g2、g3、g4的顺序成为导通状态。测定控制部43在2ndstep中，使将读出栅极晶体管g2～g4设为导通状态的定时成为与1ststep相同的定时，使读出栅极晶体管g1～g4按照读出栅极晶体管g2、g3、g4、g1的顺序成为导通状态。
341.即，在2ndstep中，垂直扫描电路323在从光脉冲po的照射起延迟了蓄积时间to的定时，使漏极栅极晶体管gd成为截止状态，并且使读出栅极晶体管g2以蓄积时间to成为导通状态。另外，垂直扫描电路323在使读出栅极晶体管g2成为截止状态的定时使读出栅极晶体管g3以蓄积时间to成为导通状态。垂直扫描电路323在使读出栅极晶体管g3成为截止状态的定时使读出栅极晶体管g4以蓄积时间to成为导通状态。垂直扫描电路323在使读出栅极晶体管g4成为截止状态的定时使读出栅极晶体管g1以蓄积时间to成为导通状态。垂直扫描电路323在使读出栅极晶体管g1成为截止状态的定时，使漏极栅极晶体管gd成为导通状态而进行电荷的排出。在2ndstep中，使电荷蓄积部cs1～cs4蓄积电荷的时间与1ststep相同，但使蓄积电荷的定时成为不同的定时。
342.如图18a所示那样，考虑延迟时间td比较小，与来自处于区域z1的物体的反射光rl对应的电荷被向1ststep中的电荷蓄积部cs1、cs2分配并蓄积的情况。在该情况下，向1ststep中的电荷蓄积部cs3、cs4、以及2ndstep中的电荷蓄积部cs2、cs3、cs1蓄积与外部光成分对应的电荷。另外，向1ststep中的电荷蓄积部cs1、cs2、以及2ndstep中的电荷蓄积部cs2蓄积与反射光rl对应的电荷。此处的1ststep中的电荷蓄积部cs1是“反射光电荷蓄积部”的一个例子。另外，2ndstep中的电荷蓄积部cs1是“外部光电荷蓄积部”的一个例子。
343.接下来，考虑延迟时间td比图18a所示的时间大，与来自处于区域z2的物体的反射光rl对应的电荷被向1ststep中的电荷蓄积部cs2、cs3分配并蓄积的情况(第四例)。在该情况下，向1ststep中的电荷蓄积部cs1、cs4、以及2ndstep中的电荷蓄积部cs4、cs1蓄积与外部光成分对应的电荷。另外，向1ststep中的电荷蓄积部cs2、cs3、以及2ndstep中的电荷蓄积部cs2、cs3蓄积与反射光rl对应的电荷。
344.接下来，考虑延迟时间td比第四例大，与来自处于区域z3的物体的反射光rl对应的电荷被向1ndstep中的电荷蓄积部cs3、cs4分配并蓄积的情况(第五例)。在该情况下，向1ststep中的电荷蓄积部cs1、cs2、以及2ndstep中的电荷蓄积部cs2、cs1蓄积与外部光成分
对应的电荷。另外，向1ststep中的电荷蓄积部cs3、cs4、以及2ndstep中的电荷蓄积部cs3、cs4蓄积与反射光rl对应的电荷。
345.然后，如图18b所示那样，考虑延迟时间td比第五例所示的时间大，与来自处于区域z4的物体的反射光rl对应的电荷被向2ndstep中的电荷蓄积部cs4、cs1分配并蓄积的情况。在该情况下，向1ststep中的电荷蓄积部cs1～cs3、以及2ndstep中的电荷蓄积部cs2、cs3蓄积与外部光成分对应的电荷。另外，向1ststep中的电荷蓄积部cs4、以及2ndstep中的电荷蓄积部cs4、cs1蓄积与反射光rl对应的电荷。此处的1ststep中的电荷蓄积部cs1是“外部光电荷蓄积部”的一个例子。另外，2ndstep中的电荷蓄积部cs1是“反射光电荷蓄积部”的一个例子。
346.如此，在本实施方式中，在1ststep与2ndstep中，将使电荷蓄积部cs蓄积电荷的定时设为相互不同的定时。由此，在一个像素321具备四个电荷蓄积部cs的构成中，与使电荷蓄积部cs蓄积电荷的定时固定的情况相比较，能够扩大能够测定的距离。在图18a、图18b所示的动作的情况下，1帧中的电荷蓄积部cs1的曝光时间与其他电荷蓄积部cs2～cs4相同。但是，1帧中的电荷蓄积部cs1蓄积的、与反射光rl相应的电荷的蓄积时间不同。因此，需要在校正成与反射光rl相应的电荷的蓄积时间成为相同的基础上实施距离计算。
347.在此对校正的具体方法进行说明。以下，以使具备四个电荷蓄积部cs的像素321按照图18a(图18b)的时序图驱动的情况为例进行说明。对于图17那样的使具备三个电荷蓄积部cs的像素321驱动的情况，也能够应用该方法。距离运算部42判定像素321对来自哪个区域z的反射光rl进行了受光，并根据判定结果对每个像素321进行校正。
348.(对来自区域z1的反射光rl进行受光的情况)
349.距离运算部42在对来自区域z1的反射光rl进行受光的像素321中应用下述(21)式以及(22)式，由此计算延迟时间td。
350.q1###＝(q1－q4)
×
{(x+y)/x}+q4
…
(21)
351.td＝to
×
(q2－q4)/(q1###+q2－2
×
q4)
…
(22)
352.在此，(21)式以及(22)式中的q1###表示校正后的电荷蓄积部cs1蓄积的电荷量。另外，(21)式中的x是1ststep中的电荷蓄积部cs1的曝光时间。(21)式中的y是2ndstep中的其他电荷蓄积部cs(电荷蓄积部cs2)的曝光时间。
353.在此，电荷蓄积部cs的曝光时间是将单位蓄积时间中的电荷蓄积部cs的蓄积时间与分配次数相乘而得到的值。即，电荷蓄积部cs中的分配次数与曝光时间处于呈比例的关系。由此，也可以为，x是1ststep中的分配次数，y是2ndstep中的分配次数。
354.另外，在(21)式以及(22)式中，q1是电荷蓄积部cs1蓄积的电荷量，q2是电荷蓄积部cs2蓄积的电荷量，q4是电荷蓄积部cs4蓄积的电荷量。另外，在(22)式中，td是延迟时间，to是照射光脉冲po的期间。
355.在(21)式以及(22)式中的前提为，电荷蓄积部cs1以及cs2蓄积的电荷量中的与外部光成分相当的电荷量与电荷蓄积部cs4蓄积的电荷量为同量。在此，在(21)式以及(22)式中表示将仅蓄积外部光成分的电荷蓄积部cs设为电荷蓄积部cs4的情况。在对来自区域z1的反射光rl进行受光的情况下，仅蓄积外部光成分的电荷蓄积部cs为电荷蓄积部cs3、cs4。因此，也可以将(21)式以及(22)式中的q4设为q3。q3是电荷蓄积部cs3蓄积的电荷量。
356.另外，在仅蓄积外部光成分的电荷蓄积部cs存在多个的情况下，可以任意地决定
将哪个电荷蓄积部cs蓄积的电荷量设为与外部光成分相当的电荷量。例如，将仅蓄积外部光成分的电荷蓄积部cs蓄积的电荷量中的最少的电荷量决定为与外部光成分相当的电荷量。
357.(对来自区域z2、区域z3的反射光rl进行受光的情况)
358.距离运算部42在对来自区域z2的反射光rl进行受光的像素321中应用下述(23)式，由此计算延迟时间td。另外，距离运算部42在对来自区域z3的反射光rl进行受光的像素321中应用下述(24)式，由此计算延迟时间td。
359.td＝to
×
(q3－q1)/(q2+q3－2
×
q1)
…
(23)
360.td＝to
×
(q4－q1)/(q3+q4－2
×
q1)
…
(24)
361.在此，在(23)式以及(24)式中，td是延迟时间，to是照射光脉冲po的期间。在(23)式以及(24)式中，q1是电荷蓄积部cs1蓄积的电荷量，q2是电荷蓄积部cs2蓄积的电荷量，q3是电荷蓄积部cs3蓄积的电荷量，q4是电荷蓄积部cs4蓄积的电荷量。
362.另外，在(23)式中的前提为，电荷蓄积部cs2以及cs3蓄积的电荷量中的与外部光成分相当的电荷量与电荷蓄积部cs1蓄积的电荷量为同量。在(24)式中的前提为，电荷蓄积部cs3以及cs4蓄积的电荷量中的与外部光成分相当的电荷量与电荷蓄积部cs1蓄积的电荷量为同量。另外，也可以将(23)式中的q1设为q4。另外，也可以将(24)式中的q1设为q2。
363.(对来自区域z4的反射光rl进行受光的情况)
364.距离运算部42在对来自区域z4的反射光rl进行受光的像素321中应用下述(25)式以及(26)式，由此计算延迟时间td。
365.q1####＝(q1－q2)
×
{(x+y)/x}+q2
…
(25)
366.td＝to
×
(q1####－q2)/(q4+q1####－2
×
q2)
…
(26)
367.在此，(25)式、(26)式中的q1####表示校正后的电荷蓄积部cs1蓄积的电荷量。另外，(25)式中的x是1ststep中的电荷蓄积部cs1的反射光蓄积时间。(25)式中的y是2ndstep中的其他电荷蓄积部cs(电荷蓄积部cs4)的反射光蓄积时间。
368.另外，在(25)式以及(26)式中，q1是电荷蓄积部cs1蓄积的电荷量，q2是电荷蓄积部cs2蓄积的电荷量，q4是电荷蓄积部cs4蓄积的电荷量。另外，在(26)式中，td是延迟时间，to是照射光脉冲po的时间。另外，在(25)式以及(26)式中前提为，电荷蓄积部cs4以及cs1蓄积的电荷量中的与外部光成分相当的电荷量与电荷蓄积部cs2蓄积的电荷量为同量。另外，也可以将(25)式以及(26)式中的q2设为q3。q3是电荷蓄积部cs3蓄积的电荷量。
369.距离运算部42根据像素321各自受光的反射光rl的状况来应用上述式。距离运算部42在运算距离的过程中，例如将校正后的电荷量q1(即，电荷量q1###～q1####)与电荷量q2～q4的电荷量分别进行比较，由此判定像素321对来自处于区域z1～z4中的哪个区域的物体的反射光rl进行了受光，并根据判定结果来决定对像素321应用上述式中的哪个。
370.例如，在像素321是区域z1受光像素的情况下，来自被摄体ob的反射光rl被向电荷蓄积部cs1以及cs2分配并受光，外部光成分被电荷蓄积部cs3以及cs4受光。在该情况下，在电荷蓄积部cs3以及cs4中蓄积比电荷蓄积部cs1以及cs2少的电荷量。利用该性质，距离运算部42判定像素321是否是区域z1受光像素，在判定为像素321是区域z1受光像素的情况下，在距离的运算中应用(21)式以及(22)式。
371.例如，在像素321是区域z2受光像素的情况下，来自被摄体ob的反射光rl被向电荷
蓄积部cs2以及cs3分配并受光，外部光成分被电荷蓄积部cs1以及cs4受光。在该情况下，在电荷蓄积部cs1以及cs4中蓄积比电荷蓄积部cs2以及cs3少的电荷量。利用该性质，距离运算部42判定像素321是否是区域z2受光像素，在判定为像素321是区域z2受光像素的情况下，在距离的运算中应用(23)式。
372.例如，在像素321是区域z3受光像素的情况下，来自被摄体ob的反射光rl被向电荷蓄积部cs3以及cs4分配并受光，外部光成分被电荷蓄积部cs1以及cs2受光。在该情况下，在电荷蓄积部cs1以及cs2中蓄积比电荷蓄积部cs3以及cs4少的电荷量。利用该性质，距离运算部42判定像素321是否是区域z3受光像素，在判定为像素321是区域z3受光像素的情况下，在距离的运算中应用(24)式。
373.例如，在像素321是区域z4受光像素的情况下，来自被摄体ob的反射光rl被向电荷蓄积部cs4以及cs1分配并受光，外部光成分被电荷蓄积部cs2以及cs3受光。在该情况下，在电荷蓄积部cs2以及cs3中蓄积比电荷蓄积部cs4以及cs1少的电荷量。利用该性质，距离运算部42判定像素321是否是区域z4受光像素，在判定为像素321是区域z4受光像素的情况下，在距离的运算中应用(25)式以及(26)式。
374.另外，在上述中以如下情况为例进行了说明：将1帧分为1ststep与2ndstep这两个，在各个step中，反复进行变更了使电荷蓄积部cs1蓄积电荷的定时的处理。然而，并不限定于此。也可以在1帧中的一系列蓄积处理中，随机或者伪随机地切换1ststep与2ndstep。由此，在1帧中使电荷蓄积部cs1蓄积电荷的定时偏差消失，减少噪声等外部干扰因素。
375.另外，在上述中以如下情况为例进行了说明：通过变更使电荷蓄积部cs1蓄积电荷的定时，由此能够到区域z4为止进行测定。然而，并不限定于此。例如，在2ndstep中，不仅是电荷蓄积部cs1，也可以变更使电荷蓄积部cs2、cs3蓄积电荷的定时。具体地，在2ndstep中进行控制，使得将使电荷蓄积部cs4蓄积电荷的定时成为与1ststep相同的定时，向电荷蓄积部cs4、cs1、cs2、cs3依次蓄积电荷。由此，能够将能够测定距离的范围扩大到大于区域z4的区域z5、大于区域z5的区域z6。在该情况下，与外部光成分相当的电荷量在电荷蓄积部cs各自中不变而成为相同的电荷量。另一方面，在蓄积与反射光rl相应的电荷的电荷蓄积部cs中，使电荷蓄积部cs蓄积与反射光rl相应的电荷的时间有时不同。在该情况下，校正成使一方的电荷蓄积部cs蓄积与反射光rl相应的电荷的时间与另一方相等。在校正中，能够应用与上述(21)式、(25)式相同的思考方式。
376.另外，在上述中以如下情况为例进行了说明：通过将电荷蓄积部cs蓄积的电荷量以及校正后的电荷量分别进行比较，由此决定仅蓄积外部光成分的电荷蓄积部cs，并判定是对来自哪个区域z的反射光rl进行受光的像素321。然而，并不限定于这样的判定方法。例如，也可以使用专利文献wo2019/031510所记载的那样的方法：通过判定与反射光rl相应的电荷量的合计值是否超过规定的阈值等，由此对计算式的变更、计测距离的有效性进行判定而决定距离。
377.如以上说明的那样，在本实施方式中，进行控制而使得在设置于同一像素321的多个电荷蓄积部cs(电荷蓄积部cs1、其他电荷蓄积部cs2～cs4)中使由反射光rl产生的电荷的蓄积时间成为相互不同时间。由此，能够使区域z1受光像素的电荷蓄积部cs1在不饱和的范围内蓄积电荷，并且使区域z2受光像素的电荷蓄积部cs2以及cs3蓄积更多的电荷。另外，能够使区域z3受光像素的电荷蓄积部cs3以及cs4蓄积更多的电荷。另外，能够将测定范围
扩展到区域z4。在此，区域z1受光像素是对来自区域z1的反射光rl进行受光的像素321。区域z2受光像素是对来自区域z2的反射光rl进行受光的像素321。区域z3受光像素是对来自区域z3的反射光rl进行受光的像素321。因此，即使在测定范围内混合存在处于区域z1的物体、处于区域z2的物体、处于区域z3的物体、处于区域z4的物体的情况下，也能够高精度地测定处于区域z2的物体、处于区域z3的物体、处于区域z4的物体。
378.另外，在本实施方式中，电荷蓄积部cs1的1帧中的合计的曝光时间成为与电荷蓄积部cs2至cs4相同的曝光时间。因此，与外部光成分相应的电荷量在哪个电荷蓄积部中都成为相同的电荷量。因此，在电荷蓄积部cs仅蓄积与外部光成分相应的电荷量的情况下，在计算距离时无需对该电荷蓄积部cs中的电荷蓄积量进行校正。即，能够得到噪声等外部干扰因素的降低效果。
379.另外，本实施方式中的1ststep以及2ndstep的分配次数(曝光时间)的详细内容可以根据状况任意地设定。例如，也可以控制为，按照预先决定的次数进行动作。本实施方式中的1ststep的分配次数优选以区域z1受光像素中的电荷蓄积部cs1不饱和的范围为上限而被设定。也可以设置具体的阈值来决定1ststep的分配次数。例如，在距离0.5m的位置处存在反射率90％的物体的情况下，也可以以蓄积电荷蓄积部cs1的容量的80％左右的电荷量的方式决定1ststep的分配次数。
380.在本实施方式中，在2ndstep中在电荷蓄积部cs4之后使电荷蓄积部cs1成为导通状态，由此能够对来自区域z4的反射光rl进行受光。在该情况下，可以认为电荷蓄积部cs1蓄积的电荷量与电荷蓄积部cs4蓄积的电荷量相比较变得非常小。一般来说，在电荷蓄积部cs蓄积的电荷量较大的情况下，能够提高所测定的距离的精度。因此，在想要提高到处于区域z1的物体的距离精度的情况下，可以考虑增多1ststep的分配次数。另一方面，在想要提高到处于区域z4的物体的距离精度的情况下，优选减少1ststep的分配次数而增多2ndstep的分配次数。
381.另外，2ndstep的分配次数优选设定为，无论在对来自哪个区域z的反射光rl进行受光的像素321中，电荷蓄积部cs2～cs4不饱和且对来自各区域z的反射光rl进行受光的电荷蓄积部cs蓄积的电荷量，成为大到能够高精度地运算距离的程度的值。
382.如此，在本实施方式中，在向两个电荷蓄积部cs分配并蓄积与反射光rl相应的电荷的情况下，根据反射光rl的强度进行控制，使得这两个电荷蓄积部cs蓄积与反射光rl相应的电荷的时间(“反射光蓄积时间”的一个例子)在1帧期间内成为相互不同的时间。在本实施方式中，例如，假设光脉冲po的强度以及对象物体的反射率为一定，着眼于反射光rl的强度根据对象物体的距离而变化的情况。
383.在图18a、18b中，在图18a那样对由存在于区域z1的被摄体ob反射的反射光rl进行受光的情况下，与图18b那样对由处于区域z4的物体反射的反射光rl进行受光的情况相比较，反射光rl的强度较大。当控制成在图18a与图18b的情况下使蓄积与反射光rl相应的电荷的时间成为相同时间时，在图18a的情况下与反射光rl相应的电荷量饱和，在图18b的情况下与反射光rl相应的电荷的蓄积量变少。由此，无论在哪种情况下，距离精度都有可能降低。作为其对策，距离图像处理部4进行控制，使得在对强度较大的反射光rl进行了受光的情况下不使电荷蓄积部cs饱和，并且在对强度较小的反射光rl进行了受光的情况下蓄积较多的电荷而提高距离精度。即，距离图像处理部4进行控制，使得在1帧期间内电荷蓄积部
cs1的反射光蓄积时间小于电荷蓄积部cs2的反射光蓄积时间。由此，能够使对与强度更大的反射光rl相应的电荷进行蓄积的电荷蓄积部cs1不饱和，并且使对与强度更小的反射光rl相应的电荷进行蓄积的电荷蓄积部cs蓄积较多的电荷。在此，图18a中的电荷蓄积部cs1以及cs2是“分配并蓄积与反射光rl相应的电荷的两个电荷蓄积部”的一个例子。
384.具体地，在图18a、18b中，在1帧期间内设置有：1ststep，使电荷蓄积部cs1～cs4依次蓄积电荷；以及2ndstep，使光脉冲po的照射与电荷蓄积部cs的蓄积的相对定时与1ststep相同，不变更使电荷蓄积部cs2～cs4蓄积电荷的定时，而将使电荷蓄积部cs1蓄积电荷的定时变更到电荷蓄积部cs4之后。由此，距离图像处理部4进行控制，使得电荷蓄积部cs1的反射光蓄积时间小于电荷蓄积部cs2的反射光蓄积时间。更具体地说，距离图像处理部4将电荷蓄积部cs1的反射光蓄积时间设为(x)，将电荷蓄积部cs2的反射光蓄积时间设为(x+y)。在此，x是1ststep中的电荷蓄积部cs1～cs4各自的曝光时间。y是2ndstep中的电荷蓄积部cs2～cs4各自的曝光时间。
385.在图18a、图18b的例子中，在2ndstep中，将使电荷蓄积部cs1蓄积电荷的定时变更到电荷蓄积部cs4之后，因此能够将测定范围扩大到区域z4。
386.(第一实施方式的效果)
387.在此，对第一实施方式的效果进行说明。在第一实施方式中，在一个像素321设置有三个电荷蓄积部cs。另外，作为以往的动作，应用了图4a的时序图规定的动作。以光脉冲po的照射时间to以及向电荷蓄积部cs蓄积电荷的蓄积时间ta成为39ns的方式，使距离图像摄像装置1进行了动作。此时，在离距离图像摄像装置1为0.5m的距离处存在对象物ta(被摄体ob)，由对象物ta反射的反射光rl被像素ga受光。另外，在离距离图像摄像装置1为8m的距离处存在对象物tb(被摄体ob)，由对象物tb反射的反射光rl被像素gb受光。
388.另外，对象物ta、tb的反射率为80％。当在该状况下实施以往的动作时，像素ga在较早的阶段饱和。在此次的构成中，在累计次数5000次(曝光时间170μs)饱和。在以往例中，对来自对象物tb的反射光rl进行受光的像素gb的累计次数也成为5000次(曝光时间170μs)。电荷蓄积部cs能够蓄电的电荷量较少。因此，曝光时间较短，与由外部光产生的电荷量之间的较大的差消失，容易埋没于噪声而难以进行准确的距离计算。在这样的以往例中使距离图像摄像装置1动作的结果，距离分辨率成为10％。这表示存在于8m距离处的物体(被摄体ob)在7.2m～8.8m的范围内被测定出。
389.另一方面，在第一实施方式的测定模式m1中，对于近距离受光像素通过累计次数5000次测定了距离，但在远距离受光像素中，在停止了向第一电荷蓄积部的电荷分配的状态下实施电荷分配，到累计次数成为合计250000次(曝光时间8500μs)为止，能够不饱和地蓄积电荷。在距离计算中，通过对于第一电荷蓄积部蓄积的电荷，作为校正值而乘以8500/170，由此对电荷量进行了校正。其结果，存在于8m距离处的对象物的距离分辨率成为0.5％。这表示存在于8m距离处的物体(被摄体ob)在7.96m～8.04m的范围内被测定出。
390.图19中示出在近距离的对象物处于0.5m的情况下，将对0.5m至12m的距离进行测定的结果与本发明的方法进行了比较的图。另外，12m是具备该条件的构造的距离图像摄像装置1能够测定的上限值。
391.图19是说明实施方式的效果的图。图19的横轴表示测定距离[m]。图19的纵轴表示测定距离的分辨率[％]。
[0392]
如图19所示那样，例如，大约0.5m至6m的测定范围被决定为近距离。其原因在于，光脉冲po的照射时间to以及向电荷蓄积部cs蓄积电荷的分配时间ta被设定为39[ns]。以往例(记载为通常驱动)以及本实施方式(记载为本发明的驱动)的近距离，均将来自处于测定距离为约0.5m的被摄体ob的反射光rl不饱和的曝光时间作为上限而设定分配次数。因此，在测定距离小于6m的范围内，成为距离分辨率为数％以上的较差结果。在以往例中，通过使照射时间to以及蓄积时间ta更短、即设为20[ns]等，由此近距离成为约0～3m、远距离成为3m～6m。通过该方法，如果将来自处于约0.5m的被摄体ob的反射光rl不饱和的曝光时间作为上限来设定分配次数，则能够在小于3m的范围内使距离分辨率成为1％以下。但是，在该情况下，在3m以上的远距离中分辨率恶化为几％以上。
[0393]
与此相对，在本实施方式(记载为本发明的驱动)中，在使测定范围减小的情况下，将照射时间to以及蓄积时间ta如设定为20[ns]那样使其更短。在该情况下，近距离成为约0～3m，远距离成为3m～6m。通过在该条件下应用本实施方式，由此即使是小于6m的距离也能够使分辨率优化到1％以下程度。当在该条件下测定更远距离的情况下，使用测定模式m3～m5中的某一个而将设置于一个像素321的电荷蓄积部cs的数量设为四个。由此，在本实施方式(记载为本发明的驱动)中，在测定范围到达9m为止，能够保持距离精度不变地对较近距离至更远范围(较近距离至更远距离的范围)进行测定。为了到更远范围为止进行测定，需要将电荷蓄积部的数量设为四个以上。
[0394]
(第二实施方式的效果)
[0395]
在此，对第二实施方式的效果进行说明。在第二实施方式中，在像素321设置有四个电荷蓄积部cs。通过应用测定模式m4的动作(图12的时序图规定的动作)来尝试了距离的测定。
[0396]
另外，将光脉冲po的照射时间to以及向电荷蓄积部cs蓄积电荷的分配时间ta设为39[ns]。另外，在作为摄像对象的空间中，在离距离图像摄像装置1为0.5m的距离处存在对象物ta(被摄体ob)。在距离图像摄像装置1中，来自对象物ta的反射光rl被像素ga受光。另外，在作为摄像对象的空间中，在离距离图像摄像装置1为8.0m的距离处存在对象物tb(被摄体ob)。在距离图像摄像装置1中，来自对象物tb的反射光rl被像素gb受光。另外，对象物ta的光脉冲po的反射率为80％。另外，将电荷蓄积部cs4固定为蓄积与外部光对应的电荷的电荷蓄积部cs。
[0397]
当在上述那样的设定条件下实施动作时，对来自近距离的反射光rl进行受光的像素ga在比较早的阶段饱和。在该构成中，在累计次数(也称为分配次数)5000次(相当于曝光时间170μs)饱和。在以往的动作中，对来自处于8m距离处的对象物tb的反射光rl进行受光的像素gb的累计次数也成为5000次。
[0398]
在该情况下，来自较远距离的反射光rl的光量衰减而被受光，因此电荷蓄积部cs能够蓄电的电荷量较少。因此，曝光时间较短，与由外部光产生的电荷量之间的较大的差消失，容易埋没于噪声而难以进行准确的距离计算。在这样的以往例中使距离图像摄像装置1动作的结果，距离分辨率成为10％。这表示存在于8m距离处的物体(被摄体ob)在7.2m～8.8m的范围内被测定出。
[0399]
与此相对，在第二实施方式的测定模式m4中，在近距离受光像素中，以累计次数5000次测定了距离，但在远距离受光像素中，使向电荷蓄积部cs1的电荷分配停止而实施电
荷的分配，到累计次数成为合计250000次(曝光时间8500μs)为止，能够不饱和地蓄积电荷。在距离计算中，通过对于第一电荷蓄积部蓄积的电荷，作为校正值而乘以8500/170，由此对电荷量进行了校正。其结果，存在于8m距离处的对象物的距离分辨率成为0.5％。这表示存在于8m距离处的物体(被摄体ob)在7.96m～8.04m的范围内被测定出。
[0400]
在这次的条件下，第一实施例以及第二实施例都成为同样的结果。在这次的实施例中，光脉冲po的照射时间to以及向电荷蓄积部cs蓄积电荷的分配时间ta被设定为39ns。这相当于由于照射时间to被设定为较大的值、因此延迟电荷的产生量较少、延迟电荷的影响较少的条件。在为了提高距离的精度而将照射时间to设定为较小值的情况下，延迟电荷的产生量容易变多。因此，可以认为电荷蓄积部cs的数量较多的第二实施方式更适合。但是，在第二实施方式中，安装变得困难，因此优选根据所设定的条件来设定适合的构造以及动作定时。
[0401]
如以上说明的那样，第一实施方式的距离图像摄像装置1具备光源部2、受光部3、以及距离图像处理部4。光源部2向测定空间e照射光脉冲po。受光部3具有：像素，具备产生与所入射的光相应的电荷的光电转换元件pd、以及蓄积上述电荷的多个电荷蓄积部cs；以及垂直扫描电路323(像素驱动电路)，在与光脉冲po的照射同步的规定的蓄积定时，向电荷蓄积部cs分别分配并蓄积电荷。距离图像处理部4基于电荷蓄积部cs各自蓄积的电荷量，测定到存在于测定空间e的被摄体ob的距离。距离图像处理部4对在一次分配处理中使电荷蓄积部cs蓄积电荷的蓄积时间ta、或者在1帧期间内进行分配处理的次数(分配次数)进行控制，使得在1帧期间内使电荷蓄积部cs各自的曝光时间成为相互不同时间。
[0402]
由此，在第一实施方式的距离图像摄像装置1中，能够使像素具备的多个电荷蓄积部分别以相互不同的曝光时间蓄积电荷。因此，能够高精度地测定处于近距离的物体与处于远距离的物体。
[0403]
在此，作为比较例，可以考虑如下构成：代替在1帧中设定多个测定步骤，而在1帧中设置多个副帧，按照副帧单位来变更曝光时间，每当副帧的动作结束时就进行读出。在该情况下，即使减小脉冲宽度(蓄积时间ta)，通过按照每个副帧来充分地设定累计次数并且使副帧数增加，由此能够延长测定距离。作为其结果，具有能够在使测定距离延长的同时提高测定的精度这样的优点。其反面，具有如下缺点：每当副帧的动作结束就需要读出，读出时间变多，测定花费时间。另外，需要用于保持所读出的数据的数据储存区域。另外，在副帧的数量较多的情况下，具有曝光时间变少、难以维持测定精度的趋势。另外，在副帧的数量较多的情况下，具有控制变复杂的趋势。
[0404]
与此相对，在第一实施方式中，在1帧中虽然设置有多个测定步骤，但只要在1帧的动作结束之后进行一次数据的读出即可。因此，能够抑制每1帧的数据读出需要的时间，能够更多地确保1帧内的曝光时间。
[0405]
另外，在第一实施方式中，在测定步骤的各自中不是进行完全不同的动作，除了控制为仅不蓄积电荷的读出栅极晶体管g不会成为导通状态以外，遍及1帧都通过相同动作进行控制。因此，即使步骤数增加，控制也较容易。
[0406]
上述实施方式的距离图像摄像装置1、距离图像处理部4的全部或者一部分也可以由计算机实现。在该情况下，通过将用于实现该功能的程序记录于计算机可读取的记录介质，将该记录介质所记录的程序读入计算机系统并执行来实现。另外，此处所述的“计算机
系统”包括os、周边设备等硬件。另外，“计算机可读取的记录介质”是指软盘、光磁盘、rom、cd-rom等可搬介质、内置于计算机系统的硬盘等存储装置。并且，“计算机可读取的记录介质”也可以包括经由因特网等网络、电话线路等通信线路发送程序的情况下的通信线那样在短时间的期间动态地保持程序的介质，该情况下的服务器、成为客户端的计算机系统内部的挥发性存储器那样在一定时间内保持程序的介质。此外，上述程序可以是用于实现上述功能的一部分的程序，并且也可以是能够通过与计算机系统中已经记录的程序的组合来实现上述功能的程序，还可以是使用fpga等可编程逻辑器件来实现的程序。
[0407]
以上，参照附图对本发明的实施方式进行了详细叙述，但具体构成不限定于该实施方式，也包含不脱离本发明的主旨的范围的设计等。
[0408]
工业上的可利用性
[0409]
根据本发明，能够根据像素受光的反射光的强度，使像素所具备的多个电荷蓄积部分别在相互不同的时间蓄积由反射光产生的电荷。
[0410]
附图标记说明
[0411]1…
距离图像摄像装置
[0412]2…
光源部
[0413]3…
受光部
[0414]
32
…
距离图像传感器
[0415]
321
…
像素
[0416]
323
…
垂直扫描电路
[0417]4…
距离图像处理部
[0418]
41
…
定时控制部
[0419]
42
…
距离运算部
[0420]
43
…
测定控制部
[0421]
cs
…
电荷蓄积部
[0422]
po
…
光脉冲

技术特征：
1.一种距离图像摄像装置，具备：光源部，向测定对象的空间即测定空间照射光脉冲；受光部，其具有：像素，具备产生与所入射的光相应的电荷的光电转换元件以及蓄积上述电荷的三个以上的电荷蓄积部；以及像素驱动电路，在与上述光脉冲的照射同步的规定的定时，向上述像素中的上述电荷蓄积部分别分配上述电荷并使其蓄积；以及距离图像处理部，基于上述电荷蓄积部分别蓄积的电荷量，运算到存在于上述测定空间的被摄体的距离，上述距离图像处理部为，在向两个上述电荷蓄积部分配与由上述被摄体反射的上述光脉冲的反射光相应的电荷并使其蓄积的情况下，根据上述反射光的强度进行控制，使得向上述两个上述电荷蓄积部蓄积与上述反射光相应的电荷的反射光蓄积时间在1帧期间内成为相互不同的时间。2.如权利要求1所述的距离图像摄像装置，其中，上述距离图像处理部为，在上述分配处理中，将上述像素驱动电路控制为，与由上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述三个以上的上述电荷蓄积部中的第一电荷蓄积部以及不同于上述第一电荷蓄积部的第二电荷蓄积部依次分配并蓄积，对在一次分配处理中向上述电荷蓄积部分别蓄积电荷的蓄积时间、或者在1帧期间内进行上述分配处理的次数进行控制，使得上述第一电荷蓄积部的曝光时间与其他上述电荷蓄积部相比较成为最少的曝光时间。3.如权利要求1所述的距离图像摄像装置，其中，上述距离图像处理部为，在上述分配处理中，将上述像素驱动电路控制为，仅与外部光成分对应的电荷被向上述三个以上的上述电荷蓄积部中的第一电荷蓄积部蓄积，与由上述被摄体反射的上述光脉冲的反射光对应的电荷被向不同于上述第一电荷蓄积部的第二电荷蓄积部以及不同于上述第一电荷蓄积部和上述第二电荷蓄积部的第三电荷蓄积部依次分配并蓄积，对在一次分配处理中向上述电荷蓄积部分别蓄积电荷的蓄积时间、或者在1帧期间内进行上述分配处理的次数进行控制，使得上述第二电荷蓄积部的曝光时间与其他上述电荷蓄积部相比较成为最少的曝光时间。4.如权利要求1至3中任一项所述的距离图像摄像装置，其中，上述距离图像处理部为，基于上述电荷蓄积部各自的曝光时间对上述电荷蓄积部分别蓄积的电荷量进行校正，使用校正后的电荷量运算到上述被摄体的距离。5.如权利要求1所述的距离图像摄像装置，其中，在上述像素中设置有第一电荷蓄积部、第二电荷蓄积部以及第三电荷蓄积部，上述距离图像处理部为，将上述像素驱动电路控制为，与由处于第一距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第
一电荷蓄积部以及上述第二电荷蓄积部依次分配并蓄积，与由处于比上述第一距离大的第二距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第二电荷蓄积部以及上述第三电荷蓄积部依次分配并蓄积。6.如权利要求5所述的距离图像摄像装置，其中，上述距离图像处理部为，基于上述电荷蓄积部各自的曝光时间对上述电荷蓄积部分别蓄积的电荷量进行校正，将校正后的上述第一电荷蓄积部蓄积的电荷量与校正后的上述第三电荷蓄积部的电荷量进行比较，在校正后的上述第一电荷蓄积部蓄积的电荷量大于校正后的上述第三电荷蓄积部的电荷量的情况下，判定为上述像素是对由处于上述第一距离的上述被摄体反射的上述光脉冲的反射光进行了受光的像素，在校正后的上述第一电荷蓄积部蓄积的电荷量为校正后的上述第三电荷蓄积部的电荷量以下的情况下，判定为上述像素是对由处于上述第二距离的上述被摄体反射的上述光脉冲的反射光进行了受光的像素。7.如权利要求6所述的距离图像摄像装置，其中，上述距离图像处理部为，作为上述第一距离以及上述第二距离的范围，应用与上述光脉冲的照射时间、以及在一次分配处理中向上述电荷蓄积部分别蓄积电荷的蓄积时间相应的范围。8.如权利要求1所述的距离图像摄像装置，其中，在上述像素中设置有第一电荷蓄积部、第二电荷蓄积部、第三电荷蓄积部以及第四电荷蓄积部，上述距离图像处理部为，将上述像素驱动电路控制为，仅与外部光成分对应的电荷被向上述第一电荷蓄积部蓄积，与由处于第一距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第二电荷蓄积部以及上述第三电荷蓄积部依次分配并蓄积，与由处于比上述第一距离大的第二距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第三电荷蓄积部以及上述第四电荷蓄积部依次分配并蓄积。9.如权利要求1所述的距离图像摄像装置，其中，在上述像素中设置有第一电荷蓄积部、第二电荷蓄积部、第三电荷蓄积部以及第四电荷蓄积部，上述距离图像处理部为，将上述像素驱动电路控制为，与由处于第一距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第一电荷蓄积部以及上述第二电荷蓄积部依次分配并蓄积，与由处于比上述第一距离大的第二距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第二电荷蓄积部以及上述第三电荷蓄积部依次分配并蓄积，仅与外部光成分对应的电荷被向上述第四电荷蓄积部蓄积。10.如权利要求1所述的距离图像摄像装置，其中，
在上述像素中设置有第一电荷蓄积部、第二电荷蓄积部、第三电荷蓄积部以及第四电荷蓄积部，上述距离图像处理部为，将上述像素驱动电路控制为，与由处于第一距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第一电荷蓄积部以及上述第二电荷蓄积部依次分配并蓄积，与由处于比上述第一距离大的第二距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第二电荷蓄积部以及上述第三电荷蓄积部依次分配并蓄积，与由处于比上述第二距离大的第三距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第三电荷蓄积部以及上述第四电荷蓄积部依次分配并蓄积。11.如权利要求8至10中任一项所述的距离图像摄像装置，其中，上述距离图像处理部为，基于上述电荷蓄积部各自的曝光时间对上述电荷蓄积部分别蓄积的电荷量进行校正，使用校正后的上述第一电荷蓄积部蓄积的电荷量、以及校正后的上述第四电荷蓄积部的电荷量，判定上述像素是否是对由处于上述第一距离的上述被摄体反射的上述光脉冲的反射光进行了受光的像素。12.如权利要求8至10中任一项所述的距离图像摄像装置，其中，上述距离图像处理部为，作为上述第一距离以及上述第二距离的范围，应用与上述光脉冲的照射时间、以及在一次分配处理中向上述电荷蓄积部分别蓄积电荷的蓄积时间相应的范围。13.如权利要求1所述的距离图像摄像装置，其中，上述距离图像处理部进行控制，使得1帧期间内的上述电荷蓄积部各自的曝光时间相等，且在1帧期间内执行的多次分配处理中向上述电荷蓄积部分别蓄积电荷的蓄积定时成为不同的定时。14.如权利要求13所述的距离图像摄像装置，其中，在上述像素中设置有第一电荷蓄积部、第二电荷蓄积部以及第三电荷蓄积部，上述距离图像处理部为，在1帧期间内，分别将上述蓄积定时为第一定时的第一处理执行第一次数、将上述蓄积定时为第二定时的第二处理执行第二次数，在上述第一处理中控制为，与由处于第一距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第一电荷蓄积部以及上述第二电荷蓄积部依次分配并蓄积，与由处于比上述第一距离大的第二距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第二电荷蓄积部以及上述第三电荷蓄积部依次分配并蓄积，在上述第二处理中控制为，使上述第二电荷蓄积部以及上述第三电荷蓄积部蓄积电荷的定时为与上述第一处理相同的定时，与由处于比上述第二距离大的第三距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第三电荷蓄积部以及上述第一电荷蓄积部依次分配并蓄积。
15.如权利要求13所述的距离图像摄像装置，其中，在上述像素中设置有第一电荷蓄积部、第二电荷蓄积部、第三电荷蓄积部以及第四电荷蓄积部，上述距离图像处理部为，在1帧期间内，分别将上述蓄积定时为第一定时的第一处理执行第一次数、将上述蓄积定时为第二定时的第二处理执行第二次数，在上述第一处理中控制为，与由处于第一距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第一电荷蓄积部以及上述第二电荷蓄积部依次分配并蓄积，与由处于比上述第一距离大的第二距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第二电荷蓄积部以及上述第三电荷蓄积部依次分配并蓄积，与由处于比上述第二距离大的第三距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第三电荷蓄积部以及上述第四电荷蓄积部依次分配并蓄积，在上述第二处理中控制为，使上述第二电荷蓄积部、上述第三电荷蓄积部以及上述第四电荷蓄积部蓄积电荷的定时为与上述第一处理相同的定时，与由处于比上述第三距离大的第四距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被向上述第四电荷蓄积部以及上述第一电荷蓄积部依次分配并蓄积。16.如权利要求14或15所述的距离图像摄像装置，其中，上述距离图像处理部为，将上述第一次数决定为，与由处于上述第一距离的上述被摄体反射的上述光脉冲的反射光对应的电荷被蓄积得比预先设定的阈值多，上述阈值是根据在电荷蓄积部中允许的蓄积电荷量的上限而决定的值。17.如权利要求14至16中任一项所述的距离图像摄像装置，其中，上述距离图像处理部为，在1帧期间内，随机或者伪随机地执行上述第一处理以及上述第二处理。18.如权利要求14至17中任一项所述的距离图像摄像装置，其中，上述距离图像处理部为，当上述第一处理中的上述第一电荷蓄积部是仅蓄积与外部光成分对应的电荷的上述电荷蓄积部即外部光电荷蓄积部、且上述第二处理中的上述第一电荷蓄积部是被分配并蓄积与由上述被摄体反射的上述光脉冲的反射光对应的电荷的反射光电荷蓄积部的情况下，或者，当上述第一处理中的上述第一电荷蓄积部是上述反射光电荷蓄积部、且上述第二处理中的上述第一电荷蓄积部是上述外部光电荷蓄积部的情况下，对上述第一电荷蓄积部蓄积的电荷量进行校正，使用校正后的电荷量来运算到上述被摄体的距离。19.一种距离图像摄像方法，是由距离图像摄像装置进行的距离图像摄像方法，上述距离图像摄像装置具备：光源部，向测定对象的空间即测定空间照射光脉冲；以及受光部，其具有：像素，具备产生与所入射的光相应的电荷的光电转换元件以及蓄积上述电
荷的三个以上的电荷蓄积部；以及像素驱动电路，在与上述光脉冲的照射同步的规定的定时，向上述像素中的上述电荷蓄积部分别分配上述电荷并使其蓄积，在上述距离图像摄像方法中，由距离图像处理部，基于上述电荷蓄积部分别蓄积的电荷量，运算到存在于上述测定空间的被摄体的距离，在向两个上述电荷蓄积部分配与由上述被摄体反射的上述光脉冲的反射光相应的电荷并使其蓄积的情况下，根据上述反射光的强度进行控制，使得向上述两个上述电荷蓄积部蓄积与上述反射光相应的电荷的反射光蓄积时间在1帧期间内成为相互不同的时间。

技术总结
本发明的距离图像摄像装置(1)具备光源部(2)、具有具备光电转换元件(PD)及三个以上电荷蓄积部(CS)的像素(321)和像素驱动电路(323)的受光部(3)、以及距离图像处理部(4)，距离图像处理部(4)在向两个上述电荷蓄积部(CS)分配并蓄积与由被摄体(OB)反射的光脉冲(PO)的反射光(RL)相应的电荷的情况下，根据反射光(RL)的强度进行控制，使得两个电荷蓄积部(CS)蓄积与反射光(RL)相应的电荷的反射光蓄积时间在1帧期间内成为相互不同的时间。间在1帧期间内成为相互不同的时间。间在1帧期间内成为相互不同的时间。


技术研发人员：高桥聪 中込友洋
受保护的技术使用者：凸版印刷株式会社
技术研发日：2022.01.14
技术公布日：2023/10/7