根据飞行时间测量和光斑图案测量的三维图像捕获的制作方法

1.本公开总体上涉及飞行时间成像领域，并且具体地，涉及用于飞行时间图像处理的设备和方法。


背景技术：

2.飞行时间(tof)相机是一种距离成像相机系统，该距离成像相机系统通过测量相机和目标之间的光信号在图像的每个点的飞行时间来确定目标的距离。通常，飞行时间相机具有利用调制光照射关注区域的照明单元以及收集从同一关注区域反射的光的像素阵列。
3.在间接飞行时间(itof)中，场景的三维(3d)图像通过itof相机捕获，3d图像通常也被称为“深度图”或“深度图像”，其中，itof图像的每个像素归因于相应的深度测量。可以直接从相位图像确定深度图像，该相位图像是在itof相机的像素中确定的所有相位延迟的集合。
4.已知基于确定相位延迟的itof测量的操作原理可能导致相位歧义，该相位歧义转化为itof的测量的距离歧义。试图解决相位/距离歧义的方法被称为“相位展开”技术。
5.尽管存在用于防止飞行时间相机的距离歧义的技术，但是通常希望提供更好的技术来防止飞行时间相机的距离歧义。


技术实现要素：

6.根据第一方面，本公开提供了一种电子设备，该电子设备包括电路，该电路被配置为对根据间接飞行时间原理获得的第一相位延迟的消除歧义以获得第二相位延迟，其中，该电路被配置为基于捕获的光斑位置对第一相位延迟消除歧义。
7.根据另一方面，本公开提供了一种包括对根据间接飞行时间原理获得的第一相位延迟消除歧义以获得第二相位的方法，其中，基于捕获的光斑位置对第一相位延迟消除歧义。
8.在从属权利要求、下面的描述和附图中阐述了进一步的方面。
附图说明
9.参考附图通过示例的方式解释实施例，其中：
10.图1示意性地示出了间接飞行时间成像系统的基本操作原理，该间接飞行时间成像系统可用于深度感测或提供距离测量；以及
11.图2a示意性地示出了itof相位测量的这种包装问题的示图；以及
12.图2b示意性地示出了作为光斑tof成像系统的调制频率的函数的光斑tof成像系统的无歧义范围；以及
13.图3示出了作为光斑tof成像系统操作的图1的itof成像系统的实施例；以及
14.图4示意性地示出了vcsel照明器的实施例，该vcsel照明器包括用于光斑扫描照
明器的垂直腔面发射激光器(vcsel)阵列、列驱动器和行启用开关；以及
15.图5示出了光斑tof处理的流程图；以及
16.图6a示意性地描述了光斑位移的基本原理；以及
17.图6b示意性地示出了对于不同基线距离b的视差(以像素数量为单位)和目标距离z之间的关系；以及
18.图7示意性地描述了测量的歧义相位延迟的消除歧义；以及
19.图8示意性地示出了作为光斑tof系统的调制频率的函数的对目标消除歧义直到一个无歧义范围所需的最小基线距离；以及
20.图9示意性地示出了通过比较实际光斑位置和预期光斑位置来评估视差的itof相位消除歧义的过程的流程图。
21.图10示意性地示出了通过校准来确定预期光斑位置的过程；
22.图11示意性地示出了基于光斑位置和光斑波束方向来评估视差的itof相位消除歧义的过程的流程图；
23.图12对应于图6a，并且额外示出了作为光斑波束取向α、墙距离z
墙
和墙上的光斑位置d
墙
；
24.图13示意性地描述了itof设备的实施例，该itof设备可以基于光斑视差利用光斑照明器实施相位消除歧义的过程。
具体实施方式
25.在参考图1的实施例的详细描述之前，进行一般性说明。
26.下面更详细描述的实施例公开了一种电子设备，包括电路，该电路被配置为对根据间接飞行时间原理获得的第一相位延迟消除歧义，其中，该电路被配置为基于捕获的光斑位置对第一相位延迟消除歧义。
27.捕获的光斑位置可以例如涉及通过光斑照明器产生的光斑。通过光斑照明器产生的光斑可以是与周围区域明显不同(置信度、振幅)的任何(小)区域，例如高强度(关于振幅)区域。例如，光斑可以具有矩形形状(具有直或圆形边缘)、点形状等。
28.例如，捕获的光斑位置可以表示为itof系统的图像传感器的坐标系内的坐标。
29.电路可以包括处理器(cpu)、存储器(ram、rom等)、dnn或gpu单元、存储装置、输入装置(鼠标、键盘、相机等)、输出手段(显示器(例如，液晶、(有机)发光二极管等)、扬声器等、(无线)接口等，这对于电子设备(计算机、智能手机等)通常是已知的)。
30.根据实施例，电路可以被配置为基于光斑位置确定光斑视差，并且基于光斑视差对第一相位延迟消除歧义。
31.根据实施例，电路可以被配置为基于光斑位置并且基于光斑的参考位置来确定光斑视差。
32.例如，参考位置可以是itof系统的图像传感器的坐标系内的光斑的校准测量的坐标。
33.光斑视差(或光斑位移)可以是光斑的参考位置的坐标与捕获的光斑位置的坐标之间的差。
34.例如，参考位置尤其可以是通过校准获得的预期位置。
35.例如，参考位置可以表示为itof系统的图像传感器的坐标系内的捕获的光斑的坐标。
36.根据实施例，电路可以被配置为从存储器中检索预定义的参考位置。
37.例如，可以通过校准测量来获得预期位置。例如，可以利用近似为零的基线距离(b)和/或利用正在远离的目标(也称为校准平面)来测量光斑的预期位置。
38.根据实施例，电路可以被配置为如果捕获的光斑的位置等于光斑相对于相同坐标系的参考位置，则确定第一相位延迟在无歧义范围之外。
39.无歧义范围可以是以公制单位表示的范围，例如米。无歧义范围可以是这样的范围，使得根据itof原理，在该范围之内的距离测量或相位延迟测量是无歧义的。
40.根据实施例，电路可以被配置为如果第一相位延迟在无歧义范围之内，则将光斑的无歧义相位延迟确定为与第一相位延迟相同。
41.根据实施例，电路可以被配置为如果捕获的光斑的位置等于光斑的参考位置，则确定第一相位延迟在无歧义范围之内。
42.如果光斑的参考位置的坐标和捕获的光斑的坐标的差可以为零(在全局坐标系中)，则捕获的光斑的位置可以等于光斑的参考位置。光斑的参考位置的坐标和捕获的光斑的坐标的差可以是视差或光斑位移。
43.根据实施例，电路可以被配置为如果第一相位延迟在无歧义范围之外，则将光斑的无歧义相位延迟确定为2π+第一相位延迟。
44.根据实施例，所述电路可以被配置为基于无歧义相位延迟来确定光斑的无歧义距离。
45.根据实施例，电子设备可还包括：itof图像传感器，并且电路可以被配置为从利用itof图像传感器获得的相位图像确定第一相位延迟。相位图像可以包括对应于光斑的每个像素或itof图像传感器内的每个像素的第一相位延迟值。
46.根据实施例，电子设备可还包括：光斑照明器，其中，光斑照明器可以被配置为产生光斑图案，并且其中，电路可以被配置为对通过光斑照明器产生的每个光斑的相位测量消除歧义。
47.根据实施例，电路可以被配置为对itof置信度图像或对振幅图像执行图像分析，该图像分析包括局部最大值搜索。
48.局部最大值搜索可以包括在图像传感器内找到对应于光斑(例如，光斑的中心)的一个像素。
49.根据实施例，系统可以包括光斑照明器、图像传感器和电子设备，其中，光斑照明器和图像传感器可以间隔开基线距离，并且其中，光斑视差可以取决于基线距离。
50.对于固定的目标距离，如果基线距离变大，则光斑视差可能会变大。这可用于针对不同的应用目的调整系统。
51.根据实施例，电路可以被配置为基于光斑视差、基于基线距离并且基于调制频率来确定目标距离估计，并且基于目标距离(z)来对第一相位延迟消除歧义。
52.根据实施例，无歧义范围基于调制频率。
53.调制频率可以是与解调频率相同的频率。
54.下面更详细描述的实施例还公开了一种方法，该方法包括对根据间接飞行时间原
理获得的第一相位延迟消除歧义以获得第二相位测量，其中，对相位测量消除歧义基于捕获的光斑位置。
55.所捕获的光斑位置可以涉及通过光斑照明器产生的光斑。
56.根据实施例，该方法可以包括执行校准测量以获得参考位置。可以基于光斑位置和参考位置来确定光斑视差。
57.根据实施例，可以利用近似为零的基线距离和/或利用正在远离的目标来测量光斑的参考位置。
58.现在参考附图描述实施例。
59.间接飞行时间成像系统(itof)的操作原理
60.图1示意性地示出了间接飞行时间成像系统的基本操作原理，该系统可用于深度感测。itof成像系统101包括itof相机，itof相机带有具有像素矩阵的成像传感器102a和处理器(cpu)105。使用照明单元110利用预定波长的调制振幅红外光108主动照射场景107，例如用定时生成器106生成的至少一个预定调制频率的一些光脉冲。调制振幅红外光108从场景107内的目标反射。透镜103收集反射光109并在成像传感器102a上形成场景107内的目标的图像。在间接飞行时间(itof)中，cpu 105为每个像素确定调制光108和反射光109之间的相位延迟。
61.这可以通过对通过定时生成器106生成的解调信号104和通过成像传感器102a的每个相应像素捕获的反射光109之间的相关波进行采样，并且通过对每个像素对通过定时生成器106生成的一个或多个移位解调信号(例如，移位约0
°
、90
°
、180
°
和270
°
)和通过成像传感器102a的每个相应像素捕获的反射光109之间的相关波进行采样来实现。这产生对应每个像素的同相分量值(“i值”)和正交分量值(“q值”)，所谓的i和q值。基于每个像素的i和q值，可以将每个像素的相位延迟值确定为其产生相位图像。相位延迟与目标的距离成比例，以调制频率的波长为模。因此，可以直接从相位图像确定深度图像。此外，基于i和q值，可以为每个像素确定振幅值和置信度conf值为conf＝|i|+|q|，其产生振幅图像和置信度图像。
[0062]“包装”问题
[0063]
在itof系统中，距离是发射和接收调制信号之间相位差的函数。这是周期为2π的周期性函数。不同的距离将产生相同的相位测量。这称为混叠或相位包装。通过itof相机产生的相位测量被“包装”到固定的间隔中，即，[0,2π]，使得对应于集合的所有相位值φ变成其中，k被称为“包装索引”。就深度测量而言，所有深度都包装在由调制频率定义的间隔内。换言之，调制频率将无歧义的操作范围z
无歧义
设置为：
[0064][0065]
其中c表示光速，并且f
调制
表示调制频率。例如，对于调制频率为20mhz的itof相机，无歧义范围为7.5m。
[0066]
图2a示意性地示出了itof相位测量的这种包装问题的示图。该图的横坐标表示itof像素和场景中的目标之间的距离(真实深度或无歧义距离)，纵坐标表示为这些距离获
得的相应相位测量值。水平虚线表示相位测量的最大值2π，水平虚线表示示例性的相位测量值由于包装问题，垂直虚线表示对应于示例性相位测量的不同距离e1、e2、e3、e4。因此，距离e1、e2、e3、e4中的任何一个对应于相同值距离e1可以归因于包装索引k＝0，距离e2可以归因于包装索引k＝1，距离e3可以归因于包装索引k＝2，以此类推。由调制频率定义的无歧义范围在图2a中用双箭头表示，为2π。
[0067]
图2b示意性地示出了作为光斑tof成像系统的调制频率的函数的光斑tof成像系统的无歧义范围。图中的x轴显示了调制频率f
调制
从10mhz到100mhz的距离。图的y轴显示了从0米到15米的无歧义范围z
无歧义
。
[0068]
对于不同的调制频率f
调制
，获得不同的无歧义范围，例如，对于调制频率f
调制
＝10mhz，无歧义范围为z
无歧义
＝15m，或者对于调制频率f
调制
＝100mhz，无歧义范围为z
无歧义
＝1.5m。这意味着，在调制频率f
调制
＝30mhz的情况下，无歧义范围为z
无歧义
＝5m，并且具有大于5m距离的目标距离的目标将被混叠回来，并且测量的目标距离z可能是错误的。
[0069]
当发生混叠/包装时，可以通过从其他信息推断每个像素的正确包装指数(消除歧义)来解决与测量距离和真实距离有关的歧义性。这个解决歧义的过程被称为“展开”。
[0070]
现有的方法使用一个以上的频率(例如两个)，并通过降低有效调制频率来扩展无歧义范围，例如，使用中国剩余定理(ncr定理)，其描述见a.p.p.jongenelen、d.g.bailey、a.d.payne、a.a.dorrington和d.a.carnegie所作的公开论文，“双频调制下tof距离成像的误差分析(analysis of errors in tof range imaging with dual-frequency modulation)”，ieee transactions on instrumentation and measurement，第60卷，第5期，第1861-1868页，2011年5月。然而，多频捕获是缓慢的，因为它们需要在几个帧上采集相同的场景。因此它们受到运动伪影的影响，并且因此限制了itof传感器的帧速率和运动鲁棒性，尤其是在相机、对象/目标、前景或背景在采集期间移动的情况下。
[0071]
例如，在双频率测量的情况下，诸如40mhz和60mhz的一对频率用于求解20mhz＝greatestcommondivisor(40mhz,60mhz)的有效频率，其对应于7.5m的有效无歧义范围。在双频方法中，展开算法是直接的并且计算量小，因此可以实时运行。该ncr算法对每个像素进行操作，而不使用任何空间先验，因此，不利用深度图像和/或辅助信息中的特征/图案的识别，因此，ncr算法不能展开到无歧义范围之外。
[0072]
此外，噪声的存在可能使得更加难以在包装索引之间消除歧义，因为真实深度可能对应于一个以上的包装索引，如上所述。然而，这些技术需要几次完整的计算，以及消除歧义计算，因此固有地增加了实现一次测量所需的处理能力。
[0073]
下面描述另一种通过利用光斑位移(视差)来解决具有光斑照明器(见图4)的光斑飞行时间(见图3)的歧义问题的方法(见图8和图11)。
[0074]
光斑飞行时间(光斑tof)
[0075]
tof成像系统的照明单元(图1中的110)可以被配置为用光斑的图案照射场景(图1中的107)。光斑的光图案可以是(分离的)高强度区域(即，光斑)和低强度光区域(谷)的图案(诸如，光点的图案)，在这种情况下，itof被称为光斑tof。
[0076]
图3示意性地示出了在场景上产生光斑图案的光斑tof成像系统。光斑tof成像系统包括照明单元110，在此是光斑照明器，其在包括目标203和204的场景107上产生光斑202的图案。itof相机102捕获场景107上的光斑图案的图像。通过照明单元110投影到场景107
上的光斑的图案导致通过itof相机102的图像传感器(图1中的102a)的像素捕获的置信度图像和深度图像中的相对应的光斑图案。光斑将作为包括高强度区域201(光斑)和低强度区域202的空间光图案出现在通过itof相机102产生的置信度图像中。
[0077]
在图3的实施例中，照明单元110位于itof相机102的图像传感器(图1中的102a)的平面中。这个平面也被称为tof平面。照明单元110和itof相机102彼此以距离b定位。这个距离b被称为基线。场景107具有距基线b的距离z。在图1的实施例中，为了简化，仅示出了场景107的单个距离z。然而，场景107内的每个目标203、204或目标点可以具有单独的距基线b的距离z。通过tof相机102捕获的场景的深度图像定义了深度图像的每个像素的深度值，并因此提供了场景107和目标203、204的深度信息。根据视差的原理(见图6a)，当基线距离b和/或目标距离z改变时，通过相机102捕获的光斑的位置在通过相机102产生的深度图像内移动。在下面更详细描述的实施例中，该视差效应用于对通过itof相机102产生的距离/相位延迟测量消除歧义。
[0078]
在图1的实施例中，通过照明单元110(例如，光斑照明器、边缘发射激光器、led等)产生的光斑被示出为点，并且它们具有圆形形状。然而，实施例不限制于这样的点。在替代实施例中，通过照明单元110产生的光斑可以具有矩形或正方形形状或任何其他规则或不规则形状。具体地，光斑可以具有空间光强度分布，例如，高斯光强度分布等。此外，在图1的实施例中，通过照明单元110产生的光斑被示出为规则的网格图案。然而，在替代实施例中，通过照明单元110产生的光斑图案可以是不规则图案。
[0079]
图4示意性地示出了图3中使用的光斑照明器110的示例。图4的光斑照明器包括用于光斑扫描的垂直腔面发射激光器、vcsel、列驱动器和行启用开关的阵列。vcsel照明器(也称为光斑照明器)401包括vcsel vc1n-vcmn阵列，该阵列被分组为m个子集l1-lm、n个用于驱动vcsel阵列的驱动器d1、d2、...、dn，以及m个开关sw1-swm，其中，n和m可以例如是2至16之间的数或任何其它数。每个vcsel vc1n-vcmn的照明功率可以是2w至10w。在该实施例中，子集l1-lm是vcsel阵列的行。第一个子集l1的vcsel vc11、vc12、...、vc1n、vc14被分组在第一电线路区中。第二个子集l2的vcsel vc21、vc22、vc23、...、vc2n被分组在第二电线路区中。第m个子集lm的vcselvc31、vc32、vc33、...、vc3n被分组在第三电线路区中。每个电线路区电连接到相应的驱动器d1、d2、...、dn，并经由相应的开关sw1-swm连接到电源电压v。电源电压v提供用于产生驱动电流的电力，其中驱动电流是通过接通/关断相应的开关sw1-swm施加到驱动器d1、d2、...、dn和vcsel阵列的电流。每个驱动器d1、d2、...、dn接收相应的高调制频率信号hfm1、hfm2、...、hfmn，以驱动vcsel照明器401。
[0080]
照明器401的每个可控节点形成光斑波束(图4中未示出)，其中光斑波束不重叠。例如，每个光斑波束可以具有不同的相位偏移，或者所有光斑波束可以具有相同的相位。衍射光学元件(doe)(图1中未示出)布置在vcsel阵列401的前面，以便以节能的方式对vcsel波束进行整形和分离。doe可以是微透镜。
[0081]
itof相机确定场景的置信度图像(或者可替代地，振幅图像)。置信度图像包括图像传感器内每个像素的置信度值。
[0082]
通常，通过光斑照明器(图3中的110、图4中的110)投影到场景(图3中的107)上的光斑的图案导致通过图像传感器(图1中的102a)的像素捕获的置信度图像和深度图像中的相对应的光斑图案。光斑作为包括高强度区域201(光斑)和低强度区域(图3中的202)的空
间光图案出现在通过itof相机(图3中的102)产生的置信度图像中。在下文中，定义光斑的高强度区域201也被表示为“光斑区域”。
[0083]
图5示出了光斑tof处理的流程图。在501处，接收通过itof相机捕获置信度图像。在502处，对置信度图像应用局部最大值滤波器，以确定置信度图像内的光斑的位置。本领域技术人员通常已知的局部最大值滤波器(见来自“scikit-image”的“peak_local_maxima”函数，phyton图像处理文档编号“0.19.0.dev0”：https://scikit-image.org/docs/dev/auto
[0084]
_examples/segmentation/plot_peak_local_max.html，最后一次于2021年1月26日打开)确定具有对应于局部最大值的相位振幅值的像素(即，光斑峰值像素)。在503处，对于每个光斑，在图像传感器坐标系内确定光斑区域，以便识别与光斑相关的所有像素。在504处，基于光斑区域内的像素的ik和qk值来确定每个光斑的相位延迟值。
[0085]
例如，在504处确定光斑的相位延迟可以通过计算具有相应光斑的光斑区域的所有像素的平均相位延迟来实现。
[0086]
图像传感器坐标系可以是像素坐标系，其用一对指标(i，j)来标识每个像素，该一对指标(i，j)指示图像传感器内从左上角的(1，1)开始的行i和列j。在另一个实施例中，图像传感器坐标系可以是像素坐标系，其用一个数字i来标识每个像素，该数字i指示从1到像素数量的范围的像素数量，例如，当从第一行从左到右计数时，然后从左到右计数第二行直到最后一行的右边的最后一个像素。
[0087]
对于光斑tof系统，无论如何都可以确定捕获的光斑的位置，从而可以在没有任何额外计算工作的情况下获得视差(光斑位移)。
[0088]
光斑视差
[0089]
如上面关于图3所述，根据视差原理，当基线距离b和/或目标距离z改变时，通过itof相机(图3中的102)捕获的光斑的位置在通过itof相机产生的深度图像内移动。
[0090]
图6a示意性地描述了距离和视差之间的关系。其使用针孔模型作为itof相机和光斑照明器。光斑照明器的针孔(焦点)的位置601和itof相机的针孔(焦点)的位置602通过基线b分离。itof相机的图像平面605示意性地示出在itof相机位置602的前面，距离基线b的距离为f。类似地，光斑照明器的投影平面604示意性地示出在光斑照明器位置602的前面，距离基线b的距离为f。
[0091]
光斑照明器在场景内产生光斑603。通过光斑照明器产生的光斑603具有相对于基线b的目标距离z。通过光斑603和照明器位置601限定的视线在位置606处与光斑照明器的投影平面604相交。该位置606由投影平面604内的距离d1表示，该距离d1从照明器平面604的中心测量(见竖直穿过投影平面604的虚线)。距离d1对应于光斑照明器(见图4)的相应光斑波束取向的波束方向(见图12和相对应的描述)。通过itof相机捕获通过光斑照明器产生的光斑603。通过光斑603和相机位置602限定的视线在位置607处与相机的图像平面605相交。该位置607由图像平面605内的距离d2表示，该距离d2从图像平面605的中心测量(见竖直穿过图像平面605的虚线)。表示位置606的距离d1和表示位置607的距离d2提供视差信息。当通过相机看到并且通过照明器产生时，与光斑603相关的视差d可以被定义为：
[0092]
d＝d1-d2。
[0093]
图6a提供了二维的示意图。横坐标表示水平位置(d1，d2)，纵坐标表示距离(z)。同
样的原理也适用于具有三维的真实空间。在三维中，光斑在图像平面中的“水平”位置(传感器平面中像素的“x坐标”)是相关的。光斑在竖直方向上的位置(传感器平面中像素的“y坐标”)与确定视差无关，因此可以忽略。
[0094]
根据如图6a中所示的视差的一般原理，可以导出立体几何等式
[0095][0096]
即，当基线距离b和/或目标距离z改变时，通过itof相机看到的光斑603的视差d(或相应地，视差信息d2)改变。
[0097]
视差d也可以用像素而不是度量单位来表示
[0098][0099]
其中，δpx是对应于图像平面(传感器平面)中的视差值d的像素数量，并且p是像素间距(即，传感器上的像素中心之间的距离)。
[0100]
从该等式可以看出，当相机和照明器之间的基线距离b非常小(近似为零)时，或者当相机和目标之间的距离z非常大(近似为无穷大)时，视差d非常小(近似为零)。如果相机和照明器之间的基线b较大，或者如果目标靠近基线b，使得距离z很小，那么将会有显著的视差，即，可见的光斑位移。
[0101]
图6b示意性地示出了对于不同基线距离b的视差(以像素数量为单位)和目标距离z之间的关系。该图的x轴显示了目标z从0米到3米的距离。该图的y轴显示了从零像素到20像素的像素为单位的测量视差。实线显示了对于0.01mm的基线距离，视差与目标距离z之间的关系。例如，对于0.01mm的基线距离，0.5m的目标距离导致10个像素的视差。长虚线显示了对于0.005mm的基线距离，视差与目标距离z之间的关系。例如，对于0.005mm的基线距离，0.5m的目标距离导致5个像素的视差。短虚线显示了对于0.001mm的基线距离，视差与目标距离z之间的关系。例如，对于0.001mm的基线距离，0.5m的目标距离导致1个像素的视差。
[0102]
用视差信息解决“包装”问题
[0103]
如上所述，当测量相位延迟并由此测量光斑tof/itof系统中目标的距离时，测量可能是歧义的(或混叠的，也称为相位歧义问题或“包装”问题)。
[0104]
在下面更详细描述的实施例中，通过考虑光斑位移(视差)来区分相机范围之内的少量实际距离候选(见图2a中的e1至e4)，来解决该包装问题。即，视差d或对视差d有贡献的任何视差信息(例如，图6a中的d2)用于对通过itof相机产生的距离/相位延迟测量消除歧义。
[0105]
图7示意性地描述了消除歧义处理。消除歧义处理703接收光斑的视差信息701和所测量的点的歧义相位延迟702，并输出光斑的无歧义相位延迟704。光斑的视差信息701量化通过图像传感器感知的点的位置中的位移量(即，如上面在图6a中描述的立体原理)。例如，可以基于点的参考位置和点的测量位置(在同一坐标系中)之间的差来确定视差信息。
[0106]
例如，每个光斑的视差信息701(光斑位移)可以被分类成预定数量的不同光斑位移类别，其中每个光斑位移类别对应于特定的包装索引(见图2a)。光斑位移类别(或包装索引)确定目标的无歧义(真实)距离。
[0107]
例如，光斑的无歧义相位延迟704可以在至少两倍的无歧义范围之内是无歧义的。如果使用两个光斑位移类别，则这些类别可以例如被表示为第一类别“在无歧义范围之内”(对应于包装索引k＝0)和第二类别“在无歧义范围之外”(对应于包装索引k＝1)。
[0108]
例如，其光斑位移为零(或至少低于1个像素)的每个光斑可以被分类为类别“在无歧义范围之外”(对应于包装索引k＝l)，并且其光斑位移高于一个像素的每个光斑可以被分类为类别“在无歧义范围之内”(对应于包装索引k＝0)。在这个示例中，位于距离基线两倍以上的无歧义范围的光斑也将被分类为第二类别“在无歧义范围之外”(对应于包装索引k＝1)。
[0109]
如图6b中可见，对于较大的基线距离b，相同的目标距离z导致较大的视差。这意味着，具有较大基线距离b的光斑tof成像系统具有较大的“视差分辨率”，因此即使对于较大的目标距离z，也可以解决歧义问题。
[0110]
例如，具有光斑照明器的itof相机系统的基线b可以被配置为使得在给定的目标距离处z＝z
无歧义
，视差δpx接近1个像素：
[0111][0112]
如果itof相机系统配置具有该基线b，则δpx《1的光斑将指示目标距离z》z
无歧义
(即，落在无歧义范围之外)。这种光斑tof系统被调整为对目标消除歧义，直到一个无歧义的范围。
[0113]
如图2b中所描述的，通过改变调制频率f
调制
，也可以在一个以上的无歧义范围之内对目标消除歧义。
[0114]
图8示意性地示出了作为光斑tof系统的调制频率的函数的对目标消除歧义到一个无歧义范围所需的最小基线距离。该图的x轴显示了调制频率f
调制
的距离从10mhz到100mhz。该图的y轴显示了基线距离b从0mm到30mm。例如，对于调制频率f
调制
＝30mhz，基线距离可以被设置为b＝10mm，以对具有高达无歧义范围z
无歧义
的一倍的目标距离z的目标消除歧义，并且如果应该对具有高达两倍或更多于无歧义范围z
无歧义
的目标距离z的目标消除歧义，则可以选择更大的基线距离b。
[0115]
对相位测量消除歧义可以降低所需的功率，增加帧速率，或者两者，并且它还可以增加运动鲁棒性。
[0116]
通过将实际光斑位置与预期光斑位置进行比较来评估视差
[0117]
图9示意性地示出了通过比较实际光斑位置和预期光斑位置来评估视差的itof相位消除歧义的过程的流程图。在901处，检索光斑的测量相位延迟(第一相位延迟)(见图5中的504和相应的描述)。在902处，检索itof图像传感器坐标系内的光斑的测量位置d2(见图5中的502和相应的描述)。这个测量的位置也可以被称为光斑的“实际位置”。在903处，从存储器中检索光斑的参考位置d
2校准
(这可以通过测量实际光斑到最接近的预期光斑的距离来完成)。该距离使用其坐标计算为两点的欧几里德距离(euclidean distance)。这个参考位置d
2校准
也可以被称为光斑的“预期位置”。例如，参考位置可以是已经通过校准(例如，通过图10中描述的校准过程)预先获得的预定义位置。在904处，检查光斑的测量位置d2是否等于其参考位置d
2校准
。例如，如果这些位置对应于图像传感
器坐标系内的相同像素，则这些位置可以被认为是相等的。换言之，在904处，检查光斑的检测位置d2和光斑的参考位置d
2校准
之间的光斑位移(视差)是否为零或低于一个像素。如果904中的答案为是，这意味着不存在光斑位移(视差低于一个像素)，则继续至905处。在905处，因为发现光斑在无歧义范围之内，所以将光斑的无歧义相位延迟(第二相位延迟)确定为并且继续至907处。如果904中的答案为否，这意味着光斑位移是可见的(视差等于或大于一个像素)，则继续至906处。在906处，因为发现光斑在无歧义范围之外，所以将光斑的无歧义相位延迟确定为并且继续至907处。在907处，基于无歧义相位延迟将光斑的无歧义距离z(深度)确定为其中z
无歧义
是如图2中定义的无歧义范围(例如，以米为单位)。
[0118]
优选地，在图像传感器的坐标系中表示光斑的检测位置d2及其参考位置d
2校准
。然而，可以使用其他坐标系来表示位置d2和d
2校准
。例如，坐标d
2校准
和d2都可以在全局坐标系中表示。
[0119]
图9中的过程是针对一个光斑描述的。对于itof相机的图像传感器捕获的每个光斑，可以重复该过程。例如，光斑的稀疏采样网格图案可以通过如图3中所描述的光斑照明器施加到场景上。对于每个光斑，确定相机坐标系内的位置(如902处所指示的)，并且将该测量的位置与如上面关于图9所描述的光斑的参考位置进行比较。
[0120]
图10示意性地示出了通过校准来确定预期光斑位置的过程。在1001处，光斑tof成像系统被配置为具有近似为零的基线距离b和/或非常远的目标距离z。在1002处，测量itof图像传感器坐标系内的每个光斑的位置。在1003处，将每个光斑的测量位置作为预期位置(校准数据)存储在存储器内。
[0121]
例如，可以通过递增地增加目标距离(例如1m)并在每一步之后确定视差(光斑位移)来选择在1001中定义为“非常远”的目标距离z。如果从一步到下一步的光斑位移为零(意味着低于一个像素)，则已经找到了可以被认为是“非常远”的距离。当距离进一步增加时，光斑在图像平面中不再移动的位置被认为是光斑的参考位置。例如，“非常远”的目标距离可以是15m(这个“远距离”很大程度上取决于基线)。
[0122]
在图9的实施例中，定义了两个光斑位移类别，即“在无歧义范围之内”和“在无歧义范围之外”。当光斑位移为零(即，低于一个像素)时，光斑被分类为“在无歧义范围之外”，并且当位移大于零(即，等于或大于一个像素)时，光斑被分类为“在无歧义范围之内”。在替代实施例中，两个类别之间的“边界”可以不是零像素光斑位移，而是另一个预定数量的像素，例如5个像素或任何其他预定数量。在这种情况下，当光斑位移低于5个像素时，光斑将被分类为“在无歧义范围之外”，并且当光斑位移大于或等于5个像素时，被分类为“在无歧义范围之内”。
[0123]
在另一实施例中，光斑tof系统可以被配置为对歧义范围z
消除歧义
的一倍以上消除歧义。在这种情况下，可以定义多于两个类别的光斑位移，例如n个类别。在这种情况下，对于两个类别之间的每个边界，可以定义光斑位移阈值dk，k∈[1,n]，该光斑位移阈值dk指示光斑可以被分类到哪个类别中，其中，每个类别k对应于包装索引k。如果光斑的位移d(即，测量的视差)满足以下不等式，则光斑可以被分类为类别k：
[0124]dk-1
≤d《dk[0125]
其中，光斑位移阈值dn可以被设置为∞，并且光斑位移阈值d0可以被设置为零。然后，无歧义相位延迟可以被定义为：
[0126][0127]
为了对超过消除歧义范围z
消除歧义
一倍的范围消除歧义，光斑tof系统的基线距离b或调制频率f
调制
可以是可配置的，并且可以根据上面给出的等式来配置(见图10)：
[0128][0129]
基于光斑位置和光斑波束方向的视差评估
[0130]
在图9的实施例中，通过将光斑的“实际位置”与光斑的“预期”位置(参考位置)进行比较来评估视差信息。在下面更详细描述的实施例中，代替使用光斑的预期位置作为参考位置，使用光斑照明器的投影平面中的“发射位置”d1(见图6a)作为参考位置。这个“发射位置”d1反映了在场景上产生光斑的光斑波束的取向。这种情况下的视差(光斑位移)d可以被确定为d＝d
1-d2，其中d2是光斑在相机的图像平面中的位置(实际光斑位置)，并且d1是光斑照明器的投影平面中定义光斑波束的取向的位置(“发射位置”)。
[0131]
图11示意性地示出了基于光斑位置和光斑波束方向来评估视差的itof相位消除歧义的过程的流程图。在1101处，检索光斑的测量相位延迟(第一相位延迟)(见图5中的504)。在1102处，检索itof传感器的成像平面内的光斑的测量位置(实际位置)d2。在1103处，从itof系统的存储器检索对应的预定发射位置d1，该预定发射位置d1定义产生光斑的光斑波束的取向。在1104处，基于发射位置d1和测量位置d2来确定视差d。在1105处，基于视差d、基线b和焦距f来确定光斑距离估计z。在1106处，基于光斑距离估计z和预定义无歧义距离z
无歧义
(见图2a和相应描述)来确定包装索引k。在1107处，基于测量的相位延迟和在1106处获得的包装索引k来确定无歧义距离。在1107，例如，可以基于无歧义相位延迟来确定光斑的无歧义距离z(深度)为其中，z
无歧义
是如图2a中定义的无歧义范围。
[0132]
例如，在1105处的光斑距离估计z的确定可以基于以上关于图6a描述的距离z、视差d、基线b和焦距f之间的关系：
[0133][0134]
在此，光斑照明器的“焦距”f(其是基线b和光斑照明器的(虚拟)投影平面之间的距离)可以被设置为等于itof相机的焦距f，即，相机的图像平面(传感器平面)和itof相机的焦点之间的距离。
[0135]
如上所述，每个光斑的发射位置d1可以是每个光斑的预定位置，该预定位置是在光斑照明器的投影平面中的位置，该位置定义了光斑波束的取向并且存储在itof系统的存储器中。
[0136]
通常，每个光斑波束的预定义发射位置d1取决于光斑照明器的特征，如照明器401(见图4)的可控节点的位置和角度或图4中布置在vcsel阵列401前面的光斑照明器的衍射
光学元件(doe)。这是从光斑照明器的设计中预先知道的。为了说明的目的，假设图6a的简化针孔模型：如果α表示光斑波束与竖直于tof系统基线的方向之间的角度，则光斑波束的该取向α之间的关系可以表示为其中f是(虚拟)投影平面与照明单元的焦点/针孔位置之间的距离。可替代地，可以通过在距离z
墙
处观察通过光斑照明器在平面(例如，墙)上产生的光斑图案并根据确定光斑波束的取向α来获得光斑波束的取向α，其中d
墙
是相对于光斑照明器的中心(竖直虚线)的光斑在墙上的位置。在图12中示意性地示出了波束取向α、墙距离z
墙
和光斑的位置d
墙
，否则其对应于图6a。
[0137]
实施方式
[0138]
图13示意性地描述了itof设备的实施例，该itof设备可以基于光斑视差利用光斑照明器实施相位消除歧义的过程。电子设备可进一步实施校准光斑坐标的测量的过程。电子设备1200包括作为处理器的cpu 1201。电子设备1200还包括连接到处理器1201的itof传感器1206。例如处理器1201可以基于实现关于图7或图8更详细描述的过程的光斑视差来利用光斑照明器实施消除歧义。电子设备1200还包括连接到处理器1201的用户界面1207。该用户界面1207充当人机界面，并且使得能够在管理员和电子系统之间进行对话。例如，管理员可以使用该用户界面1207对系统进行配置。电子设备1200还包括蓝牙接口1204、wlan接口1205和以太网接口1208。这些单元1204、1205充当用于与外部设备进行数据通信的i/o接口。例如，具有以太网、wlan或蓝牙连接的相机可以经由这些接口1204、1205和1208耦接到处理器1201。电子设备1200还包括数据存储装置1202，其可以是关于图7描述的校准存储器，以及数据存储装置1203(在此是ram)。数据存储装置1202被设置为长期存储装置，例如，用于存储一个或多个用例的算法参数，用于记录从itof传感器1206获得的itof传感器数据等。数据存储器1203被设置成临时存储或缓存数据或计算机指令以供处理器1201进行处理。
[0139]
应当注意，上面的描述仅仅是示例配置。可以用附加的或其他的传感器、存储设备、接口等来实施替代配置。
[0140]
***
[0141]
应当认识到，实施例描述了具有方法步骤的示例性排序的方法。然而，仅仅是出于说明的目的而给出方法步骤的特定顺序，不应该被解释为具有约束力。例如，可以互换图8中的步骤801、802或803。
[0142]
还应注意，将图13的电子设备划分成单元仅出于说明目的，且本公开不限于特定单元中的任何特定功能划分。例如，至少部分电路可以通过分别编程的处理器、现场可编程门阵列(fpga)、专用电路等来实现。
[0143]
如果没有另外说明，则在本说明书中描述的和在所附权利要求中要求的所有单元和实体可以实施为集成电路逻辑，例如在芯片上，并且如果没有另外说明，可以通过软件实施通过这些单元和实体提供的功能。
[0144]
就至少部分使用软件控制的数据处理装置来实现上述公开的实施例而言，将会理解，提供这种软件控制的计算机程序以及提供这种计算机程序的传输、存储装置或其他介质被设想为本公开的方面。
[0145]
注意，本技术也可以被配置为如下所述：
[0146]
(1)一种电子设备(101)，包括电路，该电路被配置为对根据间接飞行时间原理获得的第一相位延迟消除歧义以获得第二相位延迟消除歧义以获得第二相位延迟其中，该电路被配置为基于捕获的光斑位置(d2)对该第一相位延迟消除歧义。
[0147]
(2)根据(1)所述的电子设备，其中，该捕获的光斑位置(d2)与光斑照明器(110)产生的光斑相关。
[0148]
(3)根据(1)或(2)所述的电子设备(101)，其中，该电路被配置为基于该光斑位置(d2)确定光斑视差(d,δpx,d
2校准-d2,d
1-d2)，并基于该光斑视差(d,δpx)对该第一相位延迟消除歧义。
[0149]
(4)根据(1)至(3)中任一项所述的电子设备(101)，其中，该电路被配置为基于该光斑位置(d2)并且基于该光斑的参考位置(d1，d
2校准
)来确定该光斑视差(d,δpx,d
2校准-d2,d
1-d2)。
[0150]
(5)根据(4)所述的电子设备(101)，其中，该参考位置是预定义的预期位置(d
2校准
)。
[0151]
(6)根据(5)所述的电子设备(101)，其中，该电路被配置为从存储器中检索该预定义的预期位置(d
2校准
)。
[0152]
(7)根据(4)至(6)中任一项所述的电子设备(101)，其中，该电路被配置为如果捕获的光斑的位置(d2)等于该光斑的该参考位置(d1，d
2校准
)，则确定该第一相位延迟在无歧义范围(z
无歧义
)之外。
[0153]
(8)根据(7)该的电子设备(101)，其中，该电路被配置为如果该第一相位延迟在无歧义范围(z
无歧义
)内，则将该光斑的该无歧义相位延迟确定(805)为与该第一相位延迟相同。
[0154]
(9)根据(1)至(8)中任一项所述的电子设备(101)，其中，该电路被配置为如果该捕获的光斑的位置(d2)等于该光斑的该参考位置(d1，d
2校准
)，则确定(804)该第一相位延迟在无歧义范围(z
无歧义
)内。
[0155]
(10)根据(9)所述的电子设备(101)，其中，该电路被配置为如果该第一相位延迟在无歧义范围(z
无歧义
)之外，则将该光斑的该无歧义相位延迟确定(806)为2π+第一相位延迟
[0156]
(11)根据(1)至(10)中任一项所述的电子设备(101)，其中，该电路被配置为基于该第二相位延迟来确定该光斑的无歧义距离。
[0157]
(12)根据(1)至(11)中任一项所述的电子设备(101)，还包括：itof图像传感器(102a)，其中，该电路被配置为从利用该itof图像传感器(102a)获得的相位图像中确定(801)该第一相位延迟
[0158]
(13)根据(1)至(12)中任一项所述的电子设备(101)，还包括：该光斑照明器(110)，其中，该光斑照明器(110)产生光斑图案，并且其中，该电路被配置为对通过该光斑照明器(110)产生的每个光斑的相位测量消除歧义。
[0159]
(14)根据(13)所述的电子设备(101)，其中，对itof/置信度/振幅图像(705)执行的该图像分析包括局部最大值搜索。
[0160]
(15)一种系统，包括光斑照明器(110)、图像传感器(102a)和根据(1)所述的电子设备，其中，该光斑照明器(110)和该图像传感器(102a)间隔开基线距离(b)，并且其中，光斑视差(d,δpx)取决于基线距离(b)。
[0161]
(16)根据(15)所述的系统，其中，该电路被配置为基于该光斑视差(d,δpx)、基于该基线距离(b)和基于调制频率(f
调制
)来确定目标距离估计(z)，并且基于该目标距离(z)来对该第一相位延迟消除歧义。
[0162]
(17)根据(15)或(16)所述的系统，其中，无歧义范围(z
无歧义
)基于调制频率(f
调制
)。
[0163]
(18)一种包括对根据间接飞行时间原理获得的第一相位延迟消除歧义以获得第二相位的方法，其中，基于捕获的光斑位置(d2)对该第一相位延迟消除歧义。
[0164]
(19)根据(18)所述的电子设备，包括执行校准测量以获得参考位置(d
2校准
)，并且其中，基于该光斑位置(d2)和该参考位置(d
2校准
)来确定该光斑视差(d,δpx)。
[0165]
(20)根据(18)或(19)所述的电子设备，其中，利用近似为零的基线距离(b)和/或利用该目标(203；204)正在远离来测量该光斑的该参考位置。

技术特征：
1.一种电子设备，包括电路，所述电路被配置为对根据间接飞行时间原理获得的第一相位延迟消除歧义以获得第二相位延迟，其中，所述电路被配置为基于捕获的光斑位置对所述第一相位延迟消除歧义。2.根据权利要求1所述的电子设备，其中，所述捕获的光斑位置与通过光斑照明器产生的光斑相关。3.根据权利要求1所述的电子设备，其中，所述电路被配置为基于所述光斑位置确定光斑视差，并且基于所述光斑视差对所述第一相位延迟消除歧义。4.根据权利要求1所述的电子设备，其中，所述电路被配置为基于所述光斑位置并且基于所述光斑的参考位置来确定光斑视差。5.根据权利要求4所述的电子设备，其中，所述参考位置是预定义的预期位置。6.根据权利要求5所述的电子设备，其中，所述电路被配置为从存储器中检索所述预定义的预期位置。7.根据权利要求4所述的电子设备，其中，所述电路被配置为如果捕获的所述光斑的位置等于所述光斑的所述参考位置，则确定所述第一相位延迟在无歧义范围之外。8.根据权利要求7所述的电子设备，其中，所述电路被配置为如果所述第一相位延迟在无歧义范围之内，则将所述光斑的无歧义相位延迟确定为与所述第一相位延迟相同。9.根据权利要求1所述的电子设备，其中，所述电路被配置为如果捕获的所述光斑的位置等于所述光斑的参考位置，则确定所述第一相位延迟在无歧义范围之内。10.根据权利要求9所述的电子设备，其中，所述电路被配置为如果所述第一相位延迟在无歧义范围之外，则将所述光斑的无歧义相位延迟确定为2π+第一相位延迟。11.根据权利要求1所述的电子设备，其中，所述电路被配置为基于所述第二相位延迟来确定所述光斑的无歧义距离。12.根据权利要求1所述的电子设备，还包括：itof图像传感器，其中，所述电路被配置为从利用所述itof图像传感器获得的相位图像中确定所述第一相位延迟。13.根据权利要求1所述的电子设备，还包括：光斑照明器，其中，所述光斑照明器产生光斑图案，并且其中，所述电路被配置为对通过所述光斑照明器产生的每个光斑的相位测量消除歧义。14.根据权利要求13所述的电子设备，其中，对itof/置信度/振幅图像执行的图像分析包括局部最大值搜索。15.一种系统，包括光斑照明器、图像传感器和根据权利要求1所述的电子设备，其中，所述光斑照明器和所述图像传感器间隔开基线距离，并且其中，光斑视差取决于所述基线距离。16.根据权利要求15所述的系统，其中，所述电路被配置为基于所述光斑视差、基于所述基线距离并且基于调制频率来确定目标距离的估计，并且基于所述目标距离来对所述第一相位延迟消除歧义。17.根据权利要求15所述的系统，其中，无歧义范围基于调制频率。18.一种包括对根据间接飞行时间原理获得的第一相位延迟消除歧义以获得第二相位的方法，其中，基于捕获的光斑位置对所述第一相位延迟进行所述消除歧义。19.根据权利要求18所述的方法，包括执行校准测量以获得参考位置，并且其中，基于
所述光斑位置和所述参考位置来确定光斑视差。20.根据权利要求18所述的方法，其中，利用近似为零的基线距离和/或利用远离的目标来测量所述光斑的参考位置。

技术总结
一种电子设备，包括被配置为对根据间接飞行时间原理获得的第一相位延迟消除歧义以获得第二相位延迟的电路，其中，该电路被配置为基于捕获的光斑位置对该第一相位延迟消除歧义。义。义。


技术研发人员：佩佩
受保护的技术使用者：索尼半导体解决方案公司
技术研发日：2022.01.26
技术公布日：2023/9/14