信号处理设备、信号处理方法和程序与流程

1.本技术涉及信号处理设备、信号处理方法和程序，并且使得高分辨率距离信息能够容易获得。


背景技术：

2.传统上，已经提出了各种方法用于从成像设备到被摄体的距离(下文中称为“被摄体距离”)的非接触测量。例如，已经提出了发射红外线、超声波、激光等并基于反射波返回所用的时间、反射波的角度等计算被摄体距离的主动方法，以及基于被摄体的立体图像计算至被摄体的距离而不需要用于发射红外线等的设备的被动方法。
3.在被动方法中，如非专利文献1和非专利文献2中所示，使用通过经由具有双折射效应的双折射材料执行成像而获得的基于寻常光线的图像和基于非常光线的图像生成边缘图像，并且基于边缘图像中的对应点的匹配结果来计算被摄体距离。
4.[引文列表]
[0005]
[非专利文献]
[0006]
[非专利文献1]
[0007]
seung-hwan baek等人(2016)“birefractive stereo imaging for single-shot depth acquisition”，acm trans.graphics(proc.siggraph asia2016)，第35卷第6期，第194页，2016年。
[0008]
[非专利文献2]
[0009]
andreas meuleman等人(2020)“single-shot monocular rgb-d imaging using uneven double refraction”，ieee/cvf计算机视觉和模式识别会议(cvpr)论文集，2020年，第2465-2474页。


技术实现要素：

[0010]
[技术问题]
[0011]
顺便提及，在使用被动方法来在不需要用于发射红外线等的设备的情况下计算距被摄体的距离时，例如由于对于在边缘图像中没有检测到边缘的部分不能获得对应点的匹配结果，不能计算距离。因此，难以获得高分辨率距离信息。
[0012]
因此，本技术的目的是提供能够容易地获得高分辨率距离信息的信号处理设备、信号处理方法和程序。
[0013]
[问题的解决方案]
[0014]
本技术的第一方面提供了信号处理设备，包括：
[0015]
偏振成像单元，该偏振成像单元基于入射穿过双折射材料的被摄体光生成偏振图像；
[0016]
视差图像生成器，该视差图像生成器使用由偏振成像单元生成的偏振图像来分离具有不同偏振角度的图像，并且该视差图像生成器生成寻常光线图像和非常光线图像作为
视差图像；以及
[0017]
距离测量单元，该距离测量单元基于在由视差图像生成器生成的寻常光线图像和非常光线图像中被摄体的距离位置的视差，计算到距离测量位置的距离。
[0018]
在本技术中，偏振成像单元基于入射穿过双折射材料的被摄体光生成偏振图像。偏振成像单元具有与双折射材料的光轴垂直的成像表面。使用偏振方向具有90
°
相位差的偏振像素来配置偏振成像单元，并且偏振方向与双折射材料的水平方向和垂直方向相匹配。视差图像生成器使用由偏振成像单元生成的偏振图像来分离具有不同偏振角度的图像，并且视差图像生成器生成寻常光线图像和非常光线图像作为视差图像。例如，视差图像生成器使用偏振方向与双折射材料的水平方向和垂直方向中的一个方向匹配的偏振像素来生成寻常光线图像，并使用偏振方向与另一个方向匹配的偏振像素来生成非常光线图像。
[0019]
偏振成像单元使用具有预定偏振方向的偏振像素和非偏振的非偏振像素来配置，并且偏振方向与双折射材料的水平方向或垂直方向匹配。视差图像生成器使用偏振像素生成寻常光线图像和非常光线图像中的一个图像，并且基于使用偏振像素生成的图像和使用非偏振像素生成的图像生成另一个图像。
[0020]
偏振成像单元使用具有三个或更多个不同偏振方向的偏振像素来配置，并且视差图像生成器基于具有三个或更多个不同偏振方向的偏振像素的像素值来计算偏振模型，并且视差图像生成器基于所计算的偏振模型生成视差图像。例如，视差图像生成器搜索在寻常光线图像和非常光线图像中的一个图像包括中的另一个图像被最小化的偏振方向，并且生成与搜索到的偏振方向的图像具有90
°
相位差的图像作为视差图像。视差图像生成器搜索偏振方向，其中基于偏振模型的偏振图像的边缘分量被最小化。视差图像生成器可以搜索基于偏振模型的两个偏振图像的一个偏振方向，其中，偏振方向具有90
°
相位差的两个偏振图像的每个像素的差的和被最大化。视差图像生成器可以搜索与基于偏振模型的两个偏振图像的一个偏振方向具有45
°
相位差的偏振方向，其中，偏振方向具有90
°
相位差的两个偏振图像的每个像素的差的和被最小化。视差图像生成器可以搜索基于偏振模型的两个偏振图像的一个偏振方向，其中，偏振方向具有90
°
相位差的两个偏振图像的相加图像与具有45
°
相位差的偏振图像之间的对于每个像素的差的和被最小化。
[0021]
视差图像生成器使用预定的图像平行化函数生成在水平方向上具有视差的寻常光线图像和非常光线图像作为视差图像。
[0022]
距离测量单元基于在由视差图像生成器生成的寻常光线图像和非常光线图像中被摄体的距离测量位置的视差来计算到距离测量位置的距离。
[0023]
本技术的第二方面提供了信号处理方法，包括：
[0024]
允许偏振成像单元基于入射穿过双折射材料的被摄体光生成偏振图像；
[0025]
允许视差图像生成器使用由偏振成像单元生成的偏振图像来分离具有不同偏振角度的图像，并且允许视差图像生成器生成寻常光线图像和非常光线图像作为视差图像；以及
[0026]
允许距离测量单元基于由视差图像生成器生成的寻常光线图像和非常光线图像中被摄体的距离测量位置的视差来计算到距离测量位置的距离。
[0027]
本技术的第三方面提供了：
[0028]
用于使计算机使用偏振图像执行距离测量的程序，该计算机执行以下操作：
[0029]
使用基于通过双折射材料入射的被摄体光的偏振图像来分离具有不同偏振角度的图像，并且生成寻常光线图像和非常光线图像作为视差图像；以及
[0030]
基于在生成的寻常光线图像和非常光线图像中被摄体的距离测量位置的视差，计算到距离测量位置的距离。
[0031]
本技术的程序是可以被提供在能够通过以计算机可读形式提供的存储介质或通信介质(例如，诸如光盘、磁盘或半导体存储器的存储介质或者诸如网络的通信介质)来执行各种程序代码的通用计算机中的程序。以计算机可读形式提供这样的程序允许根据要在计算机上实现的程序进行处理。
[附图说明]
[0032]
[图1]：图1是示出实施方式的配置的图。
[0033]
[图2]：图2是示出双折射成像单元的配置的图。
[0034]
[图3]：图3是示出偏振成像单元的配置的图。
[0035]
[图4]：图4是用于说明双折射成像单元的操作的图。
[0036]
[图5]：图5是示出第一实施方式的配置的图。
[0037]
[图6]：图6是示出由视差图像生成器生成的视差图像的图。
[0038]
[图7]：图7是示出校准操作的流程图。
[0039]
[图8]：图8是用于说明其中使双折射材料的z轴与图像传感器垂直的校准的图。
[0040]
[图9]：图9是用于说明以双折射材料的y轴作为偏振滤光器的预定偏振方向的校准的图。
[0041]
[图10]：图10是示出使用图像平行化函数执行像素位置转换处理的情况的图。
[0042]
[图11]：图11是示出第一实施方式的操作的流程图。
[0043]
[图12]：图12是用于说明对应点匹配的图。
[0044]
[图13]：图13是示出第二实施方式的配置的图。
[0045]
[图14]：图14是示出由视差图像生成器生成的图像的图。
[0046]
[图15]：图15是示出第二实施方式的操作的流程图。
[0047]
[图16]：图16是示出偏振方向与偏振像素的像素值之间的关系的图。
[0048]
[图17]：图17是示出第三实施方式的配置的图。
[0049]
[图18]：图18是示出由视差图像生成器生成的图像的图。
[0050]
[图19]：图19是示出第三实施方式中的校准操作的流程图。
[0051]
[图20]：图20是示出第三实施方式的操作的流程图。
[0052]
[图21]：图21是示出第一搜索方法的图。
[0053]
[图22]：图22是示出第二搜索方法的图。
[0054]
[图23]：图23是示出第三搜索方法的图。
[0055]
[图24]：图24是示出第四搜索方法的图。
[0056]
[图25]：图25是示出偏振成像单元的另一像素配置(部分1)的图。
[0057]
[图26]：图26是示出偏振成像单元的另一像素配置(部分2)的图。
[0058]
[图27]；图27是示出偏振成像单元的另一像素配置(部分3)的图。
[具体实施方式]
[0059]
下面将描述用于实现本技术的实施方式。此处，将按照以下顺序进行描述。
[0060]
1.实施方式的配置和操作
[0061]
2.第一实施方式的配置和操作
[0062]
3.第二实施方式的配置和操作
[0063]
4.第三实施方式的配置和操作
[0064]
5.修改示例
[0065]
6.应用示例
[0066]
《1.实施方式的配置和操作》
[0067]
本技术经由双折射材料执行距离测量对象的成像以生成偏振图像。本技术使用所生成的偏振图像来分离具有不同偏振角度的图像，生成寻常光线图像和非常光线图像作为视差图像，并且基于在寻常光线图像和非常光线图像中距离测量位置的视差来计算到距离测量位置的距离。
[0068]
图1示出了实施方式的配置。测量系统10具有双折射成像单元20、视差图像生成器30和距离测量单元40。
[0069]
图2示出了双折射成像单元的配置。双折射成像单元20具有双折射材料21、成像光学系统22和偏振成像单元25。
[0070]
双折射材料21是具有双折射效应的材料，并且穿过双折射材料的入射光被双折射材料21分成寻常光线和非常光线。双折射材料21例如是α-bbo晶体、钒酸钇晶体、方解石、石英等。
[0071]
使用聚焦透镜、变焦透镜等来配置成像光学系统22。成像光学系统22驱动聚焦透镜、变焦透镜等以在双折射成像单元20的成像表面上形成测量对象被摄体的光学图像。成像光学系统22可以设置有光圈(孔径)机构、快门机构等。
[0072]
偏振成像单元25使用偏振元件和图像传感器来配置，并且生成偏振图像。图3示出了偏振成像单元的配置。偏振成像单元25通过在诸如cmos(互补金属氧化物半导体)或ccd(电荷耦合器件)的图像传感器251中布置由偏振像素或具有一个或更多个偏振方向的偏振像素和非偏振像素组成的偏振滤光器252来获取偏振图像。偏振滤光器252可以从被摄体光中提取线性偏振光，并且例如使用线栅、光子液晶等。注意，偏振滤光器252中的箭头指示例如每个像素或多个像素中的每一个的偏振方向，并且图3示出了存在四个偏振方向的情况。
[0073]
以这种方式配置的双折射成像单元20生成基于寻常光线的第一偏振图像和基于非常光线的第二偏振图像作为视差图像。
[0074]
图4是用于说明双折射成像单元的操作的图。注意，图4示出了测量到被摄体ob上的距离测量位置p的距离的情况。
[0075]
当代表被摄体ob的被摄体光入射至双折射材料21上时，被摄体光被分成寻常光线rx和非常光线ry并被发射至偏振成像单元25。也就是说，偏振成像单元25接收表示图像gc的光线，该图像gc通过混合基于寻常光线rx的图像和基于非常光线ry的图像而获得。
[0076]
偏振成像单元25的图像传感器对入射穿过偏振滤光器252的光进行光电转换以生成偏振图像。例如，在图4的情况下，偏振图像包括：使用寻常光线rx经由其透射穿过偏振滤光器252的偏振像素生成的寻常光线图像go；以及使用非常光线ry经由其透射穿过偏振滤
光器252的偏振像素生成的非常光线图像ge。注意，寻常光线图像go中的距离测量位置是距离测量位置po，以及非常光线图像ge中的距离测量位置是距离测量位置pe。
[0077]
视差图像生成器30基于由双折射成像单元20生成的混合图像来分离寻常光线图像go和非常光线图像ge以生成视差图像。视差图像生成器30可以通过针对每个偏振方向的偏振图像和使用不具有偏振滤光器的非偏振像素(未示出)生成的非偏振图像执行与偏振滤光器对应的增益调节来生成平均图像，并且基于偏振图像或每个偏振方向的偏振图像和平均图像生成视差图像。注意，平均图像是表示当偏振方向改变时亮度的平均变化的图像。当每个偏振方向的偏振图像或平均图像的图像大小不同时，视差图像生成器30执行插值处理等，使得每个偏振方向的偏振图像和平均图像的图像大小(水平方向和垂直方向上的像素的数目)相等。
[0078]
距离测量单元40使用由视差图像生成器30生成的视差图像来执行对应点匹配处理，并且计算距离测量位置p的视差。距离测量单元40基于计算的视差来计算到被摄体ob上的距离测量位置p的距离。
[0079]
《2.第一实施方式的配置和操作》
[0080]
接下来，将描述第一实施方式的配置和操作。在第一实施方式中，偏振成像单元25含有具有至少两个正交的偏振方向的偏振像素。图5示出了第一实施方式的配置，并且偏振成像单元25具有偏振方向为0
°
的偏振像素和偏振方向为90
°
的偏振像素。注意，除了偏振方向为0
°
的偏振像素和偏振方向为90
°
的偏振像素之外的像素可以是具有不同偏振方向的偏振像素，或者可以是非偏振像素。
[0081]
视差图像生成器30根据由双折射成像单元20获取的偏振图像生成基于寻常光线的寻常光线图像和基于非常光线的非常光线图像作为视差图像。图6示出了由视差图像生成器生成的视差图像。图6的(a)示出了表示寻常光线的光学图像的寻常光线图像go，以及图6的(b)示出了表示非常光线的光学图像的非常光线图像ge。注意，寻常光线图像go中的距离测量位置是距离测量位置po，以及非常光线图像ge中的距离测量位置是距离测量位置pe。寻常光线图像go的像素值被假设为“i
o”，以及非常光线图像ge的像素值被假设为“i
e”。
[0082]
距离测量单元40使用由视差图像生成器30生成的寻常光线图像go和非常光线图像ge来执行对应点匹配处理，并计算距离测量位置p的视差。距离测量单元40基于所计算的视差来计算到被摄体ob上的距离测量位置p的距离z(p)。
[0083]
接下来，将描述第一实施方式的操作。预先测量基线长度b，该基线长度b是寻常光线图像go的获取位置与非常光线图像ge的获取位置之间的间隔，该间隔导致距离测量位置po与pe之间的视差。在双折射成像单元20中，焦距f是当被摄体ob的距离测量位置p聚焦时的焦距。
[0084]
此处，执行校准，使得在偏振方向为0
°
的偏振像素中获得基于从被摄体ob上的距离测量位置p穿过双折射材料的寻常光线的像素值，并且在偏振方向为90
°
的偏振像素中获得基于从被摄体ob上的距离测量位置p穿过双折射材料的非常光线的像素值。
[0085]
视差图像生成器30使用偏振方向为0
°
的偏振像素生成表示寻常光线的光学图像的寻常光线图像go，并使用偏振方向为90
°
的偏振像素生成表示非常光线的光学图像的非常光线图像ge。
[0086]
距离测量单元40使用由视差图像生成器30生成的寻常光线图像go和非常光线图
像ge来执行距离测量位置p的匹配处理，并且计算视差||pope||，该视差是寻常光线图像go中的距离测量位置po与非常光线图像ge中的距离测量位置pe之间的差。距离测量单元40根据等式(1)，基于所计算的视差||pope||、基线长度b和焦距f来计算至被摄体ob中的距离测量位置p的距离z(p)。
[0087]
[数学式1]
[0088][0089]
测量系统10执行校准，使得可以从由双折射成像单元20生成的混合图像中分离出基于寻常光线的寻常光线图像和基于非常光线的非常光线图像。图7是示出校准操作的流程图。
[0090]
在步骤st1中，测量系统计算焦距。如在传统的校准方法中，测量系统10执行使用内部参数进行的校准、计算焦距f、然后过程进行到步骤st2。
[0091]
在步骤st2中，测量系统调整双折射材料和图像传感器的位置。测量系统10将双折射材料和图像传感器的位置调整成使得双折射材料的z轴(光轴)与偏振成像单元的图像传感器的成像表面垂直。
[0092]
图8是用于说明双折射材料的z轴与图像传感器的成像表面垂直的校准的图。对于双折射材料的z轴与图像传感器垂直的校准，使用例如非专利文献1中描述的校准方法。注意，图8中省略了成像光学系统22。
[0093]
在该校准方法中，如图8的(a)所示，棋盘50在不穿过双折射材料21的情况下由偏振成像单元25进行成像，并且获得图8的(b)中所示的参考图像gd。如图8的(c)所示，棋盘50经由偏振板51和双折射材料21由偏振成像单元25进行成像。此处，偏振板51使得具有与双折射材料21的y轴相同的偏振方向的线性偏振光线入射到双折射材料21上，并且使得偏振成像单元25仅观察寻常光线，从而获得图8的(d)中所示的寻常光线图像go。图8的(b)和8的(d)中所示的圆形标记指示棋盘50上的关键点。
[0094]
图8的(e)示出了参考图像gd中的关键点组pdi(i＝1、2、3、
……
、l，在图8中l＝3)和寻常光线图像go中的关键点组poi(i＝1、2、3、
……
l，并且在图8中l＝3)。
[0095]
在上述校准方法中，针对每个关键点对计算连接棋盘上等同位置处的关键点对的直线li。例如，计算连接关键点pd1和po1的直线l1、连接关键点pd2和po2的直线l2以及连接关键点pd3和po3的直线l3。计算多条直线li(i＝1、2、3、
……
、l，在图8中l＝3)的交点e。等式(2)是表示连接关键点组pdi和关键点组poi中的相应关键点的直线li的等式。
[0096]
[数学式2]
[0097]
li＝{(u，v)|aiu+biv+ci＝0}
ꢀꢀ
(2)
[0098]
在该校准方法中，双折射材料21围绕y轴和x轴旋转以调整交点e的位置，并且交点e被设置为图像中心c的位置。
[0099]
测量系统将双折射材料21调整为使得交点e位于图像中心c处，从而使双折射材料的z轴与图像传感器的成像表面垂直，然后，过程进行到步骤st3。
[0100]
在st3步骤中，测量系统调整双折射材料和偏振滤光器的位置。在测量系统10中，双折射材料的y轴与偏振成像单元中的偏振滤光器的0度方向匹配，使得使用偏振方向为0
°
的偏振像素生成的偏振图像是寻常光线图像，而使用偏振方向为90
°
的偏振像素生成的偏
振图像是非常光线图像。在st3步骤中，双折射材料的y轴和偏振滤光器的90度方向可以匹配，使得90度偏振图像代表寻常光线图像，而0度偏振图像代表非常光线图像。
[0101]
图9是用于说明双折射材料的y轴与偏振滤光器的预定偏振方向(例如，0
°
或90
°
)对应的校准的图。对于双折射材料的y轴与偏振滤光器的预定偏振方向对应的校准，使用例如非专利文献1中描述的校准方法。注意，图9中省略了成像光学系统22。
[0102]
在该校准方法中，如图9的(a)中所示，棋盘50在不穿过双折射材料21的情况下由偏振成像单元25成像，并且获取图9的(b)中所示的参考图像gd。如图9的(c)中所示，棋盘50经由偏振板51和双折射材料21由偏振成像单元25成像。此处，偏振板51使得具有与双折射材料21的y轴正交的偏振方向的线性偏振光线入射到双折射材料21上，并且使得偏振成像单元25仅观察非常光线，从而获取图9的(d)中所示的非常光线图像ge。图9的(b)和图9的(d)中所示的圆圈标记指示棋盘50上的关键点的位置。
[0103]
图9的(e)示出了参考图像gd中的关键点组pdi(i＝1、2、3、
……
、l，在图9中l＝3)和非常光线图像ge中的关键点组pei(i＝1、2、3、
……
、l，并且在图9中l＝3)。
[0104]
在上述校准方法中，使用棋盘上等同位置处的关键点对，针对每个关键点对计算以关键点组pdi的关键点为中心并穿过关键点组pei的相应关键点的圆cri。例如，计算以关键点pd1为中心并穿过关键点pe1的圆cr1、以关键点pd2为中心并穿过关键点po2的圆cr2以及以关键点pd3为中心并穿过关键点po3的圆cr。计算多个圆cri(i＝1、2、3、
……
、l，在图9中l＝3)的交点a。
[0105]
在该校准方法中，通过使双折射材料21围绕z轴旋转来调整交点a的位置，使得连接交点a和图像中心c的向量在图像的垂直方向(例如，向上垂直方向)上对准。在该校准方法中，双折射材料21被调整成使得连接交点a和图像中心c的向量在图像的垂直方向上，由此双折射材料的y轴与偏振滤光器的0度偏振方向对应。
[0106]
测量系统执行双折射材料的y轴与偏振滤光器的预定偏振方向对应的校准，然后，过程进行到步骤st4。
[0107]
在步骤st4中，测量系统计算图像平行化函数。测量系统10计算图像平行化函数t，该图像平行化函数t将由双折射成像单元20生成的偏振图像转换成通过使右视点图像和左视点图像混合而得到的立体混合图像。例如，使用非专利文献2中描述的方法来计算图像平行化函数t。
[0108]
在该方法中，使用预先设置的基线长度b来计算图像平行化函数t。如等式(3)中所示，图像平行化函数t是将平行化之前的图像i的坐标t(u，v)转换为通过使右视点图像和左视点图像混合而得到的图像ir的坐标(u，v)的函数。
[0109]
[数学式3]
[0110]
ir＝t(i)＝{ir(u,v)
←
i[t(u,v)]}
ꢀꢀ
(3)
[0111]
可以使用例如递归方法来计算图像平行化函数t。具体地，如等式(4)中所示，从左端的坐标(0，v)到右端的坐标(u，v)计算坐标t(u，v)。此处，基于等式(5)计算像素(u，v)的基线b(u，v)。注意，在等式(5)中，在计算图像平行化函数之前，预先设置焦距f和至棋盘的距离zcb。||pope||由棋盘上的关键点定义，并且不是关键点的像素通过使用相邻关键点的值进行插值来计算。
[0112]
[数学式4]
[0113][0114]
b(u,v)＝z
×
||pope||/f
ꢀꢀ
(5)
[0115]
图10示出了使用图像平行化函数执行像素位置转换处理的情况。图10的(a)示出了转换之前的图像，并且寻常光线图像中的关键点po与非常光线图像中的对应关键点pe不平行。图10的(b)示出了转换后的图像，并且通过使用图像平行化函数t执行像素位置转换处理，寻常光线图像的关键点po和非常光线图像中的对应关键点pe变得平行。也就是说，转换后的图像是立体混合图像，在该立体混合图像中，寻常光线图像和非常光线图像是来自右视点和左视点的图像，并且关键点具有依赖于距离的视差。
[0116]
在执行图7的校准之后，测量系统10执行距离测量位置的距离测量操作。
[0117]
图11是说明第一实施方式的操作的流程图。在步骤st11中，测量系统获取捕获的图像。测量系统10的双折射成像单元20执行成像使得测量对象被摄体ob的距离测量位置p被包括在视角中，并获取偏振图像，然后，过程进行到步骤st12。
[0118]
在步骤st12中，测量系统执行图像平行化处理。测量系统10的视差图像生成器30使用通过校准计算的图像平行化函数t对由双折射成像单元20获取的偏振图像执行图像平行化处理。视差图像生成器30执行图像平行化处理以将偏振图像转换成立体图像，在该立体图像中，寻常光线图像和非常光线图像是来自右视点和左视点的图像，并且距离测量位置具有取决于距离的视差，然后，过程进行到步骤st13。
[0119]
在步骤st13中，测量系统获取0度偏振图像。测量系统10的视差图像生成器30从步骤st12中生成的立体混合图像中获取使用偏振方向为0
°
的偏振像素生成的作为来自一个视点的图像的0度偏振图像(寻常光线图像)，然后，过程进行到步骤st14。
[0120]
在步骤st14中，测量系统获取90度偏振图像。测量系统10的视差图像生成器30从步骤st12中生成的立体混合图像中获取使用偏振方向为90
°
的偏振像素生成的作为来自另一视点的图像的90度偏振图像(非常光线图像)，然后，过程进行到步骤st15。
[0121]
在步骤st15中，测量系统执行对应点匹配。测量系统10的距离测量单元40使用在步骤st13中获取的作为来自一个视点的图像的0度偏振图像(寻常光线图像)和在步骤st14中获取的作为来自另一视点的图像的90度偏振图像(非常光线图像)来执行对应点匹配，并且计算寻常光线图像中的距离测量位置po与非常光线图像中的距离测量位置pe之间的位置差||pope||，然后，过程进行到步骤st16。
[0122]
图12是用于说明对应点匹配的图。图12的(a)示出了用于对应点匹配的第一图像，以及图12的(b)示出了用于对应点匹配的第二图像。在以下描述中，第一图像是寻常光线图像，以及第二图像是非常光线图像，但是第一图像可以是非常光线图像，以及第二图像可以是寻常光线图像。
[0123]
图12的(c)示出了模板图像。模板图像是例如区域aro的图像，该区域aro具有m
×
n像素的大小并且以第一图像(寻常光线图像go)中的距离测量位置po为中心。当使用图像平行化函数t执行转换处理时，寻常光线图像中的关键点po和非常光线图像中的对应关键点
pe位于根据到距离测量位置的距离在水平方向上分离的位置。因此，搜索范围ars具有w
×
m像素的大小，并且在垂直方向上位于与第二图像(非常光线图像ge)中的模板图像相同的位置。也就是说，当距离测量位置po具有坐标(x
po
，y
po
)时，图12的(d)中所示的搜索范围ars的参考位置的坐标(x
offset
，y
offset
)是等式(6)中所示的位置。
[0124]
[数学式5]
[0125][0126]
距离测量单元40在由等式(7)和等式(8)所示的范围内移动具有与模板图像的区域大小相等的区域大小的参考图像的中心位置(xs，ys)，并且计算使搜索范围ars的模板图像与参考图像之间的误差最小化的中心位置(x
st
，y
st
)。距离测量单元40将距离测量位置pe设置为与使误差最小化的距离测量位置po对应的位置。在这种情况下，距离测量位置pe的坐标(x
pe
，y
pe
)是等式(9)中所示的坐标。
[0127]
[数学式6]
[0128][0129][0130][0131]
当距离测量单元40使用例如sad作为模板图像与搜索图像之间的误差时，误差被最小化的坐标(x
st
，y
st
)是当得到等式(10)中所示的评估值h时的坐标(xs，ys)。注意，如等式(11)所示定义sad。
[0132]
[数学式7]
[0133][0134][0135]
距离测量单元40执行这样的对应点匹配，并基于等式(12)计算视差||pope||。
[0136]
[数学8]
[0137][0138]
测量系统在步骤st16中计算距离。测量系统的距离测量单元40使用预先设置的焦距f和基线长度b以及在步骤st15中计算的视差||pope||来执行等式(1)的计算，并且计算到距离测量位置p的距离z(p)。
[0139]
如上所述，根据第一实施方式，可以生成表示基于寻常光线的光学图像的偏振图像和表示基于非常光线的光学图像的偏振图像，并且可以基于两个偏振图像中的距离测量位置之间的视差来测量到距离测量位置的距离。因此，即使在没有检测到边缘的部分中也
可以执行对应点匹配，并且可以获得比使用边缘图像时分辨率高的距离信息。
[0140]
《3.第二实施方式的配置和操作》
[0141]
接下来，将描述第二实施方式。在上述第一实施方式中，已经描述了使用偏振方向彼此正交的偏振像素来配置偏振成像单元25的情况。在第二实施方式中，将描述使用具有一个偏振方向的偏振像素和非偏振像素来配置偏振成像单元25的情况。
[0142]
图13示出了第二实施方式的配置，并且偏振成像单元25具有偏振方向为0
°
的偏振像素和非偏振像素。在第二实施方式中，与第一实施方式类似，预先测量基线长度b和焦距f。当偏振方向为0
°
时，执行校准，使得例如可以获得基于从被摄体ob上的距离测量位置p穿过双折射材料的寻常光线的像素值。
[0143]
视差图像生成器30使用基于寻常光线和非偏振像素的偏振图像，从由双折射成像单元20获取的偏振图像生成平均图像。图14示出了由视差图像生成器生成的图像，并且图14的(a)示出了表示寻常光线的光学图像的寻常光线图像go。图14的(b)示出了使用非偏振像素生成的平均图像gmean，并且平均图像的像素值指示寻常光线图像和非常光线图像的平均像素值。如稍后将描述的，视差图像生成器30从寻常光线图像go和平均图像gmean生成图14的(c)中所示的非常光线图像ge。注意，寻常光线图像go中的距离测量位置是距离测量位置po，以及非常光线图像ge中的距离测量位置是距离测量位置pe。
[0144]
距离测量单元40使用由视差图像生成器30生成的寻常光线图像go和非常光线图像ge执行对应点匹配处理，并计算距离测量位置p的视差。距离测量单元40基于计算的视差来计算到被摄体ob上的距离测量位置p的距离z(p)。
[0145]
图15是示出第二实施方式的操作的流程图。在步骤st21中，测量系统获取捕获的图像。测量系统10的双折射成像单元20执行成像使得测量对象被摄体ob的距离测量位置p被包括在视角中，并获取偏振图像，然后，过程进行到步骤st22。
[0146]
在步骤st22中，测量系统执行图像平行化处理。测量系统10的视差图像生成器30使用通过校准计算的图像平行化函数t以及寻常光线图像和非常光线图像对由双折射成像单元20获取的偏振图像执行图像平行化处理，以将偏振图像转换成寻常光线图像和非常光线图像是来自右视点和左视点的图像的立体混合图像，并且距离测量位置具有依赖于距离的视差，然后，处理进行到步骤st23。
[0147]
在步骤st23中，测量系统获取0度偏振图像。测量系统10的视差图像生成器30从步骤st22中生成的立体混合图像中获取使用偏振方向为0
°
的偏振像素生成的0度偏振图像(寻常光线图像go)作为从一个视点得到的图像，然后，过程进行到步骤st24。
[0148]
在步骤st24中，测量系统获取平均图像。测量系统10的视差图像生成器30获取步骤st22中生成的立体混合图像中的使用非偏振像素生成的平均图像gmean，然后，过程进行到步骤st25。
[0149]
在步骤st25中，测量系统获取90度偏振图像。测量系统10的视差图像生成器30使用步骤st23中获取的寻常光线图像go的像素值i0和步骤st24中获取的平均图像gmean的像素值i
mean
来执行等式(13)的计算，并且计算90度偏振图像(也就是，非常光线图像ge)的像素值ie，然后，过程进行到步骤st26。
[0150]
[数学式9]
[0151]i90
＝2
×imean-i0ꢀꢀ
(13)
[0152]
在步骤st26中，测量系统执行对应点匹配。测量系统10的距离测量单元40使用步骤st23中获取的作为从一个视点得到的图像的0度偏振图像(寻常光线图像)和步骤st25中获取的作为从另一视点得到的图像的90度偏振图像(非常光线图像)来执行对应点匹配，并且计算寻常光线图像中的距离测量位置po与非常光线图像中的距离测量位置pe之间的位置差||pope||，然后，过程进行到步骤st27。
[0153]
测量系统在步骤st27中计算距离。测量系统的距离测量单元40使用预先设置的焦距f和基线长度b以及步骤st26中计算的视差||pope||来执行等式(1)的计算，并且计算到距离测量位置p的距离z(p)。
[0154]
测量系统可以在步骤st23中获取90度偏振图像，并在步骤st25中计算0度偏振图像，0度偏振图像可以是非常光线图像，以及90度偏振图像可以是寻常光线图像。
[0155]
如上所述，根据第二实施方式，与第一实施方式类似，可以获得比使用边缘图像时分辨率高的距离信息。与第一实施方式相比，可以减少偏振像素的偏振方向的数量。
[0156]
《4.第三实施方式的配置和操作》
[0157]
接下来，将描述第三实施方式。在上述第一实施方式和第二实施方式中，已经描述了使用偏振方向彼此正交的偏振像素来配置偏振成像单元25的情况，以及使用具有一个偏振方向的偏振像素和非偏振像素来配置偏振成像单元25的情况。在第三实施方式中，将描述使用三种或更多种类型的偏振像素来配置偏振成像单元25的情况。
[0158]
当偏振板被安装成与观察方向垂直并且通过偏振板观察部分偏振光时，透射光的亮度在每次使偏振板旋转时改变。此处，当旋转偏振板时，最高亮度为imax并且最低亮度为imin，并且二维坐标系(x轴和y轴)被定义在偏振板的平面上，作为当偏振板旋转时的角度的偏振角度u被定义为偏振板的偏振轴与x轴之间的角度并且被表示为从x轴到y轴的角度。偏振轴是表示光在穿过偏振板后被偏振的方向的轴。当旋转偏振板时，偏振方向具有180
°
的周期性，并且偏振角度取从0
°
至180
°
的值。此处，已知的是，如果当观察到最大亮度imax时的偏振角度θpol被定义为相位角则当旋转偏振板时观察到的亮度i可以由等式(14)中所示的偏振模型表示。
[0159]
等式(14)可以转换成等式(15)。当偏振方向为0
°
的偏振像素的观测值(亮度)为“i0”、偏振方向为45
°
的偏振像素的观察值(亮度)为“i1”、偏振方向为90
°
的偏振像素的观察值(亮度)为“i2”并且偏振方向为135
°
的偏振像素的观察值(亮度)为“i3”时，等式(15)中的系数a为等式(16)中所示的值。等式(15)中的系数b和c是等式(17)和(18)中所示的值。注意，等式(18)表示上述平均图像。
[0160]
[数学式10]
[0161][0162]
i＝a.sin(2
·
θ)+b
·
cos(2
·
θ)+c
ꢀꢀ
(15)
[0163][0164]
[0165][0166]
图16示出了偏振方向与偏振像素的像素值之间的关系。图16的(a)示出了包含偏振方向为0
°
、45
°
、90
°
和135
°
的偏振像素的偏振成像单元25的像素配置。图16的(b)示出了包含2
×
2像素的偏振像素的偏振像素块中的像素值(亮度)。
[0167]
在第三实施方式中，将描述根据基于三个或更多个偏振像素的像素值的偏振模型生成寻常光线图像和非常光线图像作为视差图像的情况。
[0168]
图17示出了第三实施方式的配置，其中偏振成像单元25包括偏振方向为0
°
的偏振像素、偏振方向为45
°
的偏振像素、偏振方向为90
°
的偏振像素和偏振方向为135
°
的偏振像素。在第三实施方式中，如第一实施方式和第二实施方式中一样，预先测量基线长度b和焦距f。
[0169]
视差图像生成器30使用每个偏振方向的偏振图像的像素值针对每个像素计算由等式(14)或(15)表示的偏振模型，并获得最清晰的视差图像。图18示出了由视差图像生成器生成的图像。图18的(a)示出了偏振方向与亮度之间的关系。注意，偏振方向θs是偏振图像变得最清晰的偏振方向。图18的(b)示出了使用偏振方向为0
°
的偏振像素生成的0度偏振图像g0，图18的(c)示出了使用偏振方向为45
°
的偏振像素生成的45度偏振图像g
45
，图18的(d)示出了使用偏振方向为90
°
的偏振像素生成的90度偏振图像g
90
，以及图18的(e)示出了使用偏振方向为135
°
的偏振像素生成的135度偏振图像g
135
。0度偏振图像g0的像素值是像素值i0，45度偏振图像g
45
的像素值是像素值i
45
，90度偏振图像g
90
的像素值是像素值i
90
，以及135度偏振图像g
135
的像素值是像素值i
135
。
[0170]
视差图像生成器30生成图18的(f)中所示的最清晰偏振方向上的偏振图像g
θs
和图18的(g)中所示的偏振方向与偏振图像g
θs
成90
°
相位差的偏振图像g
θs+90
作为视差图像。偏振图像g
θs
具有像素值i
θs
，以及偏振图像g
θs+90
具有像素值i
θs+90
。
[0171]
距离测量单元40使用由视差图像生成器30生成的视差图像来执行对应点匹配处理，并且计算距离测量位置p的视差。距离测量单元40基于计算的视差来计算到被摄体ob上的距离测量位置p的距离z(p)。
[0172]
接下来，将说明第三实施方式的操作。预先测量基线长度b和焦距f。通过使用具有不同偏振方向的三种或更多种类型的偏振像素，由于如稍后所述的可以估计期望的偏振方向上的像素值，所以在校准中不需要执行使偏振滤光器与双折射材料的y轴方向匹配的处理。
[0173]
图19是示出第三实施方式中的校准操作的流程图。
[0174]
在步骤st31中，测量系统计算焦距。测量系统10执行与传统校准方法或图7中的步骤st1相同的处理，执行使用内部参数进行的校准，并计算焦距f，然后，过程进行到步骤st32。
[0175]
在步骤st32中，测量系统调整双折射材料和图像传感器的位置。测量系统10将双折射材料和图像传感器的位置调整成使得双折射材料的z轴(光轴)与偏振成像单元的图像传感器的成像表面垂直，然后，过程进行到步骤st33。
[0176]
在步骤st33中，测量系统计算图像平行化函数。测量系统10计算图像平行化函数t，该图像平行化函数t将由双折射成像单元20生成的偏振图像转换成通过使右视点图像和
左视点图像混合而获得的立体混合图像。例如，使用非专利文献2中描述的方法来计算图像平行化函数t。
[0177]
在执行图19的校准之后，测量系统10针对测量对象执行距离测量操作。
[0178]
图20是示出第三实施方式的操作的流程图。在步骤st41中，测量系统获取捕获的图像。测量系统10的双折射成像单元20执行成像使得测量对象被摄体ob的距离测量位置p位于视角内，并获取偏振图像，然后，过程进行到步骤st42。
[0179]
在步骤st42中，测量系统执行图像平行化处理。测量系统10的视差图像生成器30使用通过校准计算的图像平行化函数t以及寻常光线图像和非常光线图像对由双折射成像单元20获取的偏振图像执行图像平行化处理，以将偏振图像转换成立体混合图像，在该立体混合图像中，寻常光线图像和非常光线图像是从右视点和左视点得到的图像，并且距离测量位置具有依赖于距离的视差，然后，过程进行到步骤st43。
[0180]
在步骤st43中，测量系统获取三种或更多种类型的偏振图像。测量系统10的视差图像生成器30从步骤st42中生成的立体混合图像中获取三个或更多个偏振方向中的每一个的偏振图像。例如，如果偏振成像单元25具有偏振方向为0
°
的偏振像素、偏振方向为45
°
的偏振像素、偏振方向为90
°
的偏振像素和偏振方向为135
°
的偏振像素，则视差图像生成器30获取使用偏振方向为0
°
的偏振像素生成的偏振图像。视差图像生成器30生成使用偏振方向为45
°
的偏振像素生成的偏振图像、使用偏振方向为90
°
的偏振像素生成的偏振图像以及使用偏振方向为135
°
的偏振像素生成的偏振图像，然后，过程进行到步骤st44。
[0181]
在步骤st44中，测量系统执行余弦拟合。测量系统10的视差图像生成器30使用每个偏振方向的偏振图像的像素值来计算每个偏振像素块的偏振模型。当通过插值处理获得每个像素的每个偏振方向的偏振图像的像素值时，视差图像生成器30计算每个像素的偏振模型，然后，过程进行到步骤st45。
[0182]
在步骤st45中，测量系统搜索偏振图像变得最清晰的偏振方向。在用于搜索偏振图像变得最清晰的偏振方向的第一搜索方法中，测量系统10的视差图像生成器30使用诸如sobel方法、拉普拉斯方法或canny方法的用于边缘提取的函数e来执行等式(19)的计算。视差图像生成器30将获得指示最小边缘分量的评估值h的角度β设置为偏振图像变得最清晰的偏振方向θs，也就是，获得非常光线图像与寻常光线图像混合最少或者寻常光线图像与非常光线图像混合最少的偏振图像的偏振方向θs。在等式(19)中，e(i
β
)i是边缘图像中第i个像素的像素值(亮度)。“1至k”指示用于搜索偏振方向的预定图像范围，并且该预定图像范围可以是整个屏幕区域，并且可以是预先设置以便包括测量对象被摄体的图像范围。
[0183]
[数学11]
[0184][0185]
图21是示出第一搜索方法的图。图21的(a)示出了偏振方向与亮度之间的关系。图21的(b)示出了偏振图像最清晰的偏振方向θs上的偏振图像g
θs
和边缘图像eg
θs
，并且偏振图像g
θs
与例如寻常光线图像go对应。
[0186]
图21的(c)示出了角度大于偏振方向θs的情况。在这种情况下，由于角度大于偏振方向θs，因此寻常光线图像包括非常光线图像，并且边缘分量比图21的(b)中所示的边缘图像eg
θs
增加得更多。图21的(d)示出了角度比偏振方向θs大90
°
的情况。在这种情况下，由于
角度比偏振方向θs大90
°
，所以偏振图像成为非常光线图像，并且与图21的(b)相比，边缘分量减少。图21的(d)示出了角度大于偏振方向θs+90的情况。在这种情况下，由于角度大于偏振方向θs+90，所以非常光线图像包括寻常光线图像，并且与图21的(c)相比，边缘分量增加。
[0187]
以这种方式，视差图像生成器30将偏振图像变得最清晰的偏振方向θs设置为边缘分量被最小化的偏振方向。
[0188]
可替选地，视差图像生成器30可以使用另一种搜索方法搜索偏振方向上最清晰的偏振图像。在第二搜索方法中，使用偏振方向具有90
°
的相位差的偏振图像来执行搜索。在第二搜索方法中，视差图像生成器30使用偏振方向β上的偏振图像的像素值i
β
和偏振方向(β-90)上的偏振图像的像素值i
β-90
来计算差值|i
β-i
β-90
)|。在偏振方向具有90
°
的相位差的两个偏振图像中，如果寻常光线图像(非常光线图像)不包括非常光线图像(寻常光线图像)，则差值最大，并且差值随着寻常光线图像(非常光线图像)被包括在非常光线图像(寻常光线图像)中而减小。因此，视差图像生成器30执行等式(20)中所示的计算，并且将指示偏振方向具有90
°
相位差的偏振图像的预定图像范围中的每个像素的差的和的评估值h最大的角度β设置为偏振图像变得最清晰的偏振方向θs。
[0189]
[数学式12]
[0190][0191]
图22是示出第二搜索方法的图。图22的(a)示出了偏振方向与亮度之间的关系。图22的(b)示出了偏振方向(β-90)上的偏振图像，以及图22的(d)示出了偏振方向β上的偏振图像。注意，偏振方向β上的偏振图像与例如寻常光线图像go对应。
[0192]
图22的(c)示出了角度小于偏振方向β的情况。在这种情况下，由于角度小于偏振方向β，所以寻常光线图像包括非常光线图像，并且与图22的(d)相比，差值减小。图22的(e)示出了角度大于偏振方向β的情况。在这种情况下，由于角度大于偏振方向β，所以寻常光线图像包括非常光线图像，并且与图22的(d)相比，差值减小。
[0193]
以这种方式，视差图像生成器30将偏振方向具有90
°
的相位差的偏振图像之间的差异被最大化的偏振方向β设置为偏振图像变得最清晰的偏振方向θs。
[0194]
由于图像变得清晰的偏振方向上的偏振图像具有90
°
的相位差，所以视差图像生成器30可以执行等式(21)中所示的计算，并且可以将与角度β具有45
°
的相位差的角度设置为偏振图像变得最清晰的偏振方向θs，在该角度处，指示偏振方向具有90
°
的相位差的偏振图像的预定图像范围中的每个像素的差的和的评估值h被最小化。
[0195]
[数学式13]
[0196][0197]
接下来，根据第三方法，可以使用偏振方向具有45
°
的相位差的三个偏振图像来执行搜索。在第三方法中，视差图像生成器30使用偏振方向β上的偏振图像的像素值i
β
、偏振方向(β+45)上的偏振图像的像素值i
β+45
以及偏振方向(β-90)上的偏振图像的像素值i
β-90
来执行等式(22)中所示的计算，并且将如下偏振方向β设置为偏振图像变得最清晰的偏振方向θs，在该偏振方向β中，指示偏振方向具有90
°
相位差的偏振图像的相加图像与具有45
°
相
位差的偏振图像之间的预定图像范围内的差的和的评估值h被最小化。
[0198]
[数学式14]
[0199][0200]
图23是示出第三搜索方法的图。图23的(a)示出了偏振方向与亮度之间的关系。图23的(b)示出了偏振方向(β-90)上的偏振图像，以及图23的(d)示出了偏振方向β上的偏振图像。注意，偏振方向β上的偏振图像与例如寻常光线图像go对应。图23的(c)示出了角度小于偏振方向β的情况。在这种情况下，由于角度小于偏振方向β，所以寻常光线图像包括非常光线图像。图23的(e)示出了偏振方向(β+45)上的偏振图像，该偏振图像是非常光线图像被包括在寻常光线图像中的图像。
[0201]
视差图像生成器30将偏振方向β上的偏振图像的像素值i
β
与偏振方向(β-90)上的偏振图像的像素值i
β-90
相加，以生成表示寻常光线图像和非常光线图像的相加图像。视差图像生成器30从相加图像的像素值中减去偏振方向(β+45)上的偏振图像的像素值i
β+45
。
[0202]
视差图像生成器30将偏振方向β设置为偏振图像变得最清晰的偏振方向θs，在该偏振方向β中，相加图像与偏振方向(β+45)上的偏振图像之间的差异被最小化。
[0203]
接下来，根据第四方法，视差图像生成器30使用偏振方向具有45
°
的相位差的三个偏振图像来执行搜索。在第四方法中，视差图像生成器30使用偏振方向β上的偏振图像的像素值i
β
、偏振方向(β-45)上的偏振图像的像素值i
β-45
以及偏振方向(β-90)上的偏振图像的像素值i
β-90
来执行等式(23)中所示的计算，并且如下偏振方向β被设置为偏振图像变得最清晰的偏振方向θs，在该偏振方向β中，指示偏振方向具有90
°
相位差的偏振图像的相加图像与具有45
°
相位差的偏振图像之间的预定图像范围内的差的和的评估值h被最小化。
[0204]
[数学式15]
[0205][0206]
图24是示出第四搜索方法的图。图24的(a)示出了偏振方向与亮度之间的关系。图24的(b)示出了偏振方向(β-90)上的偏振图像，以及图24的(d)示出了偏振方向β上的偏振图像。注意，偏振方向β上的偏振图像与例如寻常光线图像go对应。
[0207]
图24的(c)示出了偏振方向(β-45)上的偏振图像，以及图24的(e)示出了偏振方向(β+45)上的偏振图像，其中该偏振图像是包括寻常光线图像和非常光线图像的图像。
[0208]
视差图像生成器30从偏振方向(β-45)上的偏振图像的像素值i
β-45
中减去偏振方向β上的偏振图像的像素值i
β
，并且生成差分图像，在该差分图像中，寻常光线图像在包括寻常光线图像和非常光线图像的图像中被减弱。视差图像生成器30从差分图像的像素值中减去偏振方向(β-90)上的偏振图像的像素值i
β-90
。
[0209]
视差图像生成器30将如下偏振方向β设置为偏振图像变得最清晰的偏振方向θs，在该偏振方向β中，差分图像与偏振方向(β-90)上的偏振图像之间的差异被最小化。
[0210]
视差图像生成器30基于第一搜索方法至第四搜索方法中的任何一种搜索偏振图像变得最清晰的偏振方向，然后，过程进行到步骤st46。视差图像生成器30在偏振方向不能通过第一搜索方法至第四搜索方法中的任何一种来搜索的情况下可以使用另一种搜索方法，并且可以使用多种搜索方法的搜索结果来确定偏振图像变得最清晰的偏振方向。
[0211]
在步骤st46中，测量系统基于搜索结果生成偏振图像。测量系统10的视差图像生成器30基于等式(14)或(15)生成在步骤st45中搜索到的偏振方向θs上的偏振图像以及偏振方向(θs+90)或偏振方向(θs-90)上的偏振图像，然后，过程进行到步骤st47。
[0212]
在步骤st47中，测量系统执行对应点匹配。测量系统10的距离测量单元40使用步骤st46中生成的偏振方向θs上的偏振图像(与寻常光线图像和非常光线图像中的一个对应)和偏振方向(θs+90)或偏振方向(θs-90)上的偏振图像(与寻常光线图像和非常光线图像中的另一个对应)来执行对应点匹配，并计算寻常光线图像中的距离测量对象的位置po与非常光线图像中的距离测量对象的位置pe之间的位置差||pope||，然后，过程进行到步骤st48。
[0213]
测量系统在步骤st48中计算距离。测量系统的距离测量单元40使用预先设置的焦距f和基线长度b以及步骤st45中计算的视差||pope||来执行等式(1)的计算，并且计算到距离测量位置p的距离z(p)。
[0214]
如上所述，根据第三实施方式，与第一实施方式和第二实施方式中一样，即使在没有检测到边缘的部分中也可以执行对应点匹配，并且可以获得比使用边缘图像时分辨率更高的距离信息。可以基于被摄体的偏振特性获得高分辨率的距离信息。
[0215]
《5.修改示例》
[0216]
偏振成像单元的像素配置不限于第一实施方式至第三实施方式的配置，并且可以是图25、图26和图27的配置，并且图中所示的配置在水平方向和垂直方向上重复。图25的(a)和图25的(b)示出了当获得黑白图像时的像素配置。注意，图25的(a)示出了2
×
2像素的偏振像素块由偏振方向(偏振角度)例如为0
°
、45
°
、90
°
和135
°
的偏振像素组成的情况。图25的(b)示出了偏振方向上以2
×
2像素作为单位像素的4
×
4像素的偏振像素块由偏振方向例如为0
°
、45
°
、90
°
和135
°
的偏振像素组成的情况。当偏振滤光器的偏振分量单元是如图25的(b)所示的2
×
2像素时，来自不同偏振分量单元的相邻区域的偏振分量相对于针对每个偏振分量单元获得的偏振分量的泄漏比率小于图25的(a)中所示的1
×
1像素情况下的泄漏比率。当偏振滤光器使用线栅时，电场分量与栅的方向(线方向)垂直的偏振光被透射，并且线越长，透射率越高。因此，当偏振分量单元为2
×
2像素时，透射率高于1
×
1像素的透射率。因此，当偏振分量单元为2
×
2像素时，透射率高于1
×
1像素的透射率，并且可以改进消光比。
[0217]
图25的(c)至图25的(g)示出了当获得彩色图像时的像素配置。图25的(c)示出了图25的(a)中所示的2
×
2像素的偏振像素块被用作一个颜色单元并且三原色像素(红色像素、绿色像素和红色像素)以拜耳阵列进行布置的情况。
[0218]
图25的(d)示出了如下情况：对于具有图25的(b)所示的相同偏振方向的每个2
×
2像素的像素块，三原色像素以拜耳阵列进行布置。
[0219]
图25的(e)示出了如下情况：对于具有相同偏振方向的每个2
×
2像素的像素块，三原色像素以拜耳阵列进行布置，并且具有不同偏振方向的2
×
2像素块是相同颜色的像素。
[0220]
图25的(f)示出了如下情况：对于在相同偏振方向上并且以拜耳阵列布置的2
×
2像素的像素块，在水平方向上相邻的像素块的偏振方向的相位差是90
°
，并且在垂直方向上相邻的像素块的偏振方向的相位差是
±
45
°
。
[0221]
图25的(g)示出了如下情况：对于在相同偏振方向上并且以拜耳阵列布置的2
×
2像素的像素块，在垂直方向上相邻的像素块的偏振方向的相位差是90
°
，并且在水平方向上
相邻的像素块的偏振方向上的相位差是
±
45
°
。
[0222]
图26示出了提供三原色像素和白色像素的情况。例如，图26的(a)示出了如下情况：图25的(d)中所示的在相同偏振方向上并以拜耳布置进行布置的2
×
2像素的像素块中的一个绿色像素是白色像素。
[0223]
图26的(b)示出了如下情况：图25的(e)中所示的在相同偏振方向上并以拜耳布置进行布置的2
×
2像素的像素块中的一个绿色像素是白色像素，并且具有不同偏振方向的2
×
2像素的块具有相同颜色的像素。
[0224]
通过以这种方式提供白色像素，如专利文献“wo 2016/136085”中所公开的，与不提供白色像素的情况相比，可以扩大生成法线信息的动态范围。由于白色像素具有良好的s/n比，因此，色差的计算不易受噪声影响。
[0225]
图27示出了提供非偏振像素的情况，其中图27的(a)至图27的(d)示出了获得黑白图像的情况，以及图27的(e)至图27的(l)示出了获得彩色图像的情况。偏振方向和彩色像素的图示与图25中的偏振方向和彩色像素的图示相同。
[0226]
图27的(a)示出了如下情况：在图25的(b)中所示的具有相同偏振方向的2
×
2像素的像素块中，位于对角线方向的偏振像素为非偏振像素。
[0227]
图27的(b)示出了如下情况：具有45
°
相位差的偏振像素被设置在对角线方向上的2
×
2像素的像素块中，并且偏振像素与相邻像素块具有90
°
相位差。
[0228]
图27的(c)示出了如下情况：具有相同偏振方向的偏振像素被设置在对角线方向上的2
×
2像素的像素块中，偏振像素与相邻像素块具有45
°
的相位差，并且偏振像素的偏振方向是具有45
°
相位差的两个方向。应当注意，可以使用例如专利文献“wo 2018/074064”中公开的技术来执行从非偏振像素和具有两个偏振方向的偏振像素中获取偏振信息。
[0229]
图27的(d)示出了如下情况：具有45
°
相位差的偏振像素被设置在对角线方向上的2
×
2像素的像素块中，并且偏振像素的偏振方向是具有45
°
相位差的两个方向。
[0230]
图27的(e)示出了如下情况：使用两个具有四个不同偏振方向的2
×
2像素的像素块和两个由非偏振像素组成的2
×
2像素的像素块形成4
×
4像素的像素块，偏振像素的像素块是绿色像素，非偏振像素的像素块是红色像素或蓝色像素，并且相同颜色的像素块(2
×
2像素)以拜耳阵列布置。
[0231]
图27的(f)示出了如下情况：偏振像素以与图27的(d)中相同的方式布置，由具有不同偏振方向的两个偏振图像和两个非偏振像素组成的像素块被用作颜色单元，并且三原色的像素块被布置成拜耳阵列。
[0232]
图27的(g)示出了如下情况：2
×
2像素的像素块被用作颜色单元，三原色的像素块以拜耳阵列布置，并且具有两个不同偏振方向的偏振像素被设置在绿色像素的像素块中。
[0233]
图27的(h)示出了如下情况：偏振像素以与图27的(d)中相同的方式设置，由具有不同偏振方向的两个偏振像素和两个非偏振像素组成的像素块包含三个绿色像素和一个非偏振红色像素，并且一个非偏振像素是相邻像素块中的蓝色像素。
[0234]
图27的(i)和图27的(j)示出了将非偏振像素用作颜色像素并且在4
×
4像素的像素块中设置三原色像素的情况。图27的(k)和图27的(l)示出了一些非偏振像素被用作颜色像素并且在4
×
4像素的像素块中设置三原色像素的情况。
[0235]
注意，图25至图27所示的配置是示例，并且可以使用其他配置。为了即使在晚上也
能够进行高灵敏度成像，例如，可以使用混合和重复红外(ir)像素的配置。
[0236]
利用这样的像素配置，可以基于偏振图像来测量到距离测量位置的距离，并且可以获得每个像素的偏振特性。可以获得非偏振彩色图像。
[0237]
《5.应用示例》
[0238]
根据本公开内容的技术可以应用于各种领域。例如，根据本公开内容的技术可以实现为装配在任何类型的移动体(例如汽车、电动车辆、混合电动车辆、摩托车、自行车、个人移动设备、飞机、无人机、船舶和机器人)中的装置。该技术可以被实现为安装在工厂中的生产过程中使用的设备中或者安装在建筑领域中使用的设备中的装置。
[0239]
如果应用于这样的领域，则即使对于具有很少边缘的被摄体，也可以在不使用多个成像设备的情况下获得高分辨率距离信息。因此，可以在三个维度上高精度地把握周围环境，并且可以减少驾驶者或工人的疲劳。可以更安全地执行自动驾驶等。
[0240]
说明书中描述的一系列处理可以由硬件、软件或者硬件和软件的组合配置来执行。当通过软件执行处理时，记录处理序列的程序被安装在并入专用硬件的计算机内的存储器中并被执行。可替选地，该程序可以在能够执行各种处理的通用计算机中安装和执行。例如，程序可以预先记录在作为记录介质的硬盘、ssd(固态驱动器)或rom(只读存储器)中。可替选地，程序可以临时或永久存储(记录)在可移除记录介质中，例如软盘、cd-rom(光盘只读存储器)、mo(磁光)盘、dvd(数字多功能盘)、bd(蓝光光盘(注册商标))、磁盘和半导体存储卡。这样的可移除记录介质可以设置为所谓的封装软件。
[0241]
除了将程序从可移除记录介质安装到计算机之外，还可以将程序从下载站点经由诸如局域网(lan)或互联网的网络无线或有线地传输到计算机。计算机可以接收以这种方式传输的程序，并将该程序安装在诸如内置硬盘的记录介质中。
[0242]
本说明书中描述的效果仅是示例而非限制性的，并且可能存在未描述的另外的效果。本技术不应被解释为限于上述技术的实施方式。本技术的实施方式以示例的形式公开了本技术，并且明显的是，本领域技术人员可以在不脱离本技术的主旨的情况下修改或替换这些实施方式。也就是说，为了确定本技术的主旨，应当考虑权利要求。
[0243]
本技术的信号处理设备也可以具有以下配置。
[0244]
(1)一种信号处理设备，包括：
[0245]
偏振成像单元，该偏振成像单元基于入射穿过双折射材料的被摄体光生成偏振图像；
[0246]
视差图像生成器，该视差图像生成器使用由偏振成像单元生成的偏振图像来分离具有不同偏振角度的图像，并且该视差图像生成器生成寻常光线图像和非常光线图像作为视差图像；以及
[0247]
距离测量单元，该距离测量单元基于在由视差图像生成器生成的寻常光线图像和非常光线图像中被摄体的距离测量位置的视差，计算到距离测量位置的距离。
[0248]
(2)根据(1)所述的信号处理设备，其中
[0249]
偏振成像单元具有与双折射材料的光轴垂直的成像表面。
[0250]
(3)根据(2)所述的信号处理设备，其中
[0251]
所述偏振成像单元设置有偏振方向具有90
°
的相位差的偏振像素，并且所述偏振方向与双折射材料的水平方向和垂直方向匹配，以及
[0252]
视差图像生成器使用偏振方向与双折射材料的水平方向和垂直方向中的一个方向匹配的偏振像素来生成寻常光线图像，并使用偏振方向与另一个方向匹配的偏振像素来生成非常光线图像。
[0253]
(4)根据(2)所述的信号处理设备，其中
[0254]
偏振成像单元使用具有预定偏振方向的偏振像素和非偏振的非偏振像素来配置，并且偏振方向与双折射材料的水平方向或垂直方向匹配，并且
[0255]
视差图像生成器使用偏振像素生成寻常光线图像和非常光线图像中的一个，并且基于使用偏振像素生成的图像和使用非偏振像素生成的图像生成另一个图像。
[0256]
(5)根据(2)所述的信号处理设备，其中
[0257]
偏振成像单元使用具有三个或更多个不同偏振方向的偏振像素来配置，并且
[0258]
视差图像生成器基于具有三个或更多个不同偏振方向的偏振像素的像素值来计算偏振模型，并基于计算出的偏振模型来生成视差图像。
[0259]
(6)根据(5)所述的信号处理设备，其中
[0260]
视差图像生成器搜索在寻常光线图像和非常光线图像中的一个图像中包括的另一个图像被最小化的偏振方向，并且生成与搜索到的偏振方向的图像具有90
°
相位差的图像作为视差图像。
[0261]
(7)根据(6)所述的信号处理设备，其中
[0262]
视差图像生成器搜索基于偏振模型的偏振图像的边缘分量被最小化的偏振方向。
[0263]
(8)根据(6)或(7)所述的信号处理设备，其中
[0264]
视差图像生成器搜索基于偏振模型的两个偏振图像的一个偏振方向，其中，偏振方向具有90
°
相位差的两个偏振图像的每个像素的差的和被最大化。
[0265]
(9)根据(6)至(8)中任一项所述的信号处理设备，其中
[0266]
视差图像生成器搜索与基于偏振模型的两个偏振图像的一个偏振方向具有45
°
相位差的偏振方向，其中，偏振方向具有90
°
相位差的两个偏振图像的每个像素的差的和被最小化。
[0267]
(10)根据(6)至(9)中任一项所述的信号处理设备，其中
[0268]
视差图像生成器搜索基于偏振模型的两个偏振图像的一个偏振方向，其中，偏振方向具有90
°
相位差的两个偏振图像的相加图像与具有45
°
相位差的偏振图像之间的对于每个像素的差的和被最小化。
[0269]
(11)根据(2)至(10)中任一项所述的信号处理设备，其中
[0270]
视差图像生成器使用预定的图像平行化函数生成在水平方向上具有视差的寻常光线图像和非常光线图像作为视差图像。
[0271]
本技术包括以下成像设备。
[0272]
(1)一种成像设备，其中双折射材料被设置成使得光轴与成像表面垂直，以及
[0273]
入射穿过双折射材料的被摄体光所落在的成像表面具有如下像素配置，该像素配置能够生成具有一个偏振方向的偏振图像和非偏振图像、针对多个不同偏振方向中的每一个的偏振图像和非偏振图像、或者针对三个或更多个不同偏振方向中的每一个的偏振图像。
[0274]
(2)根据(1)所述的成像设备，其中，当存在一个偏振方向时，该偏振方向与双折射
材料的寻常光线的偏振方向或双折射材料的非常光线的偏振方向匹配。
[0275]
(3)根据(1)所述的成像设备，其中，当存在两个偏振方向时，偏振方向中的一个偏振方向与双折射材料的寻常光线的偏振方向匹配，并且另一个偏振方向与双折射材料的非常光线的偏振方向匹配。
[0276]
[附图标记列表]
[0277]
10测量系统
[0278]
20双折射成像单元
[0279]
21双折射材料
[0280]
22成像光学系统
[0281]
25偏振成像单元
[0282]
30视差图像生成器
[0283]
40距离测量单元
[0284]
50棋盘
[0285]
51偏振板
[0286]
251图像传感器
[0287]
252偏振滤光器。

技术特征：
1.一种信号处理设备，包括：偏振成像单元，所述偏振成像单元基于入射穿过双折射材料的被摄体光生成偏振图像；视差图像生成器，所述视差图像生成器使用由所述偏振成像单元生成的所述偏振图像来分离具有不同偏振角度的图像，并且所述视差图像生成器生成寻常光线图像和非常光线图像作为视差图像；以及距离测量单元，所述距离测量单元基于在由所述视差图像生成器生成的所述寻常光线图像和所述非常光线图像中所述被摄体的距离测量位置的视差，计算到所述距离测量位置的距离。2.根据权利要求1所述的信号处理设备，其中所述偏振成像单元具有与所述双折射材料的光轴垂直的成像表面。3.根据权利要求2所述的信号处理设备，其中所述偏振成像单元设置有偏振方向具有90
°
相位差的偏振像素，并且所述偏振方向与所述双折射材料的水平方向和垂直方向匹配，以及所述视差图像生成器使用偏振方向与所述双折射材料的水平方向和垂直方向中的一个方向匹配的偏振像素来生成所述寻常光线图像，并使用偏振方向与另一个方向匹配的偏振像素来生成所述非常光线图像。4.根据权利要求2所述的信号处理设备，其中所述偏振成像单元使用具有预定偏振方向的偏振像素和非偏振化的非偏振像素来配置，并且所述偏振方向与所述双折射材料的水平方向或垂直方向匹配，并且所述视差图像生成器使用所述偏振像素生成所述寻常光线图像和所述非常光线图像中的一个图像，并且基于使用所述偏振像素生成的图像和使用所述非偏振像素生成的图像生成另一个图像。5.根据权利要求2所述的信号处理设备，其中所述偏振成像单元使用具有三个或更多个不同偏振方向的偏振像素来配置，并且所述视差图像生成器基于所述具有三个或更多个不同偏振方向的偏振像素的像素值来计算偏振模型，并基于计算出的偏振模型生成所述视差图像。6.根据权利要求5所述的信号处理设备，其中所述视差图像生成器搜索在所述寻常光线图像和所述非常光线图像中的一个图像中包括的另一个图像被最小化的偏振方向，并且生成与搜索到的偏振方向的图像具有90
°
相位差的图像作为所述视差图像。7.根据权利要求6所述的信号处理设备，其中所述视差图像生成器搜索偏振方向，其中基于所述偏振模型的所述偏振图像的边缘分量被最小化。8.根据权利要求6所述的信号处理设备，其中所述视差图像生成器搜索基于所述偏振模型的两个偏振图像的一个偏振方向，其中，偏振方向具有90
°
的相位差的所述两个偏振图像的对于每个像素的差的和被最大化。9.根据权利要求6所述的信号处理设备，其中所述视差图像生成器搜索与基于所述偏振模型的两个偏振图像的一个偏振方向具有
45
°
相位差的偏振方向，其中，偏振方向具有90
°
相位差的所述两个偏振图像的对于每个像素的差的和被最小化。10.根据权利要求6所述的信号处理设备，其中所述视差图像生成器搜索基于所述偏振模型的两个偏振图像的一个偏振方向，其中，偏振方向具有90
°
相位差的两个偏振图像的相加图像与具有45
°
相位差的偏振图像之间的对于每个像素的差的和被最小化。11.根据权利要求2所述的信号处理设备，其中所述视差图像生成器使用预定的图像平行化函数生成在水平方向上具有视差的寻常光线图像和非常光线图像作为视差图像。12.一种信号处理方法，包括：允许偏振成像单元基于入射穿过双折射材料的被摄体光生成偏振图像；允许视差图像生成器使用由所述偏振成像单元生成的所述偏振图像来分离具有不同偏振角度的图像，并且允许所述视差图像生成器生成寻常光线图像和非常光线图像作为视差图像；以及允许距离测量单元基于在由所述视差图像生成器生成的所述寻常光线图像和所述非常光线图像中所述被摄体的距离测量位置的视差来计算到所述距离测量位置的距离。13.一种用于使计算机使用偏振图像执行距离测量的程序，所述计算机执行以下操作：使用基于入射穿过双折射材料的被摄体光的偏振图像来分离具有不同偏振角度的图像，并且生成寻常光线图像和非常光线图像作为视差图像；以及基于在生成的寻常光线图像和非常光线图像中所述被摄体的距离测量位置的视差，计算到所述距离测量位置的距离。

技术总结
双折射成像单元20具有双折射材料和偏振成像单元，并且偏振成像单元基于入射穿过双折射材料的被摄体光生成偏振图像。视差图像生成器30使用由双折射成像单元20的偏振成像单元生成的偏振图像来分离具有不同偏振角度的图像，并且生成寻常光线图像和非常光线图像作为视差图像。距离测量单元40基于由视差图像生成器30生成的寻常光线图像和非常光线图像中的被摄体的距离测量位置的视差来计算到距离测量位置的距离。通过使用偏振图像，可以在除边缘之外的部分中测量距离，并且与通过匹配边缘图像中的对应点来测量距离相比，可以更容易地获得具有高分辨率的距离信息。获得具有高分辨率的距离信息。获得具有高分辨率的距离信息。


技术研发人员：孙乐公 近藤雄飞 大野大志
受保护的技术使用者：索尼集团公司
技术研发日：2021.10.19
技术公布日：2023/7/22